💬 NLP

All-Quadrant Bounded Clipping GRPO: Closing the Unbounded Blind Spot for Stable and Generalizable Training

यह शोध पत्र ऑल-क्वाड्रेंट बाउंडेड क्लिपिंग GRPO (ABC-GRPO) प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो मानक GRPO के नेगेटिव-एडवांटेज क्वाड्रेंट में संरचनात्मक अनबाउंडेडनेस को हल करने के लिए अनकंडीशनल क्लिपिंग लागू करता है ताकि स्थिर, उच्च-एन्ट्रॉपी प्रशिक्षण और गणितीय एवं कोडिंग बेंचमार्क पर बेहतर सामान्यीकरण सुनिश्चित किया जा सके।

मूल लेखक: Chi Liu, Xin Chen

प्रकाशित 2026-08-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chi Liu, Xin Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अराजक रोबोट को गणित की समस्याएं हल करना सिखा रहे हैं। आप केवल उसे सही उत्तर नहीं बताना चाहते; आप चाहते हैं कि वह सोचना सीखे। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की दुनिया है, जहाँ एक AI चीज़ों को आज़माकर, एक स्कोर प्राप्त करके और अगली बार उच्च स्कोर पाने के लिए अपने व्यवहार को समायोजित करके सीखता है। इस क्षेत्र में अभी सबसे प्रमुख विधि 'ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन' (Group Relative Policy Optimization) या GRPO है। GRIO को एक सख्त कोच के रूप में समझें जो छात्र के पूरे निबंध (शब्दों के एक अनुक्रम) को देखता है और पूरे निबंध के लिए एक एकल ग्रेड देता है। यदि निबंध को अच्छा ग्रेड मिलता है, तो कोच कहता है, "बहुत बढ़िया, जो कुछ भी आपने किया उसे जारी रखें!" यदि इसे बुरा ग्रेड मिलता है, तो कोच कहता है, "बुरा काम, जो कुछ भी आपने किया उसे वापस लें (undo)।"

समस्या यह है कि यह "पूरे निबंध" वाला दृष्टिकोण थोड़ा अन्यायपूर्ण हो सकता है। कभी-कभी, एक छात्र एक भयानक निबंध के बीच में एक आदर्श वाक्य लिखता है। पुराने नियमों के तहत, उस आदर्श वाक्य को भी बुरे हिस्सों के साथ दंडित किया जाता है, या इसके विपरीत, एक अच्छे निबंध में एक निरर्थक वाक्य को मुफ्त में छूट मिल जाती है। यह एक ऐसी कमी पैदा करता है जहाँ AI भ्रमित हो जाता है, नए विचार आज़माना बंद कर देता है, और अंततः एक लूप में फंस जाता है, जिससे वह अपनी रचनात्मकता खो देता है। आप जो पेपर पढ़ने जा रहे हैं, वह इसी विशिष्ट भ्रम को संबोधित करता है, और एक नया नियम प्रस्तावित करता है ताकि AI की सीखने की प्रक्रिया स्थिर रहे और उसकी कल्पना जीवित रहे।

अन्यायपूर्ण कोच और गलतियों के चार कोने

PayPal.AI के लेखक, ची लियू और शिन चेन ने देखा कि उनके AI मॉडल को प्रशिक्षित करने के तरीके में GRPO में एक छिपा हुआ दोष है। उनके समाधान को समझने के लिए, AI की सीखने की प्रक्रिया को एक विशाल मानचित्र पर खेले जाने वाले खेल के रूप में कल्पना करें जो चार कोनों, या "चतुर्थांशों" (quadrants) में विभाजित है। इस मानचित्र पर, एक अक्ष यह ट्रैक करता है कि AI ने अपना विचार कितना बदला (क्या उसने किसी शब्द को अधिक संभावित बनाया या कम?), और दूसरा अक्ष यह ट्रैक करता है कि कोच ने उस कदम को अच्छा माना या बुरा।

इनमें से तीन कोनों में, नियम ठीक से काम करते हैं। लेकिन एक विशिष्ट कोने में—आइए इसे "डेंजर ज़ोन" (Danger Zone) कहें—पुराने नियम पूरी तरह से विफल हो जाते हैं। यह तब होता है जब AI एक शब्द को अधिक संभावित बनाता है (वह आश्वस्त होता है) लेकिन कोच पूरे निबंध के लिए उसे बुरा स्कोर देता है। पुराने सिस्टम में, यदि AI उस शब्द के बारे में बहुत आश्वस्त था, तो दंड अनंत हो सकता था। यह एक शिक्षक की तरह है जो छात्र से कहता है, "तुम 99% निश्चित थे कि यह उत्तर सही है, लेकिन चूंकि निबंध विफल रहा, इसलिए तुम्हें इस शब्द को पूरी तरह से भूल जाना होगा, भले ही वह वास्तव में सही था!"

यह "अनबाउंडेड" (unbounded) यानी असीमित दंड खतरनाक है। यह AI को घबराहट में डाल देता है। समस्या को हल करने के विभिन्न तरीकों को खोजने के बजाय, यह अपने मस्तिष्क के एक छोटे, सुरक्षित कोने में सिमट जाता है, और बार-बार एक ही पैटर्न को दोहराता रहता है। लेखक इसे "एंट्रॉपी कोलैप्स" (entropy collapse) कहते हैं, जो एक फैंसी तरीका है यह कहने का कि AI रचनात्मक होना बंद कर देता है और एक उबाऊ, कठोर रोबोट बन जाता है। उन्होंने पाया कि यही विशिष्ट "डेंजर ज़ोन" मुख्य कारण था कि क्यों AI मॉडल कठिन गणित समस्याओं को हल करने में समय के साथ खराब होते जा रहे थे, भले ही वे सरल समस्याओं में बेहतर हो रहे थे।

नया नियम: ABC-GRPO

इसे ठीक करने के लिए, टीम ने एक नई विधि विकसित की जिसे ऑल-क्वाड्रेंट बाउंडेड क्लिपिंग GRPO (या संक्षेप में ABC-GRPO) कहा जाता है। इसे कोच को एक नया, अधिक निष्पक्ष नियम पुस्तिका देने के रूप में समझें।

पुरानी प्रणाली में, कोच कुछ स्थितियों में AI को केवल इतना ही दंडित कर सकता था, लेकिन "डेंजर ज़ोन" में, सजा देने की कोई सीमा नहीं थी। ABC-GRPO सभी चार कोनों में दंड पर एक "गति सीमा" (speed limit) लगा देता है। इससे पहले कि कोच AI के मस्तिष्क पर स्कोर लागू करे, वे जाँचते हैं: "क्या यह दंड बहुत बड़ा है?" यदि AI डेंजर ज़ोन में है और दंड बहुत बड़ा है, तो नया नियम कहता है, "रुको! इसे यहाँ सीमित करो।"

महत्वपूर्ण रूप से, यह नया नियम परिवर्तनों के लिए एक "फ्लोर" (floor) और एक "सीलिंग" (ceiling) सुनिश्चित करता है। यह सुनिश्चित करता है कि भले ही AI एक बुरे निबंध में गलती करे, उसे पूरी तरह से मिटाया न जाए। यह AI के आत्मविश्वास को अत्यधिक उतार-चढ़ाव से बचाता है। लेखक इसे AI को तुरंत स्मार्ट बनाने के जादू के रूप में नहीं, बल्कि एक "स्थिरता तंत्र" (stability mechanism) के रूप में वर्णित करते हैं—जैसे साइकिल चलाने वाले को गिरने से बचाने के लिए लगाए गए सपोर्ट व्हील्स (training wheels), ताकि सवार आगे की ओर पैडल मारना जारी रख सके।

उन्होंने क्या पाया: तर्क को बचाना

टीम ने Qwen3 पर इस नई विधि का परीक्षण किया, जो एक शक्तिशाली गणित-हल करने वाला AI है। उन्होंने ABC-GRPO की तुलना पुराने GRPO और कई अन्य लोकप्रिय विधियों से की। परिणाम आश्चर्यजनक थे।

पुराने GRPO का उपयोग करते समय, AI की विभिन्न समाधान खोजने की क्षमता (उसकी "रीज़निंग बाउंड्री") प्रशिक्षण के दौरान वास्तव में खराब होती गई। इसने रचनात्मक रास्तों को छोड़ना शुरू कर दिया। लेकिन ABC-GRPO के साथ, AI न केवल सही उत्तर पाने में बेहतर हुआ; बल्कि इसने अपनी खोज करने की क्षमता को बनाए रखा।

कठिन गणित चुनौतियों (जैसे AIME 2024) पर अपने परीक्षणों में, ABC-GRPO ने सटीकता और विविधता दोनों के लिए उच्चतम स्कोर प्राप्त किया। उदाहरण के लिए, एक 4-बिलियन पैरामीटर वाले मॉडल पर, ABC-GRPO ने औसतन लगभग 38.3% समस्याओं को सही ढंग से हल किया, जबकि मानक GRPO के लिए यह 34.5% था। अधिक महत्वपूर्ण बात यह है कि 64 प्रयासों में से किसी भी सही समाधान को खोजने की क्षमता (Pass@64) को देखते हुए, ABC-GRط ABC-GRPO ने 70.3% हासिल किया, जबकि मानक GRPO गिरकर 59.4% रह गया।

शोधकर्ताओं ने यह भी जाँच की कि क्या यह तकनीक उन चीज़ों पर काम करती है जो AI ने पहले नहीं देखी थीं, जैसे कोडिंग पहेलियाँ (HumanEval) और कठिन गणित सेट (MATH-500)। परिणाम बरकरार रहे: ABC-GRPO के साथ प्रशिक्षित AI इन नए कार्यों में भी बेहतर था, जो यह सिद्ध करता है कि यह सुधार केवल एक विशिष्ट परीक्षण के लिए एक भाग्यशाली अनुमान नहीं था।

"डेंजर ज़ोन" ही असली अपराधी था

इस अध्ययन का एक सबसे दिलचस्प हिस्सा "विच्छेदन" (dissection) था। शोधकर्ताओं ने पूछा: "क्या यह पूरा नया नियम पुस्तिका है जो चीज़ों को ठीक करता है, या केवल वह हिस्सा जो अनंत दंड को रोकता है?"

उन्होंने ऐसे प्रयोग किए जहाँ उन्होंने केवल "डेंजर ज़ोन" (चतुर्थांश 4) को ठीक किया और अन्य कोनों को वैसे ही छोड़ दिया। उन्होंने पाया कि केवल इस एक कोने को ठीक करने से कुल सुधार का लगभग 72% हिस्सा वापस मिल गया। इसने उनके सिद्धांत की पुष्टि की: उस विशिष्ट कोने में असीमित दंड ही मुख्य कारण था जिससे AI का पतन हो रहा था। अन्य कोनों को भी थोड़ी मदद की आवश्यकता थी, लेकिन "डेंजर ज़ोन" वह बड़ा छेद था जो जहाज को डुबो रहा था।

यह क्यों मायने रखता है

लेखक सावधानीपूर्वक नोट करते हैं कि उन्होंने "परफेक्ट" AI तर्क की समस्या को हल नहीं किया है। उन्होंने यह नहीं पता लगाया है कि AI द्वारा लिखे गए प्रत्येक शब्द के लिए उसे एक आदर्श स्कोर कैसे दिया जाए। इसके बजाय, उन्होंने एक सुरक्षा जाल बनाया है। दंडों को सीमित करके, वे AI को डरने और अपनी रचनात्मकता छोड़ने से रोकते हैं।

यह पेपर दिखाता है कि केवल इस बात पर एक "गति सीमा" लगाकर कि एक खराब स्थिति में होने पर AI को कितना दंडित किया जा सकता है, हम AI के दिमाग को खुला, विविध और स्थिर रख सकते हैं। यह एक याद दिलाता है कि कभी-कभी, एक सुपर-इंटेलिजेंट रोबोट को सिखाने का सबसे अच्छा तरीका उसे और अधिक धकेलना नहीं है, बल्कि यह सुनिश्चित करना है कि जब वह कुछ नया आज़माने की कोशिश करे तो वह क्रैश न हो जाए।

तकनीकी सारांश: ऑल-क्वाड्रेंट बाउंडेड क्लिपिंग GRPO (ABC-GRPO)

1. समस्या विवरण

ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) तर्क संबंधी कार्यों (reasoning tasks) पर लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करने के लिए एक मानक बन गया है क्योंकि यह प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) में पाए जाने वाले वैल्यू नेटवर्क ओवरहेड को समाप्त करता है। हालाँकि, GRPO टोकन-लेवल क्लिपिंग तंत्र को विरासत में प्राप्त करते हुए भी टोकन-लेवल एडवांटेज को सिंगल सीक्वेंस-लेवल एडवांटेज से बदल देता है।

लेखक इस संयोजन में एक संरचनात्मक दोष की पहचान करते हैं: (लाइकलीहुड-रेशियो, एडवांटेज) स्पेस में एक "ब्लाइंड स्पॉट" (blind spot) है जो अनबाउंडेड (unbounded) रहता है। विशेष रूप से, जब किसी टोकन का नेगेटिव सीक्वेंस-लेवल एडवांटेज ( $\hat{A} < 0$ ) होता है लेकिन पॉलिसी उसकी लाइकलीहुड रेश्यो ( $r > 1$ ) को बढ़ा देती है, तो अपडेट अनबाउंडेड होता है।

विफलता का तंत्र (The Mechanism of Failure): GRPO में, एक सिंगल सीक्वेंस-लेवल एडवांटेज सभी टोकनों पर समान रूप से लागू किया जाता है। यदि कोई सीक्वेंस गलत है (नेगेटिव एडवांटेज), तो सभी टोकन नेगेटिव फीडबैक प्राप्त करते हैं, भले ही कुछ इंटरमीडिएट टोकन सही रहे हों। यदि पॉलिसी ऐसी किसी "सही" टोकन की संभावना (high $r$ ) को बढ़ा देती है जो एक विफल सीक्वेंस का हिस्सा है, तो एक बड़े रेशो और एक नेगेटिव एडवांटेज का अनबाउंडेड गुणनफल एक विशाल दमनकारी (suppressive) अपडेट पैदा करता है।
परिणाम: इससे एंट्रॉपी (entropy) का पतन होता है और रीजनिंग बाउंड्री संकुचित हो जाती है। पॉलिसी कुछ चुनिंदा समाधान रणनीतियों पर सिमट जाती है, जिससे ट्रेनिंग के दौरान Pass@64 जैसे प्रदर्शन मेट्रिक्स (रीजनिंग डाइवर्सिटी) प्री-ट्रेंड बेस मॉडल से भी नीचे गिर जाते हैं।

2. कार्यप्रणाली: ABC-GRPO

इसे संबोधित करने के लिए, लेखक ऑल-क्वाड्रेंट बाउंडेड क्लिपिंग GRPO (ABC-GRPO) का प्रस्ताव करते हैं। इस पद्धति में $(r, \hat{A})$ स्पेस का चार-क्वाड्रेंट विश्लेषण और क्लिपिंग ऑपरेशन में संशोधन शामिल है।

चार-क्वाड्रेंट विश्लेषण

स्पेस को अनुमानित एडवांटेज ( $\hat{A}$ ) और लाइकलीहुड रेश्यो ( $r$ ) के साइन के आधार पर चार क्वाड्रंट्स में विभाजित किया गया है:

Q1 ( $\hat{A} > 0, r > 1$ ): प्रोत्साहित टोकन जिनकी संभावना बढ़ी है। (स्टैंडर्ड GRPO/PPO द्वारा संरक्षित)।
Q2 ( $\hat{A} > 0, r < 1$ ): प्रोत्साहित टोकन जिनकी संभावना घटी है। (अनक्लिप्ड लेकिन GRPO में मैग्नीट्यूड-बाउंडेड)।
Q3 ( $\hat{A} < 0, r < 1$ ): हतोत्साहित टोकन जिनकी संभावना घटी है। (स्टैंडर्ड GRPO/PPO द्वारा संरक्षित)।
Q4 ( $\hat{A} < 0, r > 1$ ): हतोत्साहित टोकन जिनकी संभावना बढ़ी है। GRPO में संरचनात्मक रूप से अनबाउंडेड।

ABC-GRPO ऑब्जेक्टिव

ABC-GRPO साइन-डिपेंडेंट बाउंड्रीज़ का उपयोग करके चारों क्वाड्रंट्स में अनकंडीशनल क्लिपिंग पेश करता है। महत्वपूर्ण बात यह है कि यह PPO के बाहरी min ऑपरेटर के बजाय एडवांटेज से गुणा करने से पहले लाइकलीहुड रेशो को क्लिप करता है (clip-before-multiply)।

ऑब्जेक्टिव फंक्शन को इस प्रकार परिभाषित किया गया है:
$J_{ABC-GRPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \tilde{r}_{i,t}(\theta) \hat{A}_i \right]$

जहाँ क्लिप्ड रेशियो $\tilde{r}_{i,t}$ निर्धारित किया जाता है:
$\tilde{r}_{i,t} = \begin{cases} \text{clip}(r_{i,t}, 1 - \varepsilon_2, 1 + \varepsilon_1) & \text{यदि } \hat{A}_i > 0 \\ \text{clip}(r_{i,t}, 1 - \varepsilon_4, 1 + \varepsilon_3) & \text{यदि } \hat{A}_i \le 0 \end{cases}$

Q4 सुरक्षा: नेगेटिव एडवांटेज के लिए, रेशो को $1 + \varepsilon_3$ पर कैप किया जाता है। यह "टाइट" सेटिंग के समान है जो Dual-Clip PPO में देखी जाती है, लेकिन इसे यहाँ GRPO फ्रेमवर्क के भीतर लागू किया गया है।
Q2 सुरक्षा: पॉजिटिव एडवांटेज के लिए, रेशो को $1 - \varepsilon_2$ पर फ्लोर किया जाता है, जो एक ट्रस्ट-रीजन बाधा जोड़ता है जिसकी GRPO में कमी है।
स्थिरता बनाम इष्टतमता (Stability vs. Optimality): लेखक इस बात पर जोर देते हैं कि यह एक ट्रस्ट-रीजन/स्टेबिलिटी मैकेनिज्म है जिसे प्रति-स्टेप पॉलिसी विस्थापन को बाउंड करने के लिए डिज़ाइन किया गया है, न कि अपेक्षित रिवॉर्ड के कंजर्वेटिव सरोगेट के रूप में। यह सीक्वेंस-लेवल एडवांटेज के अंतर्निहित क्रेडिट असाइनमेंट की समस्या को हल करने का दावा नहीं करता है, बल्कि सबसे शोर वाले (noisy) अपडेट्स के प्रभाव को सीमित करता है।

3. मुख्य योगदान

अनबाउंडेड ब्लाइंड स्पॉट की पहचान: पेपर एक औपचारिक चार-क्वाड्रेंट विश्लेषण प्रदान करता है जो दर्शाता है कि GRPO का इनहेरिटेड क्लिपिंग Q4 क्षेत्र (नेगेटिव एडवांटेज, बढ़ी हुई लाइकलीहुड) को संरचनात्मक रूप से अनबाउंडेड छोड़ देता है, जो एंट्रॉपी पतन और रीजनिंग बाउंड्री के संकुचन का प्राथमिक कारण है।
ABC-GRPO एल्गोरिदम: एक नया ऑब्जेक्टिव जो एडवांटेज के साथ गुणा करने से पहले रेशो को क्लिप करके चारों क्वाड्रंट्स में अनकंडीशनल क्लिपिंग लागू करता है। यह हर परिदृश्य में बाउंडेड अपडेट सुनिश्चित करता है।
क्वाड्रेंट महत्व का एब्लेशन (Ablation): प्रयोगों ने Q4 को अस्थिरता के प्रमुख स्रोत के रूप में अलग किया है। केवल Q4 को सुरक्षित करने से प्रदर्शन लाभ का लगभग 72% प्राप्त होता है, जबकि Q2 सुरक्षा केवल तभी पूरक लाभ प्रदान करती है जब Q4 को बाउंड किया गया हो।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को Qwen3 बेस मॉडल्स पर गणितीय तर्क कार्यों के लिए मान्य किया गया है, जो सैंपलिंग सटीकता (Avg@64) और रीजनिंग डाइवर्सिटी (Pass@64) दोनों में महत्वपूर्ण सुधार दिखाते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने DAPO-Math-17k डेटासेट पर प्रशिक्षित Qwen3-1.7B और Qwen3-4B मॉडल्स पर ABC-GRPO का मूल्यांकन किया।

प्रदर्शन लाभ:
- सटीकता (Avg@64): ABC-GRPO ने दोनों मॉडल स्केल्स (1.7B पर 20.7 और 4B पर 38.3) में उच्चतम स्कोर प्राप्त किया, जो स्टैंडर्ड GRPO, SAPO और Dual-Clip PPO से बेहतर रहा। यह मजबूत बेसलाइन DAPO के प्रतिस्पर्धी था (1.7B पर सांख्यिकीय रूप से महत्वपूर्ण और 4B पर प्रतिस्पर्धी)।
- विविधता (Pass@64): ABC-GRPO ने Pass@64 में महत्वपूर्ण सुधार किया, जिससे स्टैंडर्ड GRPO में देखे गए गिरावट को उलट दिया। 4B पर, इसने 59.4 (GRPO) और 61.1 (बेस मॉडल) की तुलना में 70.3 का Pass@64 प्राप्त किया।
एंट्रॉपी संरक्षण: एक महत्वपूर्ण निष्कर्ष एंट्रॉपी का संरक्षण है। जहाँ स्टैंडर्ड GRPO की एंट्रॉपी गिरकर ~0.036 नैट्स हो गई, वहीं ABC-GRPO ने ~0.39 नैट्स की स्टेडी-स्टेट एंट्रॉपी बनाए रखी (लगभग 10.8x अधिक), जिससे पॉलिसी को एक संकीर्ण वितरण में ढहने से रोका जा सका।
सामान्यीकरण (Generalization): लाभ बिना री-ट्रेनिंग या हाइपरपैरामीटर ट्यूनिंग के MATH-500 और HumanEval (कोड जनरेशन) सहित आउट-ऑफ-डोमेन बेंचमार्क पर भी ट्रांसफर हुए।
ट्रेनिंग डायनेमिक्स: ट्रेनिंग कर्व्स ने दिखाया कि जबकि GRPO का Pass@64 समय के साथ कम होता गया, ABC-GRPO का बढ़ना जारी रहा या स्थिर रहा, जो रीजनिंग-बाउंड्री के संकुचन के शमन की पुष्टि करता है।

5. महत्व और दावे

पेपर का दावा है कि ABC-GRPO, GRPO में एक विशिष्ट संरचनात्मक अपूर्णता को संबोधित करता है जो अस्थिर प्रशिक्षण और कम रीजनिंग डाइवर्सिटी की ओर ले जाती है।

स्थिरता तंत्र: मुख्य योगदान एक स्थिरता निर्माण है जो सभी क्वाड्रंट्स में प्रति-स्टेप पॉलिसी विस्थापन को बाउंड करता है, विशेष रूप से उस "टेल इफेक्ट" (tail effect) को रोकता है जहाँ विफल अनुक्रमों में उच्च-रेशो वाले टोकन अत्यधिक दमनकारी अपडेट प्राप्त करते हैं।
रीजनिंग बाउंड्री: विधि सफलतापूर्वक रीजनिंग बाउंड्री के संकुचन को रोकती है, जो वर्तमान 'रिवर्ड विद वेरीफिएबल रिवार्ड्स' (RLVR) विधियों में एक ज्ञात पैथोलॉजी है, जिससे मॉडल कई समाधान पथों (उच्च Pass@k) को बनाए रखते हुए सटीकता में सुधार कर सकता है।
सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि ABC-GRPO सीक्वेंस-लेवल एडवांटेज के अंतर्निहित टोकन-लेवल क्रेडिट असाइनमेंट की मौलिक समस्या को हल नहीं करता है; यह केवल परिणामी शोर (noise) के प्रतिकूल प्रभावों को सीमित करता है। इसे एक इष्टतमता गारंटी के बजाय एक स्थिरता सुधार के रूप में प्रस्तुत किया गया है, और हाइपरपैरामीटर्स (सिमेट्रिक $\varepsilon=0.2$ ) को PPO डिफॉल्ट के रूप में नोट किया गया है न कि एक व्युत्पन्न इष्टतम मान के रूप में।

यह कार्य छोटे पैमाने के मॉडल्स (4B तक) और गणितीय तर्क कार्यों तक सीमित है, जिससे बड़े पैमाने और अन्य डोमेन में इसकी प्रयोज्यता एक खुले प्रश्न के रूप में बनी हुई है।