🤖 machine learning

GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

यह शोध पत्र प्रकट करता है कि GRPO, Dr. GRPO, और DAPO अलग-अलग विधियाँ नहीं हैं, बल्कि एक ही अंतर्निहित तंत्र के तीन विशिष्ट विन्यास (configurations) हैं: बाइनरी रिवॉर्ड्स का ग्रुप स्टैंडर्ड डेविएशन, जो प्रशिक्षण अपडेट के परिमाण को निर्देशित करता है और यह निर्धारित करता है कि कौन सी समस्याएँ प्रभावी रूप से सीखने में योगदान देती हैं।

मूल लेखक: Yong Yi Bay, Kathleen A. Yearick

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yong Yi Bay, Kathleen A. Yearick

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक कठिन गणित की समस्या हल करना सिखाने की कोशिश कर रहे हैं। इसके बजाय कि आप उनसे केवल एक बार पूछें, आप उन्हें एक ही समस्या को लगातार आठ बार हल करने के लिए कहते हैं।

यदि वे आठों बार गलत होते हैं, तो आप उन्हें बहुत कुछ नहीं सिखा सकते क्योंकि आपको अभी तक यह नहीं पता कि एक "सही" उत्तर उनके लिए कैसा दिखता है।
यदि वे आठों बार सही होते हैं, तो भी आप उन्हें बहुत कुछ नहीं सिखा सकते क्योंकि वे इसे पहले से ही जानते हैं; सीखने के लिए संघर्ष की कमी है।
लेकिन यदि वे चार सही और चार गलत करते हैं, तो यही वह "स्वीट स्पॉट" (उपयुक्त स्थिति) है। आप सही वाले उत्तरों की ओर इशारा करके कह सकते हैं, "ऐसा करो," और गलत वाले उत्तरों की ओर इशारा करके कह सकते, "ऐसा मत करो।" उनके प्रयासों के बीच का असहमति (disagreement) ही सीखने का संकेत पैदा करता है।

यह शोध पत्र, जिसका शीर्षक है "GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number," यह तर्क देता है कि AI को तर्क करने (reasoning) के लिए प्रशिक्षित करने के तीन लोकप्रिय तरीके वास्तव में असहमति के उस विशिष्ट क्षण को संभालने के तीन अलग-अलग तरीके हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

"जादुई संख्या": मानक विचलन (The Standard Deviation)

यह शोध पत्र उन आठ प्रयासों से गणना की गई एक विशिष्ट संख्या पर ध्यान केंद्रित करता है: मानक विचलन (Standard Deviation)।

इसे एक "भ्रम मीटर" (Confusion Meter) के रूप में सोचें।
यदि छात्र 8/8 सही या 0/8 सही होता है, तो मीटर शून्य दिखाता है। कोई भ्रम नहीं है, और इसलिए, सीखने का कोई संकेत नहीं है।
यदि छात्र 4/8 सही होता है, तो मीटर अधिकतम होता है। छात्र भ्रमित है, और यही भ्रम ही वह जगह है जहाँ सीखना होता है।

यह शोध पत्र सिद्ध करता है कि बाइनरी रिवॉर्ड्स (सही/गलत) के लिए, यह "भ्रम मीटर" केवल एक सहायक उपकरण नहीं है; यह वास्तव में पाठ का आकार है।

तीन विधियाँ: डायल को घुमाने के तीन तरीके

यह शोध पत्र दिखाता है कि तीन प्रसिद्ध AI प्रशिक्षण विधियाँ वास्तव में इसी एक डायल के तीन अलग-अलग सेटिंग्स हैं:

GRPO (एम्प्लीफायर - प्रवर्धक):
- यह क्या करता है: यह पाठ को लेता है और उसे "भ्रम मीटर" से भाग (divide) देता है।
- उपमा: कल्पना कीजिए कि एक शिक्षक कहता है, "यदि तुम भ्रमित हो (उच्च मीटर), तो मैं पाठ को बहुत जोर से चिल्लाकर बोलूँगा ताकि तुम सुन सको। यदि तुम भ्रमित नहीं हो (कम मीटर), तो मैं फुसफुसाऊंगा।"
- परिणाम: यह विधि कठिन और सबसे आसान समस्याओं (जहाँ मीटर उच्च है) को बहुत अधिक प्राथमिकता देती है और "बिल्कुल सही" वाली समस्याओं को अनदेखा कर देती है। यह एक "कठिनाई पूर्वाग्रह" (difficulty bias) बनाता है, जो AI को चरम स्थितियों पर तीव्रता से ध्यान केंद्रित करने के लिए प्रेरित करता है।
Dr. GRPO (फ्लैट-लाइनर):
- यह क्या करता है: यह भाग देने को हटा देता है। यह "भ्रम मीटर" को पूरी तरह से अनदेखा करता है।
- उपमा: यह शिक्षक कहता है, "मैं ठीक उसी आवाज़ में चिल्लाऊँगा, चाहे तुम कितने भी भ्रमित क्यों न हो।"
- परिणाम: AI शुद्ध सफलता दर के आधार पर सीखता है। यह 50/50 के अनुमान और 90% सफलता दर दोनों को सुधार की प्रति इकाई समान भार देता है। यह पहले तरीके के "कठिनाई पूर्वाग्रह" को हटा देता है।
DAPO (फ़िल्टर):
- यह क्या करता है: यह "भ्रम मीटर" को देखता है। यदि मीटर शून्य है (सभी ने सही उत्तर दिया या सभी ने गलत), तो यह उस समूह को फेंक देता है और छात्र को फिर से प्रयास करने के लिए कहता है।
- उपमा: यह शिक्षक कहता है, "यदि तुम्हें सभी उत्तर सही या सभी गलत मिलते हैं, तो मैं इस पर समय बर्बाद नहीं करूँगा। मैं बस तुम्हें नए प्रश्नों का एक सेट दूँगा जब तक कि तुम मुझे कुछ भ्रम दिखा न दो।"
- परिणाम: यह उन "शांत" समूहों को अनदेखा करके कंप्यूटिंग शक्ति बचाता जो कुछ भी नहीं सिखाते।

बड़ी खोज: एक डायल, तीन सेटिंग्स

शोध पत्र का मुख्य दावा है कि ये तीन अलग आविष्कार नहीं हैं। वे केवल एक ही संख्या (समूह के उत्तरों का मानक विचलन) पर तीन अलग-अलग ऑपरेशन हैं:

GRPO इससे भाग देता है।
Dr. GRPO इसे अनदेखा करता है।
DAPO शून्य वाले समूहों को फ़िल्टर करता है।

यह क्यों महत्वपूर्ण है ( "समूह आकार" का नियम)

यह शोध पत्र एक व्यावहारिक नियम भी देता है कि आपको छात्र को कितनी बार प्रयास करने के लिए कहना चाहिए (यानी "समूह का आकार"):

नियम: समस्या जितनी कठिन होगी, आपको उतनी ही अधिक बार पूछने की आवश्यकता होगी।
उपमा: यदि कोई समस्या "सिक्का उछालने" (50% सही होने की संभावना) जैसी है, तो 8 बार पूछना आमतौर पर एक अच्छा पाठ प्राप्त करने के लिए पर्याप्त है। लेकिन यदि कोई समस्या बहुत कठिन है (केवल 5% सही होने की संभावना), तो 8 बार पूछने पर हर बार 8 गलत उत्तर मिल सकते हैं (एक शांत समूह)। आपको एक ऐसा समूह पाने के लिए 70 बार पूछने की आवश्यकता हो सकती है जहाँ छात्र कुछ सही और कुछ गलत करे, ताकि आप वास्तव में उन्हें सिखा सकें।

सारांश

यह शोध पत्र जटिल AI प्रशिक्षण को सरल बनाता है, यह दिखाते हुए कि:

सीखना असहमति के माध्यम से होता है। यदि एक AI समूह हर चीज़ पर सहमत है (सभी सही या सभी गलत), तो वह कुछ नहीं सीखता।
"भ्रम मीटर" ही पाठ है। असहमति की मात्रा यह निर्धारित करती है कि सीखने का संकेत कितना मजबूत है।
तीनों विधियाँ इसी मीटर का उपयोग करने के तीन अलग-अलग तरीके हैं। एक इसे बढ़ाता है, एक इसे अनदेखा करता है, और एक उन समूहों को छोड़ देता है जहाँ मीटर काम नहीं कर रहा है।

लेखकों ने गणित की समस्याओं के एक विशाल डेटासेट और नियंत्रित कंप्यूटर सिमुलेशन पर इनका परीक्षण किया, जिससे यह सिद्ध हुआ कि ये सूत्र सटीक रूप से भविष्यवाणी करते हैं कि AI कितना सीखता है और उसे सफल होने के लिए कितने प्रयासों की आवश्यकता होती है।

तकनीकी सारांश: RLVR प्रशिक्षण में ग्रुप-स्टैंडर्ड-डेविएशन आइडेंटिटी (समूह-मानक-विचलन पहचान)

समस्या विवरण
वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) में, तर्क करने (reasoning) के लिए लैंग्वेज मॉडल्स को प्रशिक्षित करने में अक्सर एक ही प्रॉम्प्ट के लिए कई संभावित उत्तरों ( $G$ ) का नमूना (sampling) लिया जाता है और एक स्वचालित सत्यापनकर्ता (verifier) का उपयोग करके बाइनरी रिवॉर्ड (सही के लिए 1, गलत के लिए 0) निर्धारित किया जाता है। इन रिवॉर्ड्स को प्रोसेस करने के तीन प्रमुख तरीके—ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO), GRPO डन राइट (Dr. GRPO), और डिकपल्ड क्लिप एंड डायनेमिक सैंपलिंग पॉलिसी ऑप्टिमाइजेशन (DAPO)—विभिन्न ह्यूरिस्टिक्स (heuristics) का उपयोग करते प्रतीत होते हैं। GRPO समूह के रिवॉर्ड स्टैंडर्ड डेविएशन द्वारा एडवांटेज को सामान्य (normalize) करता है; Dr. GRPO इस नॉर्मलाइजेशन को हटा देता है; DAPO उन समूहों को छोड़ देता है जहाँ सभी उत्तर एकमत हैं (शून्य स्टैंडर्ड डेविएशन)। यह शोध पत्र इन विधियों के बीच एक एकीकृत सैद्धांतिक समझ की कमी को संबोधित करता है, और यह सवाल उठाता है कि क्या ये अलग-अलग फिक्स हैं या एक ही अंतर्निहित तंत्र के विभिन्न रूप हैं।

कार्यप्रणाली और मुख्य पहचान (Core Identity)
यह शोध पत्र एक एकल प्रॉम्प्ट के लिए परिमित समूह आकार $G$ और बाइनरी रिवॉर्ड के लिए प्रशिक्षण अपडेट को अलग करता है। यह बेसलाइन के उपयोग से स्वतंत्र, प्रति-प्रॉम्प्ट पॉलिसी ग्रेडिएंट अपडेट के लिए एक सटीक गणितीय पहचान व्युत्पन्न करता है।

माना कि $k$ समूह के आकार $G$ में सही उत्तरों की संख्या है। समूह रिवॉर्ड स्टैंडर्ड डेविएशन $\sigma = \sqrt{k(G-k)/G}$ है। शोध पत्र ग्रुप-स्टैंडर्ड-डेविएशन आइडेंटिटी सिद्ध करता है:
$g = \sigma (\bar{s}_+ - \bar{s}_-)$
जहाँ $\bar{s}_+$ और $\bar{s}_-$ क्रमशः सही और गलत रोलआउट्स के औसत स्कोर हैं।

यह पहचान दर्शाती है कि प्रशिक्षण अपडेट का परिमाण ठीक समूह का रिवॉर्ड स्टैंडर्ड डेविएशन है। जब समूह में सर्वसम्मति होती है ( $k=0$ या $k=G$ , इसलिए $\sigma=0$ ), तो अपडेट शून्य हो जाता है और जब समूह समान रूप से विभाजित होता है ( $k=G/2$ ), तो यह चरम पर होता है।

विधियों का एकीकरण
शोध पत्र यह प्रदर्शित करता है कि GRPO, Dr. GRPO, और DAPO अलग-अलग एल्गोरिदम नहीं हैं, बल्कि इस एकल स्केलर मात्रा ( $\sigma$ ) पर लागू किए गए तीन अलग-अलग ऑपरेशन हैं:

GRPO: $\sigma$ द्वारा एडवांटेज को विभाजित करता है। यह अपडेट को $\sigma$ द्वारा स्केल करता है, जो प्रभावी रूप से एक वेरिएंस-स्टेबलाइज्ड ऑब्जेक्टिव ( $2\arcsin\sqrt{p}$ ) को ऑप्टिमाइज़ करता है।
Dr. GRPO: $\sigma$ द्वारा विभाजन को हटा देता है। इसके परिणामस्वरूप $\sigma^2$ के समानुपाती अपडेट प्राप्त होता है, जो कच्चे सफलता दर ( $p$ ) को ऑप्टिमाइज़ करता है।
DAPO: उन समूहों को हटा देता है जहाँ $\sigma = 0$ है। यह उन "शांत" (silent) समूहों को फ़िल्टर करता है जो सही और गलत उत्तरों के बीच कोई कंट्रास्ट प्रदान नहीं करते हैं।

प्रमुख योगदान
शोध पत्र पाँच विशिष्ट सैद्धांतिक और अनुभवजन्य योगदान प्रदान करता है:

सटीक परिमित-समूह पहचान (Exact Finite-Group Identity): शोध पत्र स्थापित करता है कि GRPO अपडेट किसी भी परिमित $G$ और किसी भी पॉलिसी डायमेंशन के लिए वैध, कंट्रास्टिव स्कोर दिशा है, जो एसिम्प्टोटिक लिमिट्स (asymptotic limits) पर निर्भर नहीं है।
ग्रुप-साइज़ लॉ (The Group-Size Law): यह एक क्लोज्ड-फॉर्म संबंध व्युत्पन्न करता है जो यह निर्धारित करता है कि बड़े-समूह ग्रेडिएंट की लक्षित फिडेलिटी ( $\phi$ ) प्राप्त करने के लिए कितने नमूनों ( $G$ ) की आवश्यकता है। आवश्यक समूह आकार कठिनाई भार के वर्ग के समानुपाती होता है: $G \gtrsim 1/(8\epsilon p(1-p))$ । इसका तात्पर्य है कि कठिन प्रॉम्प्ट्स (कम $p$ ) को एक स्थिर लर्निंग सिग्नल उत्पन्न करने के लिए मध्यम-कठिनाई वाले प्रॉम्प्ट्स की तुलना में काफी बड़े समूह आकार की आवश्यकता होती है।
साइलेंट-ग्रुप रेट (The Silent-Group Rate): शोध पत्र एक "साइलेंट" समूह (जो कोई ग्रेडिएंट प्रदान नहीं करता) होने की संभावना को $P = p^G + (1-p)^G$ के रूप में मापता है। यह DAPO के डायनेमिक सैंपलिंग के पीछे के तंत्र की व्याख्या करता है, जो इन विशिष्ट समूहों का ओवर-सैंपलिंग करता है और उन्हें हटा देता है।
डिफिकल्टी बायस का सटीक लक्षण वर्णन: शोध पत्र सिद्ध करता है कि GRPO में देखा जाने वाला "डिफिकल्टी बायस" (जहाँ आसान और कठिन प्रॉम्प्ट्स को अधिक महत्व दिया जाता है) $1/\sigma$ विभाजन का सीधा परिणाम है। यह विभाजन आर्कसाइन ट्रांसफॉर्म के डेरिवेटिव ( $\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$ ) के अनुरूप है, जो चरम कठिनाइयों को उच्च मार्जिनल वेट प्रदान करता है। विभाजन को हटाने (Dr. GRPO) से ऑब्जेक्टिव वापस कच्चे सफलता दर पर आ जाता है जिसमें फ्लैट डिफिकल्टी वेटिंग होती है।
अनुभवजन्य सत्यापन (Empirical Validation):
- बिग-मैथ डेटासेट: 215,608 समस्याओं के डेटासेट पर, शोध पत्र दिखाता है कि GRPO का मानकीकरण (standardization) ग्रेडिएंट बजट को स्थानांतरित करता है, जो Dr. GRPO की तुलना में चरम-कठिनाई वाले प्रॉम्प्ट्स को लगभग दोगुना हिस्सा आवंटित करता है (13.9% $\to$ 24.7%)। यह यह भी पुष्टि करता है कि मानक समूह आकार ( $G=8$ ) पर, 44% प्रॉम्प्ट्स साइलेंट समूह उत्पन्न करते हैं, जो सैद्धांतिक भविष्यवाणी से मेल खाता है।
- नियंत्रित प्रशिक्षण रन: 6,000 बर्नौली-लॉगिट प्रॉम्प्ट्स के साथ एक पुनरुत्पादक (reproducible) प्रयोग पुष्टि करता है कि साइलेंट-ग्रूह रेट और ग्रेडिएंट मास वितरण के लिए क्लोज्ड-फॉर्म भविष्यवाणियां वास्तविक प्रशिक्षण गतिकी के साथ उच्च सटीकता ( $R^2 = 0.999$ ) के साथ ट्रैक करती हैं।

महत्व और दावे
शोध पत्र का दावा है कि जिसे अक्सर एक कॉस्मेटिक नॉर्मलाइजेशन स्टेप माना जाता है, वह वास्तव में वह "डायल" है जो यह निर्धारित करता है कि सीखना कहाँ और कितनी मजबूती से होगा।

सिग्नल बनाम शोर (Signal vs. Noise): समूह का स्टैंडर्ड डेविएशन केवल एक नॉर्मलाइज़र नहीं है; यह स्वयं लर्निंग सिग्नल का आकार है। एक प्रॉम्प्ट केवल तभी सिखाता है जब उसके सैंपल किए गए उत्तरों में असहमति होती है।
एकीकृत दृष्टिकोण: तीनों विधियाँ एक संख्या पर किए गए ऑपरेशन्स के रूप में एकीकृत हैं। GRPO असहमति के स्तर द्वारा सिग्नल को एम्प्लीफाई (amplify) करना चुनता है; Dr. GRPO असहमति के स्तर को अनदेखा करना चुनता है; DAPO उन मामलों को अनदेखा करना चुनता है जहाँ कोई असहमति नहीं है।
व्यावहारिक निहितार्थ: निष्कर्ष बताते हैं कि एक समान समूह आकार का उपयोग करना उप-इष्टतम (suboptimal) है, क्योंकि यह कठिन प्रॉम्प्ट्स को कम सेवा देता है (जिन्हें साइलेंस से बचने के लिए बड़े $G$ की आवश्यकता होती है) और मध्यम प्रॉम्प्ट्स को अधिक सेवा देता है। शोध पत्र का तर्क है कि सटीक परिमित-समूह अकाउंटिंग को समझना चिकित्सकों को उनके डेटा की विशिष्ट कठिनाई वितरण के आधार पर समूह आकार या ऑब्जेक्टिव फॉर्मूलेशन के बारे में सूचित विकल्प लेने में सक्षम बनाता है, बजाय इसके कि वे एसिम्प्टोटिक अनुमानों या ह्यूरिस्टिक ट्यूनिंग पर निर्भर रहें।

शोध पत्र निष्कर्ष निकालता है कि इन परिणामों के लिए नए एल्गोरिदम की आवश्यकता नहीं है, बल्कि वे एक एकल सैंपल किए गए समूह के सटीक अकाउंटिंग से आते हैं, जो RLVR में रिवॉर्ड शेपिंग के विश्लेषण के लिए एक क्लोज्ड-फॉर्म फ्रेमवर्क प्रदान करते हैं।

"जादुई संख्या": मानक विचलन (The Standard Deviation)

तीन विधियाँ: डायल को घुमाने के तीन तरीके

बड़ी खोज: एक डायल, तीन सेटिंग्स

यह क्यों महत्वपूर्ण है ( "समूह आकार" का नियम)

सारांश

इसी तरह के और पेपर