🤖 AI

How to Allocate, How to Learn? Dynamic Rollout Allocation and Advantage Modulation for Policy Optimization

यह शोध पत्र DynaMO प्रस्तुत करता है, जो एक सैद्धांतिक रूप से आधारित ढांचा है जो LLMs के लिए सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) को अनुकूलित करता है, जिसमें संसाधन अक्षमता और प्रशिक्षण अस्थिरता को संबोधित करने के लिए विचरण-न्यूनतम अनुक्रम-स्तरीय रोलआउट आवंटन (variance-minimizing sequence-level rollout allocation) को व्युत्पन्न किया गया है और ग्रेडिएंट-जागरूक टोकन-स्तरीय लाभ मॉड्यूलेशन (gradient-aware token-level advantage modulation) को कार्यान्वित किया गया है।

मूल लेखक: Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कोच हैं जो छात्र एथलीटों की एक टीम (AI मॉडल) को जटिल गणितीय पहेलियों को हल करने के लिए प्रशिक्षित कर रहे हैं। आपका लक्ष्य उन्हें ओलंपिक (कठिन समस्याओं को हल करना) तक जितनी जल्दी और कुशलता से हो सके, पहुँचाना है।

यह पेपर एक नई कोचिंग रणनीति पेश करता है जिसे DynaMO कहा जाता है। यह तर्क देता है कि प्रशिक्षण का पुराना तरीका बेकार और अस्थिर है। DynaMO इसे दो मुख्य तरकीबों के साथ ठीक करता है: स्मार्ट रिसोर्स एलोकेशन (यह तय करना कि किसे कितना अभ्यास समय मिले) और स्मार्ट फीडबैक (उन्हें प्रशंसा या सुधार कैसे दिया जाए)।

यहाँ रोजमर्रा के उदाहरणों का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाली गलती

वर्तमान में, अधिकांश AI ट्रेनर हर गणित की समस्या के साथ एक जैसा व्यवहार करते हैं। यदि आपके पास 100 समस्याएं हैं, तो आप AI को प्रत्येक के लिए 10 प्रयास देते हैं, चाहे समस्या कितनी भी कठिन या आसान क्यों न हो।

दोष: यह एक नौसिखिए को "जूते के फीते कैसे बांधें" (बहुत आसान) पर उतना ही अभ्यास समय देने जैसा है जितना कि "क्वांटम फिजिक्स समीकरण को कैसे हल करें" (बहुत कठिन) पर।
- बहुत आसान: AI इसे तुरंत हल कर लेता है। इसे 10 प्रयास देना समय की बर्बादी है।
- बहुत कठिन: AI हर बार असफल हो जाता है। इसे 10 प्रयास देना केवल निराशाजनक है; यह कुछ भी नहीं सीख पाता क्योंकि वह फंस गया है।
- बिल्कुल सही: वे समस्याएं जहाँ AI कभी जीतता है और कभी हारता है, वे "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) हैं। यहीं पर सबसे अधिक सीखने की प्रक्रिया होती है।

2. समाधान भाग 1: "स्मार्ट शेड्यूलर" (डायनेमिक रोलआउट एलोकेशन)

DynaMO शेड्यूल को बदल देता है। सभी को समान संख्या में प्रयास देने के बजाय, यह एक स्मार्ट शेड्यूलर की तरह काम करता है जो AI के पिछले प्रदर्शन को देखता है।

यह कैसे काम करता है: यह ट्रैक करता है कि कौन सी समस्याएं "बीच में" हैं।
- यदि कोई समस्या बहुत आसान है (AI हमेशा जीतता है), तो यह कहता है, "ठीक है, आइए इसे केवल एक बार आजमाएं।"
- यदि कोई समस्या बहुत कठिन है (AI हमेशा हारता है), तो यह कहता है, "आइए अभी के लिए इसे छोड़ दें।"
- यदि कोई समस्या अनिश्चित है (AI आधी बार जीतता है, आधी बार हारता है), तो यह कहता है, "यहाँ ध्यान केंद्रित करें! इस समस्या को 20 प्रयास दें!"
रूपक (Metaphor): कल्पना कीजिए कि एक शिक्षक टेस्ट ग्रेड कर रहा है। हर छात्र द्वारा सही किए गए प्रश्न को सुधारने में 10 मिनट बिताने के बजाय, और उस प्रश्न पर 10 मिनट बिताने के बजाय जिसे कोई हल नहीं कर सका, वे अपना सारा समय उन प्रश्नों की समीक्षा करने में बिताते हैं जहाँ छात्र संघर्ष कर रहे थे लेकिन सही होने के करीब थे। असली सीखना वहीं होता है।

3. समस्या: "कॉन्फिडेंस ट्रैप" (ग्रेडिएंट एटेनुएशन)

भले ही सही शेड्यूल हो, एक दूसरी समस्या है: AI अपनी गलतियों और सफलताओं से कैसे सीखता है।

वर्तमान प्रणाली में, यदि AI बहुत आत्मविश्वासी है और सही उत्तर प्राप्त करता है, तो उसे एक बहुत छोटी "पीठ थपथपाना" (छोटा लर्निंग सिग्नल) मिलता है। यदि वह अनिश्चित है और गलत होता है, तो उसे एक बड़ी "डांट" मिलती है।

दोष: यह उल्टा है! यदि AI आत्मविश्वासी है और सही है, तो उसे मजबूती से सुदृढ़ किया जाना चाहिए ताकि वह याद रखे कि वह क्यों सही था। यदि वह आत्मविश्वासी है और गलत है, तो उसे बड़े सुधार की आवश्यकता है। लेकिन वर्तमान गणित आत्मविश्वासी सही उत्तरों को पृष्ठभूमि में "धुंधला" (fade away) कर देता है।

4. समाधान भाग 2: "स्मार्ट कोच" (ग्रेडिएंट-अवेयर एडवांटेज मॉड्यूलेशन)

DynaMO फीडबैक लूप को दो तंत्रों के साथ ठीक करता है:

A. "कॉन्फिडेंस बूस्टर" (क्षतिपूर्ति/Compensation)

सुधार: जब AI आत्मविश्वासी और सही होता है, तो DynaMO कृत्रिम रूप से प्रशंसा की आवाज़ बढ़ा देता है। यह कहता है, "तुम अपने आप पर यकीन रखते थे, और तुम सही थे! आइए सुनिश्चित करें कि तुम इस सबक को गहराई से याद रखो।"
रूपक: कल्पना कीजिए कि एक छात्र एक कठिन समस्या को पूरी तरह से हल करता है। एक सामान्य शिक्षक शायद सिर्फ "अच्छा काम किया" कहेगा। DynaMO एक ऐसे शिक्षक की तरह है जो कहता है, "वाह! तुम्हें अपने उत्तर पर इतना भरोसा था, और तुमने इसे सटीक रूप से हासिल किया! आइए इसे बड़े अक्षरों में लिखें ताकि तुम इसे कभी न भूलो।"

B. "ब्रेक पेडल" (स्थिरीकरण/Stabilization)

सुधार: कभी-कभी, AI बहुत उत्साहित हो जाता है और एक भाग्यशाली अनुमान के आधार पर अपने मस्तिष्क (वेट्स) में बहुत बड़े, अनियंत्रित बदलाव करता है। इससे प्रशिक्षण अस्थिर हो जाता है और क्रैश हो जाता है।
रूपक: DynaMO AI के "चिंता स्तर" (एन्ट्रॉपी) पर नज़र रखता है। यदि AI बहुत तेज़, अप्रत्याशित छलांग लगा रहा है, तो DynaMO ब्रेक लगा देता है। यह कहता है, "रुको, धीरे चलो! तुम बहुत तेज़ी से बदल रहे हो। आगे बढ़ने से पहले स्थिर हो जाओ।" यह AI को एक एकल भाग्यशाली जीत के प्रति अत्यधिक प्रतिक्रिया देने से रोकता है।

सारांश: DynaMO क्यों जीतता है

AI को प्रशिक्षित करना खेती करने जैसा समझें:

पुरानी विधि: आप खेत के हर पौधे को बिल्कुल समान मात्रा में पानी देते हैं, चाहे वह कैक्टस (जिसे कम पानी चाहिए) हो या फर्न (जिसे बहुत अधिक चाहिए)। आप खरपतवार को भी फसलों जितनी ही खाद देते हैं।
DynaMO:
1. स्मार्ट वॉटरिंग: यह मिट्टी की जांच करता है। यह उन पौधों पर अतिरिक्त पानी डालता है जो संघर्ष कर रहे हैं लेकिन बढ़ रहे हैं (Goldilocks समस्याएं) और उन पर पानी देना बंद कर देता है जो पहले से ही पूर्ण हैं या मर चुके हैं।
2. स्मार्ट फर्टिलाइजिंग: यह उन पौधों को अतिरिक्त पोषक तत्व देता है जो अच्छा कर रहे हैं लेकिन मजबूत बने रहने के लिए उन्हें बढ़ावा चाहिए (क्षतिपूर्ति), और यह खाद को उन पौधों को जलाने से रोकता है जो बहुत तेज़ी से बढ़ रहे हैं (स्थिरीकरण)।

परिणाम: AI तेज़ी से सीखता है, स्थिर रहता है, और पहले की तुलना में कठिन गणितीय समस्याओं को हल करता है, और यह सब समान कंप्यूटिंग पावर का उपयोग करते हुए करता है। यह केवल कड़ी मेहनत नहीं कर रहा है; यह स्मार्ट तरीके से काम कर रहा है।

यहाँ शोध पत्र "How to Allocate, How to Learn? Dynamic Rollout Allocation and Advantage Modulation for Policy Optimization" (DynaMO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) के लिए सत्यापनीय पुरस्कारों वाले सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) में दो मौलिक चुनौतियों को संबोधित करता है, विशेष रूप से गणितीय तर्क (mathematical reasoning) कार्यों में:

अकुशल संसाधन आवंटन (अनुक्रम स्तर पर - Sequence Level): वर्तमान विधियाँ (जैसे GRPO) सभी प्रशिक्षण समस्याओं में रोलआउट बजट (जनरेट किए गए उत्तरों की संख्या) को समान रूप से वितरित करती हैं। यह ग्रेडिएंट विचरण विषमता (gradient variance heterogeneity) की अनदेखी करता है। उच्च विचरण (संतुलित सफलता/विफलता दर) वाली समस्याएँ सबसे अधिक सूचनात्मक शिक्षण संकेत प्रदान करती हैं, लेकिन वे शोर (noise) भी उत्पन्न करती हैं। समान आवंटन उबाऊ समस्याओं (कम विचरण) या अत्यधिक कठिन समस्याओं (उच्च शोर) पर संसाधनों को बर्बाद करता है, जिससे सूचनात्मकता और अनुमान शोर के बीच के संतुलन को अनुकूलित करने में विफलता होती है।
अस्थिर नीति अनुकूलन गतिकी (टोकन स्तर पर - Token Level): मानक सॉफ्टमैक्स (softmax) नीति संरचना ग्रेडिएंट परिमाणों में एक तनाव पैदा करती है:
- ग्रेडिएंट क्षीणन (Gradient Attenuation): उच्च-विश्वास वाले सही कार्यों के परिणामस्वरूप स्वाभाविक रूप से छोटे ग्रेडिएंट परिमाण होते हैं, जिससे उन कार्यों के लिए पर्याप्त शिक्षण संकेत नहीं मिल पाते जिन्हें मॉडल पहले से ही अच्छी तरह से जानता है।
- प्रशिक्षण अस्थिरता (Training Instability): इसके विपरीत, अत्यधिक ग्रेडिएंट अपडेट प्रशिक्षण को अस्थिर कर सकते हैं। मौजूदा स्थिरीकरण विधियाँ (जैसे अनुपात क्लिपिंग - ratio clipping) मोटे स्तर की (coarse-grained) हैं और उनमें एकीकृत सैद्धांतिक आधार की कमी है, जो अक्सर विशिष्ट ग्रेडिएंट परिमाण और नीति एंट्रॉपी (policy entropy) के बीच के अंतर्संबंध को संबोधित करने में विफल रहती हैं।

2. कार्यप्रणाली: DynaMO ढांचा (Methodology: DynaMO Framework)

लेखक एक DynaMO नामक दोहरे स्तर का अनुकूलन ढांचा प्रस्तावित करते हैं, जो विचरण न्यूनीकरण सिद्धांत (variance minimization theory) और ग्रेडिएंट-एंट्रॉपी विश्लेषण पर आधारित है और अनुक्रम एवं टोकन दोनों स्तरों पर कार्य करता है।

A. अनुक्रम स्तर: गतिशील रोलआउट आवंटन (Dynamic Rollout Allocation - DRA)

सैद्धांतिक आधार: लेखक सिद्ध करते हैं कि समान आवंटन उप-इष्टतम (suboptimal) है। वे एक निश्चित बजट बाधा के तहत कुल ग्रेडिएंट अनुमान विचरण को न्यूनतम करके एक इष्टतम आवंटन रणनीति व्युत्पन्न करते हैं।
इष्टतम सूत्र: समस्या $i$ के लिए इष्टतम रोलआउट संख्या $n_i^*$ उसके ग्रेडिएंट मानक विचलन $\sigma_i$ के समानुपाती है:
$n_i^* \propto \sigma_i$
व्यावहारिक प्रॉक्सी (Practical Proxy): चूंकि $\sigma_i$ अज्ञात है, इसलिए वे एक हल्के, गणना योग्य प्रॉक्सी के रूप में बर्नौली विचरण (Bernoulli Variance) को व्युत्पन्न करते हैं। बाइनरी पुरस्कारों के लिए, विचरण $p(1-p)$ है, जहाँ $p$ सफलता की संभावना है। वे इसका अनुमान ऐतिहासिक सांख्यिकी का उपयोग करके करते हैं (कुल रोलआउट $G_i$ में से सही प्रतिक्रियाओं की संख्या $k_i$ ):
$P_i = \frac{k_i(G_i - k_i)}{G_i(G_i - 1)}$
कार्यान्वयन: एक "वॉटर-लेवल" एल्गोरिदम (Algorithm 1) रोलआउट आवंटित करता है। यह बजट को उन समस्याओं पर केंद्रित करता है जहाँ $P_i$ उच्च है (संतुलित सफलता/विफलता, जो इंगित करता है कि मॉडल "क्षमता अंतराल" में है), जबकि कवरेज सुनिश्चित करने और अत्यधिक संकेंद्रण को रोकने के लिए न्यूनतम ( $G_{min}$ ) और अधिकतम ( $G_{max}$ ) सीमाओं का सम्मान करता है।

B. टोकन स्तर: ग्रेडिएंट-जागरूक एडवांटेज मॉड्यूलेशन (Gradient-Aware Advantage Modulation)

यह घटक एक एकीकृत क्षतिपूर्ति और स्थिरीकरण तंत्र का उपयोग करके सॉफ्टमैक्स नीति के भीतर ग्रेडिएंट गतिकी को संबोधित करता है।

ग्रेडिएंट क्षतिपूर्ति (क्षीणन के लिए - for Attenuation):
- सिद्धांत: सैद्धांतिक विश्लेषण से पता चलता है कि अपेक्षित अपडेट परिमाण नीति एंट्रॉपी द्वारा ऊपरी रूप से सीमित (upper-bounded) होता है। उच्च-विश्वास वाले कार्यों (कम एंट्रॉपी) में ग्रेडिएंट क्षीणन का सामना करना पड़ता है।
- तंत्र: एक क्षतिपूर्ति कारक $\beta_{comp}$ को सकारात्मक-एडवांटेज टोकन पर लागू किया जाता है। यह एंट्रॉपी के व्युत्क्रमानुपाती स्केल होता है:
  $\beta_{comp} = 1 + \alpha \cdot \frac{H_{max} - H}{H_{max} - H_{min}}$
  यह नकारात्मक-एडवांटेज टोकन को प्रभावित किए बिना उच्च-विश्वास वाले सही कार्यों के लिए शिक्षण संकेतों को बढ़ाता है।
अपडेट परिमाण स्थिरीकरण (अस्थिरता के लिए - for Instability):
- सिद्धांत: बड़ी एंट्रॉपी परिवर्तन अत्यधिक ग्रेडिएंट परिमाण को दर्शाती है जो प्रशिक्षण को अस्थिर कर सकते हैं। लेखक एक ऐसा फैक्टराइज्ड रूप व्युत्पन्न करते हैं जो दिखाता है कि एंट्रॉपी परिवर्तन नीति संकेंद्रण (policy concentration) और संयुक्त अपडेट गुणांक द्वारा संचालित होता है।
- तंत्र: एक अस्थिरता संकेतक $\Xi_{i,t}$ एंट्रॉपी परिवर्तन के परिमाण को मापता है। एक स्थिरीकरण कारक $\beta_{stab}$ (एक सिग्मॉइड-आधारित क्षय फलन) अत्यधिक एंट्रॉपी परिवर्तन प्रदर्शित करने वाले टोकन के लिए एडवांटेज को कम करता है, जो प्रभावी रूप से अपडेट को "ब्रेक" लगाता है।
एकीकृत उद्देश्य (Integrated Objective):
अंतिम एडवांटेज $A_{final}$ दोनों तंत्रों को जोड़ता है:
$A_{final} = A_{original} \cdot \beta_{comp} \cdot \beta_{stab}$
इसे मानक क्लिप्ड सरोगेट ऑब्जेक्टिव (GRPO/PPO) में एकीकृत किया जाता है।

3. मुख्य योगदान (Key Contributions)

उप-इष्टतमता का सैद्धांतिक प्रमाण: सिद्ध किया कि समान रोलआउट आवंटन उप-इष्टतम है और बर्नौली विचरण का उपयोग करके एक गणना योग्य प्रॉक्सी के माध्यम से विचरण-न्यूनतम आवंटन रणनीति व्युत्पन्न की।
ग्रेडिएंट-एंट्रॉपी संबंध: नीति एंट्रॉपी और ग्रेडिएंट परिमाण सीमाओं के बीच एक सैद्धांतिक संबंध स्थापित किया, जिससे क्षतिपूर्ति (क्षीणन को ठीक करने के लिए) और स्थिरीकरण (विस्फोट को रोकने के लिए) के लिए एक एकीकृत तंत्र सक्षम हुआ।
दोहरे स्तर का अनुकूलन: एक ऐसा ढांचा प्रस्तावित किया जो समस्याओं के बीच संसाधन वितरण और सूक्ष्म टोकन-स्तरीय अपडेट गतिकी दोनों को एक साथ अनुकूलित करता है।
प्रायोगिक सत्यापन: कई बेंचमार्क और मॉडल स्केल्स पर निरंतर सुधार प्रदर्शित किया, जिसमें एब्लेशन अध्ययन (ablation studies) प्रत्येक घटक की आवश्यकता की पुष्टि करते हैं।

4. प्रायोगिक परिणाम (Experimental Results)

बेंचमार्क: छह गणितीय तर्क बेंचमार्क पर मूल्यांकन किया गया: AIME24, AIME25, AMC23, MATH500, Minerva, और Olympiad।
मॉडल: Qwen2.5-Math (1.5B, 7B) और Qwen3-14B पर परीक्षण किया गया।
प्रदर्शन:
- DynaMO ने लगातार मजबूत बेसलाइन्स (GRPO, Clip-Higher, Entropy Loss, W-REINFORCE, आदि) को पछाड़ दिया।
- उदाहरण (Qwen2.5-Math-7B): AIME24 पर, DynaMO ने 34.4% Pass@1 प्राप्त किया, जबकि मानक GRPO के लिए यह 28.8% और अगले सर्वश्रेष्ठ बेसलाइन (KL-COV) के लिए 32.8% था।
- स्केलिंग: मॉडल स्केल बढ़ने के साथ (1.5B $\to$ 7B $\to$ 14B) प्रदर्शन का अंतर बढ़ता गया, जो सुझाव देता है कि यह विधि बड़े प्रतिनिधि क्षमता वाले मॉडलों के साथ अधिक प्रभावी हो जाती है।
प्रशिक्षण गतिकी: विज़ुअलाइज़ेशन ने दिखाया कि DynaMO स्थिर ग्रेडिएंट नॉर्म्स और सुचारू एंट्रॉपी विकास बनाए रखता है, जबकि बेसलाइन्स (जैसे GRPO) गंभीर स्पाइक्स और अनियमित उतार-चढ़ाव प्रदर्शित करते हैं।
दक्षता: अतिरिक्त कम्प्यूटेशनल ओवरहेड (विचरण अनुमान, मॉड्यूलेशन) नगण्य था, जिससे बेसलाइन्स के समान प्रति-चरण प्रशिक्षण समय बना रहा।

5. महत्व (Significance)

संसाधन दक्षता: DynaMO कंप्यूटेशनल बजट को आवंटित करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जो "कठिन लेकिन हल करने योग्य" समस्याओं पर ध्यान केंद्रित करके प्रति इकाई कंप्यूट के लिए शिक्षण संकेत की गुणवत्ता को अधिकतम करता है।
स्थिरता और अभिसरण (Convergence): एडवांटेज मॉड्यूलेशन को ग्रेडिएंट-एंट्रॉपी संबंधों में सैद्धांतिक आधार देकर, यह आत्मविश्वासपूर्ण कार्यों से सीखने और प्रशिक्षण पतन (training collapse) को रोकने के बीच के संतुलन को हल करता है, जिससे अधिक मजबूत RLVR प्रशिक्षण संभव होता है।
सामान्यीकरण (Generalizability): यह विधि विशुद्ध रूप से एल्गोरिथम स्तर पर कार्य करती है (आवंटन और एडवांटेज गणना को संशोधित करके), जो किसी विशिष्ट आर्किटेक्चर विशेषता पर निर्भर नहीं है, जिससे यह विभिन्न LLM परिवारों और तर्क कार्यों के लिए व्यापक रूप से लागू करने योग्य बन जाती है।

निष्कर्षतः, DynaMO LLMs के लिए RLVR को अधिक कुशल, स्थिर और सैद्धांतिक रूप से सुदृढ़ बनाने की दिशा में एक महत्वपूर्ण कदम है, जो डेटा उपयोग और अनुकूलन गतिकी दोनों में महत्वपूर्ण बाधाओं को संबोधित करता है।