तकनीकी सारांश: NUDGERL – RLVR के लिए कुशल रणनीति-निर्देशित अन्वेषण (Exploration)

1. समस्या विवरण (Problem Statement)

वैरिफिएबल रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) बड़े भाषा मॉडलों (LLMs) की तर्क क्षमता को बढ़ाने के लिए एक स्केलेबल प्रतिमान (paradigm) बन गया है, विशेष रूप से ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) जैसी विधियों के माध्यम से। हालाँकि, RLVR की प्रभावशीलता मौलिक रूप से अन्वेषण (exploration) द्वारा सीमित है। पॉलिसी केवल उन्हीं प्रक्षेप पथों (trajectories) में सुधार कर सकती है जिन्हें उसने पहले ही सैंपल किया है।

इन सीमाओं को कम करने के मौजूदा दृष्टिकोण महत्वपूर्ण ट्रेड-ऑफ का सामना करते हैं:

• ब्रूट-फोर्स स्केलिंग (Brute-force Scaling): रोलआउट्स ($N$) की संख्या बढ़ाने से दुर्लभ, सही प्रक्षेप पथों को खोजने की संभावना बढ़ती है, लेकिन यह गणनात्मक रूप से अत्यधिक खर्चीला है। सैद्धांतिक विश्लेषण बताता है कि लॉन्ग-टेल सही प्रक्षेप पथों की प्रायिकता धीरे-धीरे घटती है, जिसके लिए विशाल बजट की आवश्यकता होती है।
• उद्देश्य संशोधन (Objective Modification): एंट्रॉपी रेगुलराइजेशन या डिकपल्ड क्लिपिंग जैसी तकनीकें व्यापक वितरण-स्तरीय अन्वेषण को प्रोत्साहित करती हैं, लेकिन वे इस पर नियंत्रण देने में सीमित हैं कि क्या खोजा जाए, और अक्सर सार्थक तर्क रणनीतियों के कवरेज को सुनिश्चित करने में विफल रहती हैं।
• विशेषाधिकार प्राप्त जानकारी (Privileged Information): ऑरेकल समाधानों या मध्यवर्ती चरणों (जैसे POPE) का उपयोग करने वाली विधियाँ व्यवहार्यता तो सुधारती हैं, लेकिन वे महंगी और गैर-स्केलेबल सुपरविजन पर निर्भर करती हैं। इसके अलावा, नीति को संकीर्ण, पूर्व-निर्धारित सफल प्रक्षेप पथों की ओर निर्देशित करना अनजाने में वैकल्पिक तर्क रणनीतियों की खोज को सीमित कर सकता है।

मुख्य चुनौती एक संरचित, विविधता-संचालित अन्वेषण प्राप्त करना है जो गणनात्मक रूप से कुशल, स्केलेबल हो और महंगी ऑरेकल डेटा पर निर्भर न हो।

2. कार्यप्रणाली (Methodology): NUDGERL

लेखक NUDGERL प्रस्तावित करते हैं, जो "रणनीति नजिंग" (Strategy Nudging) के माध्यम से तर्क स्थान (reasoning space) को संरचित करने के लिए डिज़ाइन किया गया एक ढांचा है। यह ढांचा तीन मुख्य घटकों से बना है:

A. रणनीति नजिंग (Strategy Nudging - संरचित अन्वेषण)

एक एकल प्रॉम्प्ट से सहज सैंपलिंग (naive sampling) पर निर्भर रहने के बजाय, NUDGERL हल्के, रणनीति-स्तर के संदर्भों (contexts) पर रोलआउट जनरेशन को कंडिशन करता है।

• तंत्र (Mechanism): प्रत्येक प्रॉम्प्ट $x_0$ के लिए, एक हल्का LLM का उपयोग करके ऑफलाइन रूप से रणनीति-स्तर के संदर्भों $C(x_0)$ का एक पूल (जैसे विशिष्ट गणितीय प्रमेय या "पाइथागोरस प्रमेय" जैसे तर्क कीवर्ड) तैयार किया जाता है।
• प्रक्रिया: रोलआउट जनरेशन के दौरान, एक विशिष्ट संदर्भ $c$ को सैंपल किया जाता है और प्रॉम्प्ट के साथ जोड़ा जाता है ($x_1 = (x_0, c)$)। बेस पॉलिसी के साथ अनुकूलता बनाए रखने और संदर्भों पर अत्यधिक निर्भरता से बचने के लिए, एक कॉन्टेक्स्ट ड्रॉपआउट (context dropout) तंत्र लागू किया जाता है, जहाँ एक रोलआउट कभी-कभी बिना किसी संदर्भ के ($c = \emptyset$) उत्पन्न किया जा सकता है।
• लक्ष्य: यह मॉडल को उन विशिष्ट तर्क मोड (reasoning modes) को पार करने के लिए मजबूर करता है जिन्हें वह सहज सैंपलिंग के तहत अनदेखा कर सकता है, जिससे बिना किसी ऑरेकल समाधान की आवश्यकता के, दुर्लभ लेकिन संभावित रूप से सही प्रक्षेप पथों की ओर सैंपलिंग वितरण को प्रभावी ढंग से स्थानांतरित किया जाता है।

B. इंटर-इंट्रा ग्रुप एडवांटेज (Inter-Intra Group Advantage - क्रेडिट असाइनमेंट)

मानक GRPO एक ही प्रॉम्प्ट वितरण के भीतर समूह-वार पुरस्कारों के आधार पर एडवांटेज की गणना करता है। हालाँकि, NUDGERL विभिन्न संदर्भ स्थितियों के तहत रोलआउट उत्पन्न करता है, जिससे एक बेमेल (mismatch) स्थिति पैदा होती है जहाँ रिवॉर्ड वेरिएशन, प्रक्षेप पथ की गुणवत्ता और संदर्भ-विशिष्ट पूर्वाग्रह दोनों को दर्शाता है।

• समाधान: लेखक एक एकीकृत एडवांटेज एस्टीमेटर पेश करते हैं जो सिग्नल को दो घटकों में विभाजित करता है:
  1. इंट्रा-कॉन्टेक्स्ट एडवांटेज (Intra-context Advantage): अपने विशिष्ट संदर्भ समूह के औसत रिवॉर्ड के सापेक्ष प्रक्षेप पथ की गुणवत्ता को मापता है।
  2. इंटर-कॉन्टेक्स्ट एडवांटेज (Inter-context Advantage): वैश्विक औसत के सापेक्ष स्वयं संदर्भ की विश्वसनीयता को मापता है।
• सूत्र (Formula): संदर्भ $z(i)$ और रिवॉर्ड $r_i$ वाले एक रोलआउट $i$ के लिए एडवांटेज $\hat{A}_i$ को इस प्रकार परिभाषित किया गया है:
  $$\hat{A}_i = \frac{A_i - \mu_A}{\sigma_A + \delta}$$
  जहाँ $A_i = (r_i - \bar{r}_{z(i)}) + \lambda(\bar{r}_{z(i)} - \bar{r})$ यदि $z(i) \neq \emptyset$, और $A_i = r_i - \bar{r}$ अन्यथा।
• $\lambda$ की भूमिका: यह हाइपरपैरामीटर अन्वेषण (exploration) और दोहन (exploitation) को संतुलित करता है। $\lambda > 1$ उच्च-रिवॉर्ड वाले संदर्भों से सफलता को प्राथमिकता देता है (दोहन), जबकि $\lambda < 1$ कम-रिवॉर्ड वाले संदर्भों के अन्वेषण को प्रोत्साहित करता है। पेपर में यह सिद्ध किया गया है कि $\lambda \in [0, 2]$ के लिए, उच्च रिवॉर्ड हमेशा उच्च एडवांटेज देते हैं, जो अनुकूलन उद्देश्य के साथ निरंतरता सुनिश्चित करता है।

C. डिस्टिलेशन-ऑगमेंटेड ऑब्जेक्टिव (Distillation-Augmented Objective - ट्रेन-टेस्ट गैप को पाटना)

चूंकि रोलआउट संदर्भों ($x_1$) के साथ उत्पन्न किए जाते हैं लेकिन पॉलिसी को इन्फरेंस के समय बिना संदर्भों ($x_0$) के संचालित होना होता है, इसलिए एक वितरण संबंधी बेमेल (distributional mismatch) मौजूद होता है।

• तंत्र: NUDGERL एक सेल्फ-डिस्टिलेशन टर्म का उपयोग करता है जो संदर्भ-कंडीशन्ड अन्वेषण के दौरान खोजी गई उच्च-गुणवत्ता वाली व्यवहारों को बेस पॉलिसी में स्थानांतरित करता है।
• लॉस फंक्शन (Loss Function): कुल ऑब्जेक्टिव मानक RL लॉस को डिस्टिलेशन लॉस के साथ जोड़ता है:
  $$\mathcal{L}_{NUDGERL} = \mathcal{L}_{RL} + \lambda_{distill} \mathcal{L}_{Distill}$$
  जहाँ $\mathcal{L}_{Distill} = -\mathbb{E}_{y \sim \pi_\theta(\cdot|x_1)} [\hat{A} \log \pi_\theta(y|x_0)]$।
• प्रभाव: यह सुनिश्चित करता है कि पॉलिसी विविध संदर्भों के तहत खोजी गई प्रभावी तर्क रणनीतियों को आत्मसात कर ले, जिससे वह संदर्भ-मुक्त इन्फरेंस के दौरान उन्हें दोहरा सके।

3. प्रमुख योगदान (Key Contributions)

1. रणनीति नजिंग (Strategy Nudging): एक अभिनव अन्वेषण तंत्र जो महंगी ऑरेकल सुपरविजन के बिना विविध तर्क प्रक्षेप पथों को प्रेरित करने के लिए हल्के, ह्यूरिस्टिक प्रॉम्प्ट्स का उपयोग करता है।
2. इंटर-इंट्रा ग्रुप एडवांटेज (Inter-Intra Group Advantage): एक क्रेडिट असाइनमेंट विधि जो संदर्भ-प्रेरित पूर्वाग्रह को आंतरिक प्रक्षेप पथ गुणवत्ता से अलग करती है, जिससे संदर्भ-कंडीशन्ड रोलआउट से स्थिर लर्निंग संभव होती है।
3. डिस्टिलेशन-ऑगमेंटेड RL (Distillation-Augmented RL): एक ऑब्जेक्टिव जो संदर्भ-कंडीशन्ड ट्रेनिंग और संदर्भ-मुक्त इन्फरेंस के बीच के अंतर को स्पष्ट रूप से पाटता है, जिससे यह सुनिश्चित होता है कि खोजी गई रणनीतियाँ बेस पॉलिसी द्वारा बरकरार रखी जाएं।
4. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि संरचित अन्वेषण, ब्रूट-फोर्स रोलआउट स्केलिंग और ऑरेकल-निर्देशित विधियों दोनों से बेहतर प्रदर्शन कर सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3-4B और Olmo3-7B मॉडलों का उपयोग करके पांच चुनौतीपूर्ण गणितीय बेंचमार्क (AIME24, AIME25, AMC23, MATH500, APEX) पर NUDGERL का मूल्यांकन किया।

• दक्षता बनाम रोलआउट स्केलिंग (Efficiency vs. Rollout Scaling): NUDGERL ने GRPO की तुलना में बेहतर औसत प्रदर्शन हासिल किया, भले ही GRPO को एक 8× बड़ा रोलआउट बजट दिया गया था (उदाहरण के लिए, Qwen3-4B पर NUDGERL ने 8 रोलआउट के साथ GRPO के 64 रोलआउट को पछाड़ दिया)।
• ऑरेकल विधियों के साथ तुलना: NUDGERL ने सभी मॉडलों और बेंचमार्क में POPE (एक ऑरेकल-प्रीफिक्स बेसलाइन) को पछाड़ दिया, बावजूद इसके कि यह महंगी ऑरेकल समाधानों के बजाय अनवेरिफाइड, हल्के रणनीति संकेतों का उपयोग करता है।
• अन्वेषण विविधता (Exploration Diversity): विश्लेषण से पता चला कि NUDGERL ने सहज सैंपलिंग की तुलना में काफी अधिक संख्या में विशिष्ट तर्क क्लस्टर (reasoning clusters) खोजे, जो अक्सर प्रमुख मोड (dominant modes) तक ही सीमित रह जाते हैं।
• केस स्टडी (Case Study): एक विशिष्ट AIME25 समस्या में, GRPO समाधान खोजने में विफल रहा, क्योंकि वह अप्रभावी रणनीतियों पर निर्भर था। NUDGERL ने सफलतापूर्वक "शूलेस फॉर्मूला" (shoelace formula) रणनीति की खोज की और उपयोग की, जिससे इस विशिष्ट तर्क मोड में अन्वेषण को मजबूर करके सही समाधान उत्पन्न किए गए।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि NUDGERL यह प्रदर्शित करता है कि संरचित, संदर्भ-संचालित अन्वेषण ब्रूट-फोर्स स्केलिंग और विशेषाधिकार प्राप्त जानकारी पर निर्भर करने वाली व्यवहार्यता-उन्मुख विधियों दोनों के लिए एक व्यवहार्य और कुशल विकल्प है।

• स्केलेबिलिटी (Scalability): हल्के, ऑफलाइन-जनरेटेड रणनीति संकेतों का उपयोग करके, यह विधि विशाल रोलआउट बजट की गणनात्मक लागत और ऑरेकल-आधारित विधियों की डेटा कमी की समस्याओं से बचती है।
• नियंत्रण (Control): वितरण-स्तरीय रेगुलराइजेशन जो स्टोकेस्टिक (stochastic) है, के विपरीत, स्ट्रैटेजी नजिंग तर्क स्थान पर स्पष्ट नियंत्रण प्रदान करता है, जिससे विविध, सार्थक रणनीतियों का कवरेज सुनिश्चित होता है।
• सामान्यीकरण (Generalization): डिस्टिलेशन घटक संदर्भ-विशिष्ट खोजों को बेस पॉलिसी में सफलतापूर्वक स्थानांतरित करता है, जिससे यह सिद्ध होता है कि मॉडल विविध तर्क पैटर्न सीख सकते हैं, बिना इन्फरेंस के समय बाहरी संकेतों पर निर्भर रहे।

लेखक निष्कर्ष निकालते हैं कि संरचित मार्गदर्शन के माध्यम से अन्वेषण की गुणवत्ता में सुधार करना, केवल नमूनों की मात्रा बढ़ाने या संकीर्ण, विशेषाधिकार प्राप्त संकेतों पर निर्भर रहने की तुलना में अधिक प्रभावी है।