🤖 machine learning

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL एक स्वचालित मिड-ट्रेनिंग फ्रेमवर्क पेश करता है जो जटिल तर्क कार्यों के लिए मॉडलों को अधिक प्रभावी ढंग से प्राइम करने के लिए स्पार्स रिवॉर्ड्स और मैनुअल स्किल स्पेसिफिकेशन की सीमाओं को दूर करने हेतु मानव-लिखित समाधानों को हिडन रिवॉर्ड स्कैफोल्ड्स के रूप में उपयोग करके एलएलएम (LLMs) के लिए डेंस, प्रोसेस-लेवल फीडबैक उत्पन्न करता है।

मूल लेखक: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (Base LLM) को अविश्वसनीय रूप से कठिन गणितीय पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं।

समस्या: "सब कुछ या कुछ भी नहीं" का जाल (The "All-or-Nothing" Trap)

अभी, इस छात्र को सिखाने का मानक तरीका यह है कि उन्हें एक पहेली दी जाए और कहा जाए, "यदि आप अंतिम उत्तर सही पाते हैं, तो आपको एक स्वर्ण स्टार मिलेगा। यदि आप गलत होते हैं, तो आपको कुछ भी नहीं मिलेगा।"

इसे स्पार्स रिवॉर्ड रीइन्फोर्समेंट लर्निंग (Sparse Reward Reinforcement Learning) कहा जाता है। समस्या यह है कि बहुत कठिन पहेलियों के लिए, छात्र शायद ही कभी अपने पहले प्रयास में अंतिम उत्तर सही पाता है। क्योंकि उन्हें लगभग कभी स्वर्ण स्टार नहीं मिलता, इसलिए उन्हें यह नहीं पता चलता कि उन्होंने कहाँ गलती की। क्या उन्होंने सही विचार के साथ शुरुआत की थी? क्या उन्होंने गणना में कोई छोटी सी गलती की? क्या वे बीच में भटक गए? बिना फीडबैक के, छात्र केवल तुक्का लगाने जैसा व्यवहार करता रहता है, इस उम्मीद में कि वह अंततः सही उत्तर तक पहुँच जाएगा। उनमें कवरेज (Coverage) की कमी है—उन्होंने समस्या को हल करने के विभिन्न तरीकों को पर्याप्त रूप से नहीं सीखा है जिससे उनके सफल होने की संभावना बढ़ सके।

समाधान: ExpRL ("चीट शीट के साथ कोच")

लेखक एक नया प्रशिक्षण तरीका प्रस्तावित करते हैं जिसे ExpRL (Exploratory Reinforcement Learning) कहा जाता है। इसे एक "मिड-ट्रेनिंग" चरण के रूप में सोचें जहाँ अंतिम परीक्षा से पहले छात्र को एक विशेष कोच मिलता है।

ExpRL कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

चीट शीट (संदर्भ समाधान - Reference Solutions): कोच के पास पहेली का एक सटीक, चरण-दर-चरण समाधान (संदर्भ समाधान) होता है।
गुप्त नियम: छात्र चीट शीट को नहीं देखता है। उन्हें अपनी ओर से पहेली हल करने का प्रयास करना चाहिए, ठीक वैसे ही जैसे वास्तविक दुनिया में होता है।
ग्रेडिंग रूब्रिक (जज): छात्र के प्रयास को लिखने के बाद, कोच चीट शीट के साथ उसकी तुलना करता है। लेकिन केवल "गलत" कहने के बजाय, कोच एक सख्त लेकिन सहायक ग्रेडर की तरह कार्य करता है।
- क्या आपने सही फॉर्मूला के साथ शुरुआत की? (हाँ? +1 अंक)।
- क्या आपने समीकरण को सही ढंग से सरल बनाया? (हाँ? +1 अंक)।
- क्या आप बीच में भटक गए? (उस हिस्से के लिए कोई अंक नहीं)।
- क्या आपका अंतिम उत्तर गलत है? (ठीक है, लेकिन आपने पहले के अच्छे चरणों के लिए अभी भी अंक प्राप्त किए)।

यही मुख्य नवाचार है: ExpRL आंशिक प्रगति को पुरस्कृत करता है। भले ही छात्र अंतिम उत्तर देने में विफल रहे, उन्हें रास्ते में लिए गए सही चरणों के लिए "सघन पुरस्कार" (dense rewards - बहुत सारे छोटे अंक) मिलते हैं।

ग्रेडिंग के दो तरीके

पेपर इन अंकों को देने के दो तरीकों का परीक्षण करता है:

ExpRL-Outcome: कोच पूरे निबंध (attempt) के समाप्त होने तक इंतजार करता है और फिर इस आधार पर स्कोर देता है कि पूरा समाधान आदर्श समाधान के कितने करीब था।
ExpRL-Process: कोच छात्र को हर कुछ वाक्यों के बाद रोकता है और तत्काल फीडबैक देता है। "उस पहले चरण के लिए अच्छा काम किया! लेकिन अगला चरण थोड़ा कमजोर लग रहा है।" यह छात्र को केवल यह सीखने में मदद करता है कि समाधान कैसे बनाया जाए, न कि केवल यह कि अंतिम उत्तर कैसा दिखता है।

परिणाम: एक बेहतर नींव बनाना

इस "मिड-ट्रेनिंग" चरण के बाद, छात्र अंतिम परीक्षा (वास्तविक स्पार्स-रिवॉर्ड RL) के लिए बहुत बेहतर तरीके से तैयार होता है।

बेहतर कवरेज: छात्र ने कई अलग-अलग रणनीतियों को आज़माना सीख लिया है। वे केवल अनुमान नहीं लगा रहे हैं; वे जानते हैं कि समस्या को कैसे तोड़ना है, अपने काम की जाँच कैसे करनी है और खुद को कैसे सुधारना है।
मजबूत शुरुआत: जब छात्र अंततः अंतिम परीक्षा देता है (जहाँ उन्हें केवल पूर्ण उत्तर के लिए स्वर्ण स्टार मिलता है), तो वे सफलता की बहुत उच्च संभावना के साथ शुरुआत करते हैं क्योंकि वे पहले से ही कठिन समस्याओं को हल करने की प्रक्रिया का अभ्यास कर चुके होते हैं।
प्रतिस्पर्धा को पछाड़ना: पेपर दिखाता है कि यह तरीका इनसे बेहतर काम करता है:
- SFT (Supervised Fine-Tuning): केवल छात्र को चीट शीट रटने के लिए मजबूर करना (जो उन्हें कठोर बनाता है और उनकी रचनात्मकता कम करता है)।
- Standard RL: केवल स्वर्ण स्टार का इंतजार करना (जो बहुत धीमा और निराशाजनक है)।
- Self-Distillation: अपने स्वयं के सर्वोत्तम अनुमानों से सीखने की कोशिश करना (जो अविश्वसनीय हो सकता है)।

"मिक्स्ड डोमेन" टेस्ट

शोधकर्ताओं ने इसे गणित, विज्ञान और कोडिंग समस्याओं के मिश्रण पर भी आजमाया।

गणित और विज्ञान: यह बहुत अच्छा काम करता है। "चीट शीट" ने छात्र को तर्क और चरणों को समझने में मदद की।
कोडिंग: इसने थोड़ी मदद की, लेकिन उतनी नहीं जितनी अन्य क्षेत्रों में। क्यों? क्योंकि कोडिंग में, आप कोड चलाकर देख सकते हैं कि वह काम करता है या नहीं (एक स्पष्ट "पास/फेल" संकेत)। कोडिंग में "चीट शीट" उतनी आवश्यक नहीं है जब कंप्यूटर स्वयं आपको बताता है कि आप सही हैं या गलत।

मुख्य निष्कर्ष (The Bottom Line)

ExpRL एक ऐसे छात्र को अभ्यास परीक्षा देने जैसा है जहाँ उन्हें हर अच्छे चरण के लिए आंशिक क्रेडिट मिलता है, जो एक आदर्श उत्तर कुंजी द्वारा निर्देशित होता है जिसे वे देख नहीं सकते। यह समस्या-समाधान कौशल की एक मजबूत नींव बनाता है, जिससे उनके सफल होने की संभावना बहुत बढ़ जाती है जब उन्हें उस वास्तविक, उच्च-दांव वाली परीक्षा का सामना करना पड़ता है जहाँ केवल अंतिम उत्तर मायने रखता है। यह "सब कुछ या कुछ भी नहीं" वाले जुए को एक संरचित सीखने की यात्रा में बदल देता है।

तकनीकी सारांश: ExpRL: LLM मिड-ट्रेनिंग के लिए एक्सप्लोरेटरी RL (Exploratory RL)

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) लार्ज लैंग्वेज मॉडल (LLM) की तर्क क्षमता (reasoning) को बेहतर बनाने के लिए एक मानक तंत्र बन गया है, विशेष रूप से उन कार्यों के लिए जिनमें स्पार्स बाइनरी रिवॉर्ड्स (जैसे, अंतिम उत्तर की शुद्धता) होते हैं। हालाँकि, स्पार्स-रिवॉर्ड RL की सफलता बेस मॉडल के कवरेज (coverage) पर महत्वपूर्ण रूप से निर्भर करती है: वह प्रायिकता द्रव्यमान (probability mass) जो मॉडल प्रशिक्षण शुरू होने से पहले उत्पादक तर्क पथों (productive reasoning paths) को असाइन करता है।

यदि एक बेस मॉडल कठिन समस्याओं के लिए उपयोगी मध्यवर्ती चरणों या विविध समाधान रणनीतियों को शायद ही कभी सैंपल करता है, तो स्पार्स रिवॉर्ड्स अपर्याप्त शिक्षण संकेत प्रदान करते हैं। मॉडल अपने प्रारंभिक, अक्सर उप-इष्टतम (suboptimal) तर्क पैटर्न से आगे अन्वेषण करने में विफल हो सकता है। इसे संबोधित करने के लिए वर्तमान मिड-ट्रेनिंग रणनीतियाँ—जैसे कि क्यूरेटेड ट्रेसेस पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या सेल्फ-डिस्टिलेशन—अक्सर कौशल के मैनुअल विनिर्देश (manual specification) की आवश्यकता रखती हैं या टोकन-लेवल इमिटेशन (imitation) पर निर्भर करती हैं। ये दृष्टिकोण मॉडल की मूल तर्क क्षमताओं को बाधित कर सकते हैं या कठिन कॉम्बिनेटोरियल या गणितीय कार्यों के लिए आवश्यक व्यापक समस्या-समाधान रणनीतियों तक सामान्यीकरण करने में विफल हो सकते हैं।

मुख्य चुनौती एक बेस मॉडल को उत्पादक तर्क पथों के कवरेज (जिसे $pass@k$ द्वारा मापा जाता है) को बढ़ाने के लिए "प्राइमिंग" (priming) करने की प्रक्रिया को स्वचालित करना है, और यह सब बिना इमिटेशन (imitation) पर निर्भर हुए करना है, ताकि बाद के स्पार्स-रिवॉर्ड RL के लिए एक मजबूत इनिशियलाइजेशन तैयार किया जा सके।

2. कार्यप्रणाली: एक्सप्लोरेटरी RL (ExpRL)

ExpRL एक ऑन-पॉलिसी RL-आधारित मिड-ट्रेनिंग दृष्टिकोण है जो रेफरेंस सॉल्यूशंस का उपयोग नकल (imitation) के लक्ष्यों के रूप में नहीं, बल्कि रिवॉर्ड स्कैफोल्ड्स (reward scaffolds) के रूप में करता है। यह विधि कठिन समस्याओं $\mathcal{D}_{mid}$ के एक डेटासेट पर कार्य करती है जिसके साथ संबद्ध रेफरेंस सॉल्यूशंस $y^*$ होते हैं।

मुख्य डिज़ाइन सिद्धांत (Core Design Principle)

रेफरेंस सॉल्यूशंस को पॉलिसी के लिए प्रदर्शन (demonstrations) के रूप में एक्सपोज़ करने के बजाय (जो पॉलिसी को इमिटेशन की ओर बायस करेगा), ExpRL रेफरेंस को पॉलिसी से छिपा देता है। पॉलिसी केवल प्रॉम्प्ट $x$ से ट्राजेक्टरीज $y$ को सैंपल करती है। एक LLM जज फिर छिपे हुए रेफरेंस $y^*$ के विरुद्ध सैंपल की गई ट्राजेक्टरी की तुलना करता है ताकि डेंस रिवॉर्ड्स (dense rewards) असाइन किए जा सकें। यह "वेरिफिकेशन-जनरेशन गैप" का लाभ उठाता है, जहाँ LLMs अक्सर शून्य से सही समाधान उत्पन्न करने की तुलना में एक रेफरेंस के विरुद्ध आंशिक प्रगति (partial progress) को सत्यापित करने में बेहतर होते हैं।

रिवॉर्ड मैकेनिज्म (Reward Mechanisms)

ExpRL दो प्रकार के डेंस रिवॉर्ड्स को परिभाषित करता है:

ExpRL-Outcome: रेफरेंस सॉल्यूशन के साथ संरेखण (alignment) के आधार पर पूरी रोलआउट को एक डेंस, ग्रेडेड स्कोर असाइन करता है। जज पूरे ट्रेस का मूल्यांकन एक रूब्रिक के विरुद्ध करता है, जिससे गलत अंतिम उत्तर होने पर भी फीडबैक मिलता है। यह आंशिक शुद्धता और उपयोगी मध्यवर्ती रिडक्शन (intermediate reductions) को पुरस्कृत करता है।
ExpRL-Process: रोलआउट के मध्यवर्ती प्रीफिक्स (intermediate prefixes) को डेंस स्कोर असाइन करता है। क्रेडिट असाइनमेंट में सुधार के लिए, यह विधि सेगमेंट-लेवल एडवांटेज $A_t$ की गणना करती है। एक सेगमेंट को सकारात्मक एडवांटेज तभी मिलता है जब वह पिछले प्रीफिक्स के सापेक्ष जज के अलाइनमेंट स्कोर में सुधार करता है ( $s_t - s_{t-1}$ ), जो पॉलिसी को मध्यवर्ती प्रगति पर निर्माण करने के लिए प्रोत्साहित करता है और प्रतिगमन (regression) को दंडित करता है।

ऑप्टिमाइजेशन (Optimization)

पॉलिसी $\pi_\theta$ को बेस पॉलिसी $\pi_0$ के विरुद्ध KL रेगुलराइजेशन टर्म के साथ ऑन-पॉलिसी RL (आउटकम रिवॉर्ड्स के लिए GRPO, प्रोसेस रिवॉर्ड्स के लिए REINFORCE) का उपयोग करके अनुकूलित किया जाता है। उद्देश्य अपेक्षित डेंस रिवॉर्ड को अधिकतम करना है जबकि बेस मॉडल के सुलभ KL स्पेस के भीतर रहना है:
$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$

डाउनस्ट्रीम एप्लीकेशन (Downstream Application)

मिड-ट्रेनिंग के बाद, प्राइम्ड पॉलिसी एक डाउनस्ट्रीम डेटासेट $\mathcal{D}'$ पर मानक स्टेज-II स्पार्स-रिवॉर्ड RL चरण के लिए इनिशियलाइजेशन के रूप में कार्य करती है। इस चरण में, सभी रेफरेंस जानकारी हटा दी जाती है, और मॉडल को केवल बाइनरी फाइनल-आंसर रिवॉर्ड्स का उपयोग करके प्रशिक्षित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

स्वचालित कवरेज बिल्डिंग (Automated Coverage Building): ExpRL एक ऐसी विधि प्रस्तावित करता है जो इमिटेशन लक्ष्यों के बजाय रिवॉर्ड स्कैफोल्ड्स के रूप में रेफरेंस सॉल्यूशंस का उपयोग करके मॉडल के उत्पादक तर्क पथों के कवरेज को स्वचालित रूप से विस्तृत करती है।
डेंस रिवॉर्ड स्कैफोल्डिंग (Dense Reward Scaffolding): यह एक LLM जज के माध्यम से रेफरेंस सॉल्यूशंस को समस्या-विशिष्ट डेंस ग्रेडिंग रूब्रिक्स में बदलने का तंत्र पेश करता है, जिससे आंशिक प्रगति और मध्यवर्ती रिडक्शन को सुदृढ़ करना संभव होता है जो स्पार्स रिवॉर्ड्स मिस कर देते हैं।
प्रोसेस-लेवल क्रेडिट असाइनमेंट (Process-Level Credit Assignment): प्रीफिक्स-आधारित स्कोरिंग और सेगमेंट-लेवल एडवांटेज का उपयोग करके, ExpRL तर्क चरणों की गुणवत्ता पर सूक्ष्म फीडबैक प्रदान करता है, जिससे डीकंपोजिशन और सेल्फ-करेक्शन जैसे व्यवहारों को प्रोत्साहन मिलता है।
प्राइमिंग का अनुभवजन्य सत्यापन (Empirical Validation of Priming): यह कार्य प्रदर्शित करता है कि ExpRL, SFT, स्पार्स-रिवॉर्ड GRPO और सेल्फ-डिस्टिलेशन बेसलाइन्स की तुलना में डाउनस्ट्रीम स्पार्स-रिवॉर्ड RL के लिए एक बेहतर इनिशियलाइजेशन प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग चुनौतीपूर्ण गणितीय तर्क कार्यों (AIME, HMMT, IMO-AnswerBench) पर किए गए और उन्हें मिश्रित-डोमेन सेटिंग्स (विज्ञान, कोडिंग) तक विस्तारित किया गया।

डाउनस्ट्रीम प्रदर्शन (Downstream Performance): ExpRL द्वारा इनिशियलाइज किए गए मॉडल्स ने होल्ड-आउट बेंचमार्क्स पर स्टेज-II स्पार्स RL के बाद सभी बेसलाइन्स की तुलना में उच्च $pass@1 $और$ pass@k$ प्राप्त किया। विशेष रूप से, AIME 2026 पर, ExpRL-Process ने 63.41% सटीकता प्राप्त की, जो सर्वश्रेष्ठ बेसलाइन (GRPO) के 58.75% से अधिक है।
स्टेज-I सुधार (Stage-I Improvements): डाउनस्ट्रीम RL से पहले भी, ExpRL-प्राइम्ड मॉडल्स ने मिड-ट्रेनिंग डिस्ट्रीब्यूशन पर $pass@1 $और$ pass@16$ में महत्वपूर्ण सुधार दिखाया, जो यह दर्शाता है कि विधि सफलतापूर्वक उन समस्याओं के सेट का विस्तार करती है जिन्हें मॉडल सैंपल कर सकता है।
व्यवहार संबंधी परिवर्तन (Behavioral Changes): तर्क व्यवहारों के विश्लेषण से पता चला कि बेस मॉडल की तुलना में ExpRL वेरिफिकेशन, सेल्फ-करेक्शन और बैकट्रैकिंग जैसे सर्च-ओरिएंटेड व्यवहारों की आवृत्ति को बढ़ाता है। इसके विपरीत, SFT ने वेरिफिकेशन व्यवहारों को कम करने की प्रवृत्ति दिखाई।
मिश्रित-डोमेन और जज स्केलेबिलिटी (Mixed-Domain and Judge Scalability):
- ExpRL-Outcome ने गणित, विज्ञान और कोडिंग डोमेन में एक छोटे 4B जज का उपयोग करके एक बड़े 8B पॉलिसी को सफलतापूर्वक सुधारा, जो बताता है कि यदि जज रेफरेंस-कंडीशन्ड है, तो उसे पॉलिसी के स्केल के बराबर होने की आवश्यकता नहीं है।
- कोडिंग में सीमा (Limitation in Coding): कोडिंग कार्यों (LiveCodeBench) पर ExpRL के मिश्रित परिणाम रहे। हालांकि इसने बेस पॉलिसी में सुधार किया, लेकिन निष्पादन-आधारित (execution-based) स्पार्स GRPO अधिक मजबूत रहा। लेखक इसका श्रेय इस तथ्य को देते हैं कि कोडिंग रिवॉर्ड्स कार्यात्मक शुद्धता (निष्पादन) पर निर्भर करते हैं, न कि रेफरेंस-सोल्यूशन स्कैफोल्डिंग पर, जहाँ रेफरेंस पाथ के माध्यम से आंशिक प्रगति को परिभाषित करना कठिन होता है।
रिवॉर्ड विश्वसनीयता (Reward Reliability): कैलिब्रेशन टेस्ट ने पुष्टि की कि डेंस रिवॉर्ड सिग्नल की उपस्थिति एक सही, समस्या-मैचिंग रेफरेंस पर निर्भर करती है। रेफरेंस को हटाने या गलत रेफरेंस का उपयोग करने से जज की सही और गलत रोलआउट के बीच अंतर करने की क्षमता काफी कम हो गई।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ExpRL मिड-ट्रेनिंग चरण में अन्वेषण (exploration) के बोझ को स्थानांतरित करके LLM RL में "एक्सप्लोरेशन बॉटलनेक" को संबोधित करता है। रेफरेंस-गाइडेड डेंस रिवॉर्ड्स के माध्यम से आंशिक प्रगति और विविध तर्क रणनीतियों को पुरस्कृत करके, ExpRL एक मजबूत "एक्सप्लोरेशन प्रायर" (exploration prior) बनाता है।

लेखक तर्क देते हैं कि यह दृष्टिकोण इमिटेशन-आधारित मिड-ट्रेनिंग (SFT) की तुलना में बेहतर है क्योंकि यह उन ट्रेसेस को क्लोन करने के दोषों से बचता है जिन्हें बेस मॉडल स्वाभाविक रूप से उत्पन्न नहीं कर सकता, जिससे डिस्ट्रीब्यूशनल शिफ्ट और अस्थिरता हो सकती है। इसके बजाय, ExpRL पॉलिसी को उसके अपने डिस्ट्रीब्यूशन पर रखते हुए उसे समाधान स्थान के उत्पादक क्षेत्रों की ओर निर्देशित करता है।

यह कार्य ExpRL को एक सामान्य प्राइमिंग इंटरफेस के रूप में स्थापित करता है जिसे अन्य अन्वेषण रणनीतियों (जैसे, प्रीफिक्स-गाइडेड जनरेशन) के साथ जोड़ा जा सकता है, और यह सुझाव देता है कि कठिन समस्याओं पर RL को स्केल करने की कुंजी यह सुनिश्चित करना है कि स्पार्स-रिवॉर्ड ऑप्टिमाइजेशन शुरू होने से पहले बेस मॉडल के पास उत्पादक तर्क पथों का पर्याप्त कवरेज हो। पेपर विनम्र बना हुआ है, यह नोट करते हुए कि इस विधि के लिए सहायक रेफरेंस डेटा की आवश्यकता होती है और इसकी प्रभावशीलता डोमेन (जैसे, कोडिंग के लिए कम महत्वपूर्ण जहाँ निष्पादन फीडबैक उपलब्ध है) के अनुसार भिन्न होती है।