🤖 machine learning

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

यह शोध पत्र एक्सप्लोरेशन-ड्रिवन ऑप्टिमाइजेशन (EDO) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो iDPO और GRPO जैसी पुनरावृत्ति पोस्ट-ट्रेनिंग विधियों में विविधता-बढ़ाने वाले एक्सप्लोरेशन उद्देश्यों को एकीकृत करता है ताकि इन्फरेंस-टाइम सैंपलिंग विविधता और RL-प्रेरित वितरण शार्पनिंग के बीच के तनाव को हल किया जा सके, जिससे इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन दोनों कार्यों में LLM रीजनिंग प्रदर्शन और स्थिरता को बढ़ाया जा सके।

मूल लेखक: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल) है जो जटिल गणितीय पहेलियों को हल करना सीख रहा है। आप उन्हें एक मास्टर प्रॉब्लम-सॉल्वर बनाना चाहते हैं।

आमतौर पर, जब हम इन छात्रों को प्रशिक्षित करते हैं, तो हम रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक विधि का उपयोग करते हैं। इसे एक सख्त कोच की तरह समझें जो छात्र को केवल एक सर्वश्रेष्ठ उत्तर खोजने के लिए पुरस्कृत करता है। समय के साथ, छात्र उस एक विशिष्ट पथ को खोजने में बहुत कुशल हो जाता है। लेकिन यहाँ समस्या यह है कि वे अन्वेषण (exploration) करना बंद कर देते हैं। वे एक "लूप" में फंस जाते हैं, जहाँ वे केवल एक ही तरीके से समस्या को हल करना जानते हैं। यदि वह एक तरीका विफल हो जाता है, तो उनके पास कोई बैकअप प्लान नहीं होता।

यह एक संघर्ष पैदा करता है। वास्तव में कठिन पहेलियों को हल करने के लिए, हम अक्सर टेस्ट-टाइम पर एक तकनीक का उपयोग करते हैं जिसे "सेल्फ-कंसिस्टेंसी" (Self-Consistency) कहा जाता है। यह बिल्कुल वैसा ही है जैसे छात्र को एक ही समस्या को 10 अलग-अलग बार हल करने के लिए कहना और फिर उस उत्तर को चुनना जो सबसे अधिक बार आया हो। यह बहुत अच्छा काम करता यदि छात्र 10 अलग-अलग दृष्टिकोणों को उत्पन्न कर रहा हो। लेकिन यदि छात्र को केवल एक ही दृष्टिकोण जानने के लिए प्रशिक्षित किया गया है, तो उसे 10 बार प्रयास करने के लिए कहने का अर्थ है कि आपको एक ही (संभावित रूप से गलत) उत्तर की 10 प्रतियां मिलेंगी।

यह समस्या हल करने के लिए पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे EDO (Exploration-Driven Optimization) कहा जाता है।

मुख्य विचार: "जिज्ञासु खोजकर्ता" बनाम "सुरक्षित विशेषज्ञ"

लेखकों ने महसूस किया कि "सेल्फ-कंसिस्टेंसी" वाली तकनीक को सफल बनाने के लिए, मॉडल को प्रशिक्षण के दौरान केवल एक "सुरक्षित विशेषज्ञ" (Safe Specialist) होने के बजाय एक "जिज्ञासु खोजकर्ता" (Curious Explorer) होना चाहिए।

पुराना तरीका (विशेषज्ञ): कोच कहता है, "यदि आप उत्तर सही पाते हैं, तो बहुत अच्छा! यदि आप गलत होते हैं, तो पिछली बार की तरह बनने का प्रयास करें जब आपने इसे सही पाया था।" छात्र एक ही सफल पैटर्न को बार-बार दोहराना सीख जाता है। इसका परिणाम एक बहुत ही संकीर्ण, "शार्प" सोचने का तरीका होता है।
नया तरीका (EDO - खोजकर्ता): कोच कहता है, "उत्तर सही प्राप्त करें, लेकिन, केवल पिछली बार जो किया था उसे दोहराएं नहीं। एक थोड़ा अलग पथ आज़माएं। यदि आप लगातार वही चीज़ करते रहते हैं, तो मैं आपको धीरे से कुछ नया आज़माने के लिए प्रेरित करूँगा।"

रचनात्मक उपमा: भूलभुलैया और टॉर्च

कल्पना कीजिए कि छात्र एक विशाल, अंधेरी भूलभुलैया (समस्या का स्थान) में है और बाहर निकलने का रास्ता (सही उत्तर) खोजने की कोशिश कर रहा है।

मानक प्रशिक्षण: छात्र को निकास तक पहुँचने का एक रास्ता मिलता है। उसे इनाम मिलता है। अगली बार, उसे उसी सटीक पथ का अत्यधिक ध्यान के साथ पालन करने के लिए प्रशिक्षित किया जाता है। वे दीवारों या अन्य गलियारों को देखना बंद कर देते हैं। यदि वह एक रास्ता बाद में अवरुद्ध हो जाता है, तो वे फंस जाते हैं।
EDO प्रशिक्षण: छात्र को निकास तक पहुँचने का एक रास्ता मिलता है और उसे इनाम मिलता है। लेकिन कोच एक नियम जोड़ता है: "आपको कुछ ऐसे साइड कॉरिडोर में भी घूमना चाहिए जिन्हें आपने पहले नहीं आज़माया है।" छात्र अपने "टॉर्च" (प्रोबेबिलिटी डिस्ट्रीब्यूशन) को चौड़ा रखना सीखता है, जिससे वह केवल उन रास्तों को ही नहीं बल्कि कई अलग-अलग रास्तों को भी रोशन करता है जो काम करते हैं।

व्यवहार में यह कैसे काम करता है

पेपर दो मौजूदा प्रशिक्षण विधियों (iDPO और GRPO) को लेता है और इसमें इस "जिज्ञासा" वाले नियम को जोड़ देता है। वे इनके नए संस्करणों को ED-iDPO और ED-GRPO कहते हैं।

तंत्र (Mechanism): गणितीय रूप से, वे मॉडल को एक "पेनल्टी" देते हैं यदि वह अपने पिछले उत्तरों के साथ बहुत अधिक सहज हो जाता है। यह मॉडल को थोड़ा "असहज" और विविध रहने के लिए मजबूर करता है, जिससे उसके विकल्प खुले रहते हैं।
परिणाम: जब वे इन नए मॉडलों का परीक्षण करते हैं, तो वे केवल एक अच्छा उत्तर ही नहीं देते; वे समाधानों की एक विस्तृत विविधता उत्पन्न करते हैं।

यह क्यों महत्वपूर्ण है ("टेस्ट-टाइम" का जादू)

चूंकि मॉडल अब विविध समाधान उत्पन्न कर रहा है, इसलिए "सेल्फ-कंसिस्टेंसी" वाली ट्रिक (10 उत्तरों के लिए पूछना और वोटिंग करना) अचानक बहुत बेहतर काम करने लगती है।

पहले: 10 उत्तर मांगें $\rightarrow$ 10 समान गलत उत्तर प्राप्त करें $\rightarrow$ वोट करें $\rightarrow$ अभी भी गलत।
EDO के साथ: 10 उत्तर मांगें $\rightarrow$ 10 अलग-अलग दृष्टिकोण प्राप्त करें (कुछ सही, कुछ गलत) $\rightarrow$ वोट करें $\rightarrow$ सही उत्तर जीत जाता है क्योंकि वह विभिन्न रूपों में कई बार दिखाई दिया।

परिणाम

लेखकों ने कठिन गणित प्रतियोगिताओं (जैसे AIME और MATH डेटासेट) पर इनका परीक्षण किया।

सटीकता (Accuracy): नए तरीकों (ED-iDPO और ED-GRPO) ने पिछले सर्वोत्तम तरीकों की तुलना में अधिक समस्याओं को सही ढंग से हल किया।
विविधता (Diversity): मॉडलों ने बहुत अधिक विविध उत्तर दिए (इसे शब्दों और चरणों की भिन्नता के आधार पर मापा गया)।
स्थिरता (Stability): अन्य विधियों के विपरीत, जो कभी-कभी मॉडल को "कोलैप्स" (सब कुछ भूल जाना और दोहराव वाला हो जाना) कर देती हैं, EDO ने प्रशिक्षण प्रक्रिया के दौरान मॉडल को स्थिर और रचनात्मक बनाए रखा।

सारांश

सरल शब्दों में, EDO AI मॉडलों को "परफेक्टली कंसिस्टेंट" होने के प्रति जुनूनी होने के बजाय "क्रिएटिवली डायवर्स" होने के लिए सिखाता है। प्रशिक्षण के दौरान मॉडल को विभिन्न पथों का अन्वेषण करने के लिए मजबूर करके, यह टेस्ट-टाइम पर कई समाधान उत्पन्न करने के लिए बहुत बेहतर हो जाता है। यह एक ऐसे छात्र के बीच का अंतर है जो एक समाधान रट लेता है और एक ऐसे छात्र के बीच का अंतर है जो समस्या के परिदृश्य को इतनी अच्छी तरह समझता है कि वह कई अलग-अलग कोणों से उत्तर खोज सके।

तकनीकी सारांश: टेस्ट-टाइम लार्ज लैंग्वेज मॉडल रीजनिंग के लिए एक्सप्लोरेशन-ड्रिवन ऑप्टिमाइजेशन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति ने प्रदर्शित किया है कि पोस्ट-ट्रेनिंग तकनीकों (विशेष रूप से सुदृढीकरण शिक्षण, RL) को इन्फरेंस-टाइम स्केलिंग के साथ संयोजित करने से रीजनिंग क्षमताओं में महत्वपूर्ण वृद्धि होती है। हालांकि, इन दोनों प्रतिमानों (paradigms) के बीच एक मौलिक तनाव मौजूद है:

इन्फरेंस-टाइम स्केलिंग: सेल्फ-कंसिस्टेंसी (Self-Consistency), बेस्ट-ऑफ-एन (BoN) सैंपलिंग, और मोंटे कार्लो ट्री सर्च जैसी तकनीकें इष्टतम समाधान खोजने के लिए अपेक्षाकृत एक फ्लैट प्रायिकता वितरण (flattened probability distribution) से विविध सैंपलिंग (diverse sampling) पर निर्भर करती हैं।
RL पोस्ट-ट्रेनिंग: पारंपरिक RL-आधारित पोस्ट-ट्रेनिंग (जैसे PPO, DPO, GRPO) स्वाभाविक रूप से आउटपुट डिस्ट्रीब्यूशन को शार्प (तीक्ष्ण/संकुचित) करती है। उच्च-विश्वास, उच्च-रिवॉर्ड वाले समाधानों की ओर मॉडल को फाइन-ट्यून करके, ये विधियाँ अक्सर "मोड कोलैप्स" (mode collapse) की ओर ले जाती हैं, जिससे उत्पन्न ट्रेजेक्टरीज की विविधता कम हो जाती है।

यह वितरण संबंधी पतन (distributional collapse) टेस्ट-टाइम स्केलिंग की प्रभावशीलता को सीमित करता है, क्योंकि मॉडल उन विविध कैंडिडेट समाधानों को उत्पन्न करने में विफल रहता है जो सही उत्तर की पहचान करने के लिए एग्रीगेशन विधियों के लिए आवश्यक होते हैं। मौजूदा दृष्टिकोण अक्सर इन्फरसे-टाइम स्केलिंग को एक 'पोस्ट-हॉक' प्रक्रिया के रूप में देखते हैं, और विविध अन्वेषण (exploration) की आवश्यकताओं के साथ प्रशिक्षण उद्देश्य को संरेखित करने में विफल रहते हैं।

2. कार्यप्रणाली: एक्सप्लोरेशन-ड्रिवन ऑप्टिमाइजेशन (EDO)

लेखक एक्सप्लोरेशन-ड्रिवन ऑप्टिमाइजेशन (EDO) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे टास्क ऑब्जेक्टिव्स के साथ संरेखण बनाए रखते हुए पोस्ट-ट्रेनिंग चरण के दौरान विविधता को बढ़ावा देने के लिए डिज़ाइन किया गया है। EDO पूर्व कार्यों (जैसे VPO, XPO) के रिवॉर्ड-बायसिंग एक्सप्लोरेशन उद्देश्यों को इटरेटिव पोस्ट-ट्रेनिंग सेटिंग्स तक विस्तारित करता है।

मुख्य तंत्र

EDO एक रेगुलराइजेशन टर्म पेश करता है जो स्पष्ट रूप से वर्तमान पॉलिसी ( $\pi_\theta$ ) को पिछले पॉलिसी इटरेट ( $\pi_{t-1}$ ) से अलग होने के लिए प्रोत्साहित करता है, न कि केवल एक स्थिर रेफरेंस पॉलिसी ( $\pi_{ref}$ ) से बंधे रहने के लिए।

रिवॉर्ड बायसिंग फॉर्मूलेशन:
विधि टेस्ट-टाइम कंप्यूटेशन को एक निहित Q-फंक्शन के रूप में पुनर्व्याख्या करती है। एक्सप्लोरेशन को प्रोत्साहित करने के लिए, EDO एक ऐसे ऑब्जेक्टिव को मैक्सिमाइज करता है जिसमें पिछले पॉलिसी से विचलन (divergence) को बढ़ावा देने वाला एक टर्म शामिल है।
- ऑप्टिमाइजेशन टारगेट को $J^*(r^{(t)})$ को मैक्सिमाइज करने के रूप में पुनर्गठित किया गया है, जो विशिष्ट बाधाओं (पिछले पॉलिसी के तहत शून्य अपेक्षा के तहत) के तहत, रिवर्स कुलबैक-लीब्लर (KL) डाइवर्जेंस को मिनिमाइज करने में अनुवादित होता है: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ ।
- यह टर्म एक "रिपल्सिव" (विकर्षक) बल के रूप में कार्य करता है, जो पॉलिसी को पिछले इटरेशन के डोमिनेंट मोड्स में ढहने से रोकता है, जबकि मानक फॉरवर्ड KL टर्म ( $D_{KL}(\pi_\theta \parallel \pi_{ref})$ ) स्थिरता बनाए रखता है और कैटास्ट्रोफिक फॉरगेटिंग को रोकता है।
मौजूदा एल्गोरिदम के साथ एकीकरण:
EDO को दो लोकप्रिय इटरेटिव RL प्रतिमानों में सहजता से एकीकृत किया गया है:
- ED-iDPO (Exploration-Driven Iterative Direct Preference Optimization): यह एक्सप्लोरेशन टर्म जोड़ने के लिए iDPO लॉस को संशोधित करता है। ऑब्जेक्टिव बनता है:
  $L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$
  जहाँ $\alpha$ एक्सप्लोरेशन बायस की शक्ति को नियंत्रित करता है।
- ED-GRPO (Exploration-Driven Group Relative Policy Optimization): यह बिना किसी अलग क्रिटिक मॉडल के आउटपुट प्रायिकता वितरण को स्मूथ करने के लिए वर्तमान और पिछले पॉलिसियों के बीच टोकन-लेवल रिवर्स KL डाइवर्जेंस को शामिल करने के लिए GRPO ऑब्जेक्टिव को अनुकूलित करता है।
इटरेटिव ट्रेनिंग पाइपलाइन:
फ्रेमवर्क एक इटरेटिव लूप में कार्य करता है:
- वर्तमान पॉलिसी से $N$ कैंडिडेट समाधान उत्पन्न करें।
- करेक्टनेस के आधार पर प्रेफरेंस पेयर्स (iDPO के लिए) या ग्रुप रिवॉर्ड्स (GRC के लिए) का निर्माण करें।
- EDO-ऑगमेंटेड ऑब्जेक्टिव का उपयोग करके पॉलिसी को अपडेट करें।
- अगले एक्सप्लोरेशन टर्म के लिए अपडेटेड पॉलिसी का उपयोग करते हुए, इस प्रक्रिया को दोहराएं।

3. मुख्य योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

सिद्धांतिक ढांचा: EDO का परिचय, जो एक्सप्लोरेशन और एक्सप्लोइटेशन के बीच संतुलन बनाने के लिए एक फ्लैट आउटपुट डिस्ट्रीब्यूशन को बढ़ावा देने वाला फ्रेमवर्क है, जो विशेष रूप से प्रभावी इन्फरेंस-टाइम स्केलिंग की सुविधा प्रदान करता है।
सहज एकीकरण: यह प्रदर्शन करना कि EDO को मानक पोस्ट-ट्रेनिंग पाइपलाइनों (iDPO और GRPO) में बेहतर वेरिएंट्स (ED-iDPO और ED-GRPO) बनाने के लिए सहजता से एकीकृत किया जा सकता है, जो समाधान विविधता और रीजनिंग प्रदर्शन में महत्वपूर्ण सुधार करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न बैकबोन (Qwen, LLaMA) और डेटासेट्स पर निरंतर सुधार दिखाते हुए व्यापक मूल्यांकन, जो ओवर-ऑप्टिमाइजेशन कोलैप्स को रोकने में EDO की मजबूती को उजागर करता है।

4. प्रयोगात्मक परिणाम

इन-डिस्ट्रीब्यूशन प्रदर्शन

प्रयोग तीन रीजनिंग बेंचमार्क पर किए गए: GSM8K (ग्रेड स्कूल मैथ), Math (हाई स्कूल कॉम्पिटिशन), और s1K (चुनौतीपूर्ण कॉम्पिटिशन-लेवल प्रश्न)।

सटीकता में वृद्धि (Accuracy Gains): दोनों ED-iDPO और ED-GRPO ने मजबूत बेसलाइन्स (ETO, GRPO, DAPO) को पछाड़ दिया।
- s1K पर, ED-GRPO ने 38.6% सटीकता (greedy) और 48.4% (Self-Consistency) प्राप्त की, जो सर्वश्रेष्ठ बेसलाइन (ETO+SC) से क्रमशः 1.1% और 1.3% अधिक है।
- Math और GSM8K पर, EDO वेरिएंट्स ने मानक CoT और Self-Consistency बेसलाइन्स की तुलना में लगातार सटीकता में सुधार किया।
टेस्ट-टाइम स्केलिंग के साथ तालमेल: प्रदर्शन में लाभ सबसे अधिक तब देखा गया जब इसे Self-Consistency के साथ जोड़ा गया, जो यह दर्शाता है कि EDO द्वारा उत्पन्न विविध समाधानों को इन्फरेंस-टाइम विधियों द्वारा प्रभावी ढंग से एकत्रित किया जाता है।

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण

s1K पर प्रशिक्षित मॉडल्स का मूल्यांकन पांच OOD डेटासेट्स (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench) पर किया गया।

प्लग-एंड-प्ले क्षमता: EDO-प्रशिक्षित मॉडल्स ने बिना रिट्रेनिंग के मजबूत क्रॉस-डेटासेट जनरलाइजेशन दिखाया।
सुधार: ED-GRPO ने सभी OOD कार्यों में GRPO बेसलाइन के मुकाबले औसतन 2.4% का लाभ दिया, जो दर्शाता है कि उन्नत एक्सप्लोरेशन विषम डेटा वितरणों के लिए ट्रांसफरैबिलिटी में सुधार करता है।

एब्लेशन और विश्लेषण

प्रशिक्षण स्थिरता: मानक GRPO या ETO के विपरीत, जो कुछ एपॉक्स के बाद प्रदर्शन गिरावट या फ्लैटलाइनिंग (over-optimization के संकेत) प्रदर्शित करते हैं, EDO वेरिएंट्स ने कई प्रशिक्षण इटरेशन के दौरान स्थिर प्रदर्शन लाभ बनाए रखा।
एंट्रॉपी संरक्षण (Entropy Preservation): पेपर में दिया गया चित्र 4 दिखाता है कि जबकि मानक विधियाँ तेजी से पॉलिसी एंट्रॉपी को निम्न स्तर पर ले जाती हैं, ED-GRPO प्रशिक्षण के दौरान काफी उच्च एंट्रॉपी बनाए रखता है, जिससे मोड कोलैप्स को रोका जा जाता है।
विविधता मेट्रिक्स: EDO वेरिएंट्स ने काफी अधिक विविध आउटपुट उत्पन्न किए (Distinct-4 द्वारा मापा गया)। उदाहरण के लिए, s1K पर, ED-GRPO ने बेसलाइन की तुलना में Distinct-4 में 47.0% का सुधार किया।
केस स्टडी: एक ज्योमेट्री समस्या पर गुणात्मक विश्लेषण से पता चला कि मानक मॉडल्स होमोजेनियस (एकसमान), गलत रीजनिंग पाथ्स उत्पन्न करते थे, जबकि ED-iDPO ने विविध रणनीतियाँ (कोऑर्डिनेट ज्योमेट्री, रीजन डिकंपोजिशन, सिमेट्री आर्गुमेंट्स) उत्पन्न कीं, जिससे टेस्ट-टाइम वोटिंग को सही उत्तर चुनने में मदद मिली।

5. महत्व और दावे

पेपर EDO को RL-आधारित एलाइनमेंट और टेस्ट-टाइम स्केलिंग की विविधता आवश्यकताओं के बीच तनाव को हल करने के लिए एक व्यावहारिक ढांचे के रूप में स्थापित करता है।

कोलैप्स रोकना: लेखक दावा करते हैं कि EDO प्रभावी रूप से "ओवर-ऑप्टिमाइजेशन कोलैप्स" को रोकता है, जो RLHF में एक सामान्य विफलता मोड है जहाँ मॉडल वैकल्पिक समाधानों को खोजने की क्षमता खो देते हैं।
अनुकूलता: विधि को विभिन्न पॉलिसी ऑप्टिमाइजेशन एल्गोरिदम और टेस्ट-टाइम इन्फरेंस तकनीकों (Self-Consistency, BoN, Tree Search) के साथ संगत बताया गया है।
स्केलेबिलिटी: मॉडल को विविध इन्फरेंस पाथवे का लाभ उठाने में सक्षम बनाकर, EDO टेस्ट-टाइम कंप्यूट के अधिक प्रभावी उपयोग की अनुमति देता है, जो मॉडल पैरामीटर्स को बढ़ाए बिना रीजनिंग क्षमताओं को स्केल करने के लिए एक महत्वपूर्ण कारक है।

लेखक निष्कर्ष निकालते हैं कि EDO एक्सप्लोरेशन और एक्सप्लोइटेशन को संतुलित करने के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है, जो LLM रीजनिंग के लिए एक नया बेंचमार्क स्थापित करता है जो विशेष रूप से टेस्ट-टाइम स्केलिंग पर निर्भर सेटिंग्स में प्रभावी है।