🤖 machine learning

Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models

यह शोध पत्र लेटेंट एक्सप्लोरेशन डिकोडिंग (LED) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त डिकोडिंग रणनीति है जो पोस्ट-ट्रेन्ड लार्ज रीजनिंग मॉडल्स में एक्सप्लोरेशन कोलैप्स का मुकाबला करने के लिए हाई-एन्ट्रॉपी इंटरमीडिएट लेयर पोस्टीरियर्स का लाभ उठाती है, जिससे कई बेंचमार्क पर सटीकता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Wenhui Tan, Fiorenzo Parascandolo, Enver Sangineto, Jianzhong Ju, Zhenbo Luo, Qian Cao, Rita Cucchiara, Ruihua Song, Jian Luan

प्रकाशित 2026-03-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenhui Tan, Fiorenzo Parascandolo, Enver Sangineto, Jianzhong Ju, Zhenbo Luo, Qian Cao, Rita Cucchiara, Ruihua Song, Jian Luan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "अति-आत्मविश्वासी" जीनियस

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (एक AI मॉडल) है जो गणित और कोडिंग में कमाल का है। उन्हें और भी बेहतर बनाने के लिए, आप उन्हें रीइन्फोर्समेंट लर्निंग (RL) नामक एक कठोर प्रशिक्षण शिविर (training camp) में डालते हैं।

इस शिविर में, छात्र को एक समस्या दी जाती है। यदि वे पहली बार में ही सही उत्तर देते हैं, तो उन्हें एक गोल्ड स्टार मिलता है। यदि वे गलत होते हैं, तो उन्हें लाल 'X' मिलता है। हजारों प्रयासों के बाद, छात्र अविश्वसनीय रूप से आत्मविश्वासी हो जाता है। वह सही उत्तर तक पहुँचने का ठीक एक रास्ता सीख लेता है और उसे पूरी तरह से याद कर लेता है।

समस्या:
अब, कल्पना कीजिए कि आप इस छात्र को एक समस्या हल करने के लिए कहते हैं, लेकिन आप उनसे कहते हैं, "हे, इस समस्या को हल करने के अलग-अलग तरीके सोचने की कोशिश करो। शायद किसी अलग कोण से देखो?"
चूंकि छात्र अपने प्रशिक्षण के कारण इतना अति-आत्मविश्वासी हो गया है, वह आपकी बात अनसुनी कर देता है। वह कहता है, "नहीं, मुझे पता है कि सही तरीका क्या है। मुझे कुछ और आज़माने की ज़रूरत नहीं है।"

तकनीकी शब्दों में, AI "एक्सप्लोरेशन कोलैप्स" (Exploration Collapse) का शिकार हो गया है। वह अपने अंतिम उत्तर के प्रति इतना आश्वस्त हो गया है कि वह अन्य संभावनाओं को तलाशने से इनकार करता है, भले ही वे अन्य संभावनाएँ एक बेहतर समाधान की ओर ले जा सकती हों। यदि आप "रैंडमनेस डायल" (temperature) को बढ़ाकर उसे "कम निश्चित" बनाने की कोशिश करते हैं, तो वह भ्रमित हो जाता है और उसका प्रदर्शन और भी खराब हो जाता है।

खोज: "छिपी हुई लाइब्रेरी"

शोधकर्ताओं ने कुछ बहुत ही दिलचस्प देखा। जबकि छात्र का अंतिम उत्तर (उनके मस्तिष्क की अंतिम परत) कठोर और अति-आत्मविश्वासी है, उनकी विचार प्रक्रिया (मध्यवर्ती परतें/intermediate layers) अभी भी अव्यवस्थित, अनिश्चित और विचारों से भरी हुई है।

इसे इस तरह सोचें:

अंतिम परत (The Final Layer): यह छात्र का मुँह है। यह 100% निश्चितता के साथ कहता है, "उत्तर 42 है!"
मध्यवर्ती परतें (The Intermediate Layers): यह छात्र का आंतरिक एकालाप (internal monologue) है। यह फुसफुसा रहा है, "शायद यह 42 है... लेकिन रुकिए, क्या होगा अगर मैं 43 आज़माऊं? या क्या होगा अगर मैं इसे किसी अलग नज़रिए से देखूँ? हम्म, मैं अभी भी पक्का नहीं हूँ।"

शोधकर्ताओं ने महसूस किया कि जबकि मुँह बंद है, आंतरिक एकालाप अभी भी खुला है और खोज (explore) कर रहा है। उन्होंने इसे "लेटेंट एंट्रॉपी रिज़र्वोइर" (Latent Entropy Reservoir) कहा (एक फैंसी तरीका जिसका अर्थ है "अनिश्चितता का छिपा हुआ भंडार")।

समाधान: "लेटेंट एक्सप्लोरेशन डिकोडिंग" (LED)

शोधकर्ताओं ने AI से बात करने का एक नया तरीका बनाया जिसे "लेटेंट एक्सप्लोरेशन डिकोडिंग" (LED) कहा जाता है। केवल AI के आत्मविश्वासी अंतिम उत्तर को सुनने के बजाय, LED एक स्मार्ट संपादक की तरह काम करता है जो छात्र की पूरी विचार प्रक्रिया को सुनता है।

LED कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:

फुसफुसाहटों को सुनें: अंतिम उत्तर का इंतज़ार करने के बजाय, LED AI के मस्तिष्क की मध्य परतों से आने वाली "फुसफुसाहटों" (संभावनाओं) को देखता है।
शोर को फ़िल्टर करें: यह पागल और असंभव विचारों (जैसे "उत्तर बैंगनी है") को अनदेखा करता है और केवल तर्कसंगत विचारों (जैसे "शायद 42, शायद 43") को रखता है।
"क्या-अगर" का मिश्रण: यह मध्य-परत के विचारों को आपस में मिलाता है। यह पूछता है, "यदि हम इन सभी 'शायद' वाले विचारों को मिला दें, तो कौन सा संयोजन सबसे दिलचस्प विविधता देगा?"
सबसे अच्छा रास्ता चुनें: यह विचार प्रक्रिया के उस विशिष्ट क्षण को ढूँढता है जहाँ AI नए विचारों के लिए सबसे अधिक खुला (उच्चतम एंट्रॉपी) होता है और अगले शब्द को तय करने के लिए उसका उपयोग करता है।
जानें कि कब रुकना है: यदि AI किसी स्पष्ट चीज़ के बारे में बात कर रहा है (जैसे "आसमान नीला है"), तो LED उसे आत्मविश्वास से बोलने देता है। लेकिन यदि AI किसी कठिन गणित की समस्या पर अटका हुआ है, तो LED उसे रुकने और अलग-अलग कोणों से सोचने के लिए मजबूर करता है।

उपमा: जासूस और जासूसों की टीम

कल्पना कीजिए कि एक जासूस (AI) अपराध को सुलझाने की कोशिश कर रहा है।

पुराना तरीका (Standard Decoding): जासूस अपने पहले संदेह के प्रति इतना आत्मविश्वासी है कि वह केवल उसी एक सुराग का पीछा करता है। यदि वह गलत है, तो वह असली अपराधी को मिस कर देता है।
"टेम्परेचर" (Temperature) के साथ समस्या: यदि आप जासूस को "कम आत्मविश्वासी" होने के लिए कहते हैं, तो वह बस रैंडम सुरागों का पीछा करने लगता है और खो जाता है।
LED का तरीका: जासूस के पास जूनियर जासूसों (मध्यवर्ती परतें) की एक टीम है जो अभी भी मंथन (brainstorming) कर रही है। सीनियर जासूस (अंतिम परत) आमतौर पर उन्हें अनदेखा कर देता है। LED एक नया नियम है जो कहता है: "अपना अंतिम सिद्धांत तय करने से पहले, देखें कि जूनियर जासूस क्या फुसफुसा रहे हैं। यदि उनके पास कई अलग-अलग, तर्कसंगत सिद्धांत हैं, तो उस एक को चुनें जो सबसे अधिक विकल्प खुले रखता है।"

परिणाम

जब शोधकर्ताओं ने इस नई पद्धति का परीक्षण किया:

बेहतर सफलता दर: AI ने पहली बार में ही अधिक समस्याओं को सही ढंग से हल किया।
बेहतर एक्सप्लोरेशन: जब 16 बार प्रयास करने की अनुमति दी गई, तो AI ने सही उत्तर बहुत अधिक बार ढूँढा क्योंकि वह वास्तव में अलग-अलग रास्तों को आज़मा रहा था, न कि केवल अपने एक ही आत्मविश्वासी (लेकिन गलत) रास्ते को दोहरा रहा था।
कोई अतिरिक्त लागत नहीं: इसके लिए AI को फिर से प्रशिक्षित करने या अधिक कंप्यूटिंग पावर जोड़ने की आवश्यकता नहीं थी। यह केवल AI के सोचने के दौरान उसके मन को पढ़ने का एक स्मार्ट तरीका था।

सारांश

यह शोध पत्र उस बग (bug) को ठीक करता है जहाँ स्मार्ट AI मॉडल बहुत अधिक आत्मविश्वासी हो जाते हैं और रचनात्मक रूप से सोचना बंद कर देते हैं। AI के "अंतिम उत्तर" को सुनने के बजाय उसके "मध्य विचारों" में झाँककर, शोधकर्ताओं ने AI को फिर से एक्सप्लोर करना सिखाया, जिससे वह कठिन पहेलियों को सुलझाने में अधिक स्मार्ट और विश्वसनीय बन गया।

यहाँ शोध पत्र "Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: लार्ज रीजनिंग मॉडल्स (LRMs) में एक्सप्लोरेशन कोलैप्स (Exploration Collapse)

लार्ज रीजनिंग मॉडल्स (LRMs), जैसे कि Qwen3-T और MiMo, RL पोस्ट-ट्रेनिंग (जैसे GRPO) के माध्यम से गणित और कोडिंग में अत्याधुनिक प्रदर्शन प्राप्त कर चुके हैं। हालाँकि, यह प्रशिक्षण एक अनपेक्षित दुष्प्रभाव उत्पन्न करता है जिसे एक्सप्लोरेशन कोलैप्स (Exploration Collapse) कहा जाता है।

घटना (The Phenomenon): मानक लार्ज लैंग्वेज मॉडल्स (LLMs) में, सैंपलिंग टेम्परेचर ( $\tau$ ) बढ़ाने से आमतौर पर विविधता बढ़ती है और pass@n सटीकता (n प्रयासों में कम से कम एक सही उत्तर प्राप्त करने की संभावना) में सुधार होता है। हालाँकि, RL पोस्ट-ट्रेन किए गए LRMs में, टेम्परेचर बढ़ाने से अक्सर pass@n में सुधार नहीं होता या प्रदर्शन वास्तव में गिर जाता है।
कारण (The Cause): लेखक पहचानते हैं कि RL पोस्ट-ट्रेनिंग 'करेक्टनेस' (correctness) के लिए अनुकूलित होती है, जिससे फाइनल-लेयर पोस्टीरियर डिस्ट्रीब्यूशन (final-layer posterior distribution) अत्यधिक केंद्रित (लो एंट्रॉपी) हो जाता है। मॉडल अत्यधिक आत्मविश्वासी हो जाता है, जो प्रभावी रूप से प्रोबेबिलिटी मास को एक ही प्रमुख परिकल्पना (hypothesis) पर "दबा" देता है।
छिपा हुआ अवसर (The Hidden Opportunity): फाइनल लेयर के कोलैप्स के बावजूद, लेखक देखते हैं कि इंटरमीडिएट लेयर्स (intermediate layers) पर्याप्त अनिश्चितता (हाई एंट्रॉपी) बनाए रखती हैं। यह एक तीव्र एंट्रॉपी एसिमेट्री (entropy asymmetry) बनाता है: मॉडल के पास उसके हिडन स्टेट्स में "लेटेंट एंट्रॉपी रिज़र्वोयर्स" (latent entropy reservoirs) हैं जिन्हें मानक डिकोडिंग के दौरान त्याग दिया जाता है।

2. कार्यप्रणाली: लेटेंट एक्सप्लोरेशन डिकोडिंग (Latent Exploration Decoding - LED)

लेखक लेटेंट एक्सप्लोरेशन डिकोडिंग (LED) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री और पैरामीटर-फ्री डिकोडिंग रणनीति है। यह इन इंटरमीडिएट लेटेंट पोस्टर्स का उपयोग करके RL से प्राप्त सटीकता से समझौता किए बिना एक्सप्लोरेशन को बहाल करती है।

LED के मुख्य घटक:

लेटेंट पोस्टीरियर एक्सट्रैक्शन (Latent Posterior Extraction):
इंटरमीडिएट हिडन स्टेट्स को त्यागने के बजाय, LED लेयर्स $L-d+1$ से $L$ (जहाँ $L$ अंतिम लेयर है और $d$ एक्सप्लोरेशन डेप्थ है) के हिडन स्टेट्स को सीधे लैंग्वेज मॉडलिंग हेड (LM-Head) में फीड करता है। यह लेटेंट पोस्टर्स $\{p_{L-d+1}, \dots, p_L\}$ प्राप्त करने के लिए "अर्ली एग्जिट" (early exit) तकनीक का उपयोग करता है।
टॉप-k फ़िल्टरिंग (Top-k Filtering):
दुर्लभ या निरर्थक टोकन के डिकोडिंग को रोकने के लिए, LED सर्च स्पेस को सीमित करता है। यह फाइनल-लेयर पोस्टीरियर ( $p_L$ ) से टॉप- $k$ टोकन की पहचान करता है और इस मास्क को सभी इंटरमीडिएट लेटेंट पोस्टर्स पर लागू करता है। यह सुनिश्चित करता है कि एक्सप्लोरेशन अर्थपूर्ण उम्मीदवारों के भीतर ही रहे।
संचयी एकत्रीकरण और एंट्रॉपी चयन (Cumulative Aggregation & Entropy Selection):
- एकत्रीकरण (Aggregation): LED फिल्टर किए गए पोस्टर्स को फाइनल लेयर से लेकर लेटेंट लेयर्स तक एक क्युमुलेटिव सम (cumulative sum) का उपयोग करके एकत्रित करता है। एक विशिष्ट डेप्थ $l$ के लिए, एकत्रित पोस्टीरियर $p_{agg}^l$ , लेयर $l$ से $L$ तक के पोस्टर्स का नॉर्मलाइज्ड योग है।
- चयन (Selection): एल्गोरिदम प्रत्येक एकत्रित डिस्ट्रीब्यूशन की एंट्रॉपी की गणना करता है। यह उस डेप्थ $l$ को चुनता है जो अधिकतम एंट्रॉपी ( $p_{explore} = \arg\max_l H(p_{agg}^l)$ ) प्रदान करता है। यह मैन्युअल हाइपरपैरामीटर ट्यूनिंग के बिना सबसे समृद्ध एक्सप्लोरेशन सिग्नल देने वाली लेयर को एडैप्टिवली पहचानता है।
एक्सप्लोरेशन और एक्सप्लोइटेशन का संतुलन (Balancing Exploration and Exploitation):
- कॉन्फिडेंस चेक (Confidence Check): LED फाइनल लेयर के टॉप-1 प्रोबेबिलिटी को कॉन्फिडेंस मेट्रिक के रूप में उपयोग करता है। यदि मॉडल अत्यधिक आत्मविश्वासी है (हाई प्रोबेबिलिटी), तो यह एक्सप्लोइटेशन ( $p_L$ से स्टैंडर्ड डिकोडिंग) का उपयोग करता है। यदि कॉन्फिडेंस कम है, तो यह एक्सप्लोरेशन (चुनी गई $p_{explore}$ से सैंपलिंग) को ट्रिगर करता है।
- केवल DeepThink के लिए (DeepThink-Only): एक्सप्लोरेशन विशेष रूप से "DeepThink" चरण (रीजनिंग ट्रेस) के दौरान लागू किया जाता है, जहाँ मॉडल समाधान खोजता है। अंतिम उत्तर जनरेशन के दौरान, यह सुनिश्चित करने के लिए कि आउटपुट स्थापित रीजनिंग पाथ का पालन करे, यह स्टैंडर्ड डिकोडिंग पर वापस आ जाता है।

3. मुख्य योगदान

एंट्रॉपी कोलैप्स की पहचान: यह पेपर अनुभवजन्य रूप से प्रदर्शित करता है कि RL पोस्ट-ट्रेनिंग LRMs के फाइनल-लेयर एंट्रॉपी में कोलैप्स पैदा करती है, जिससे टेम्परेचर-आधारित सैंपलिंग अप्रभावी हो जाती है।
लेटेंट एंट्रॉपी रिज़र्वोयर्स की खोज: यह प्रकट करता है कि इंटरमीडिएट लेयर्स उच्च अनिश्चितता बनाए रखती हैं, जो एक्सप्लोरेशन के लिए एक व्यवहार्य स्रोत प्रदान करती हैं जिसे स्टैंडर्ड डिकोडिंग अनदेखा कर देती है।
LED का प्रस्ताव: एक सरल, ट्रेनिंग-फ्री डिकोडिंग रणनीति जो लेटेंट पोस्टर्स को एकत्रित करती है और एंट्रॉपी मैक्सिमाइजेशन के माध्यम से सबसे सूचनात्मक डेप्थ का चयन करती है।
व्यापक मूल्यांकन: पांच मॉडल्स (Qwen3, MiMo, DeepSeek) और छह बेंचमार्क्स (Math, Science, Coding) पर व्यापक प्रयोग जो निरंतर सुधार दिखाते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने GSM8K, MATH-500, AIME 2024/2025, GPQA-Diamond, और LiveCodeBench सहित बेंचमार्क्स पर LED का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains):
- Pass@1: औसतन 0.61 प्रतिशत अंक सुधरा।
- Pass@16: औसतन 1.03 प्रतिशत अंक सुधरा।
- LED ने DoLa, SoftThinking, और SoftThinking-Gumbel जैसे मजबूत बेसलाइन्स को लगातार पछाड़ दिया।
टेम्परेचर सेंसिटिविटी की बहाली: LED को लागू करने से सैंपलिंग टेम्परेचर और pass@n सटीकता के बीच सकारात्मक सहसंबंध सफलतापूर्वक पुनर्जीवित हो गया। "एक्कुरेसी-टेम्परेचर स्लोप" ( $\alpha$ ) नेगेटिव (स्टैंडर्ड RL-पोस्ट-ट्रेन्ड मॉडल्स में) से पॉजिटिव में बदल गया।
दक्षता (Efficiency):
- कोई ट्रेनिंग नहीं: LED के लिए किसी अतिरिक्त मॉडल ट्रेनिंग या पैरामीटर अपडेट की आवश्यकता नहीं है।
- कम ओवरहेड: इसका इन्फरेंस ओवरहेड नगण्य है (जनरेशन लेंथ <1% बढ़ी है), क्योंकि $d$ और $k$ छोटे स्थिरांक (constants) हैं।
एब्लेशन स्टडीज (Ablation Studies):
- "DeepThink-only" बाधा को हटाने से प्रदर्शन में थोड़ी गिरावट आई।
- लेटेंट स्टेट्स पर LayerNorm लगाने से एक्सप्लोरेशन (pass@16) में सुधार हुआ लेकिन सटीकता (pass@1) में कमी आई।
- टॉप-k फ़िल्टरिंग को हटाने से अंतहीन लूप और कॉन्टेक्स्ट लिमिट समाप्त होने जैसी समस्याएँ हुईं, जो कैलिब्रेटेड उम्मीदवारों तक एक्सप्लोरेशन को सीमित करने की आवश्यकता को सिद्ध करती हैं।

5. महत्व

यह कार्य आधुनिक रीजनिंग मॉडल्स की एक महत्वपूर्ण बाधा को संबोधित करता है: हाई-कॉन्फिडेंस करेक्टनेस (pass@1) और विविध समाधान पथों (pass@n) को खोजने की क्षमता के बीच का ट्रेड-ऑफ।

व्यावहारिक प्रभाव: कोड जनरेशन और थ्योरम प्रूविंग जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए, जहाँ कई प्रयासों को अक्सर सत्यापित किया जाता है, LED मॉडल्स को बिना रिट्रेनिंग के अधिक विविध और संभावित रूप से सही उम्मीदवार उत्पन्न करने की अनुमति देता है।
सैद्धांतिक अंतर्दृष्टि: यह इस धारणा को चुनौती देता है कि फाइनल लेयर में डिकोडिंग के लिए आवश्यक सभी जानकारी होती है, जो डीप ट्रांसफार्मर स्टैक्स में "लेटेंट" रिप्रेजेंटेशन के मूल्य को उजागर करती है।
सामान्यीकरण (Generalizability): एक ट्रेनिंग-फ्री मेथड के रूप में, LED को मौजूदा RL-पोस्ट-ट्रेन्ड मॉडल्स पर उनकी मजबूती और एक्सप्लोरेशन क्षमताओं को बढ़ाने के लिए तुरंत तैनात किया जा सकता है।

संक्षेप में, लेटेंट एक्सप्लोरेशन डिकोडिंग नेटवर्क के हिडन स्टेट्स में गहराई से देखकर आधुनिक रीजनिंग मॉडल्स की एक्सप्लोरेशन क्षमता को प्रभावी ढंग से "पुनर्जीवित" करती है, जो एक सरल लेकिन शक्तिशाली समाधान प्रदान करती है।