🤖 machine learning

ReLaX: Reasoning with Latent Exploration for Large Reasoning Models

यह शोध पत्र ReLaX को प्रस्तुत करता है, जो एक नया डायनेमिक स्पेक्ट्रल डिस्पर्शन (Dynamic Spectral Dispersion) मीट्रिक के माध्यम से लार्ज रीजनिंग मॉडल्स (Large Reasoning Models) की लेटेंट डायनेमिक्स का विश्लेषण और विनियमन करने के लिए कूपमैन ऑपरेटर थ्योरी (Koopman operator theory) का लाभ उठाता है, जिससे मानक RLVR विधियों के ओवर-डिटरमिनिज्म (over-determinism) पर विजय प्राप्त होती है और अधिक प्रभावी एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेडऑफ के माध्यम से बेहतर रीजनिंग प्रदर्शन प्राप्त होता है।

मूल लेखक: Shimin Zhang, Xianwei Chen, Yufan Shen, Ziyuan Ye, Jibin Wu

प्रकाशित 2026-03-23

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Shimin Zhang, Xianwei Chen, Yufan Shen, Ziyuan Ye, Jibin Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान लेकिन जिद्दी छात्र (AI) को जटिल पहेलियाँ, जैसे कि उन्नत गणित की समस्याएँ या दृश्य पहेलियाँ (visual riddles) हल करना सिखा रहे हैं। आप चाहते हैं कि वे सबसे अच्छा समाधान खोजने के लिए सोचने के विभिन्न तरीकों को खोजें।

कुछ समय से, ऐसे छात्रों को सिखाने का मानक तरीका Reinforcement Learning with Verifiable Rewards (RLVR) रहा है। इसे एक सख्त कोच की तरह समझें जो केवल तभी "अच्छा काम किया!" कहता है जब छात्र सही उत्तर देता है।

समस्या: "सुरक्षित दांव" का जाल (The "Safe Bet" Trap)

यह शोध पत्र तर्क देता है कि इस सख्त कोचिंग का एक दुष्प्रभाव होता है। छात्र गलतियाँ करने से डरने लगता है। वह नए, रचनात्मक दृष्टिकोणों को आज़माना बंद कर देता है और उन्हीं कुछ "सुरक्षित" रणनीतियों को दोहराने लगता है जो आमतौर पर काम करती हैं। AI के संदर्भ में, इसे entropy collapse कहा जाता है। छात्र बहुत कठोर, बहुत नियत (deterministic) हो जाता है, और अन्वेषण (explore) करना बंद कर देता है। वह एक ढर्रे में फंस जाता है, और कठिन समस्याओं को हल करने में असमर्थ हो जाता है क्योंकि वह लीक से हटकर सोचना भूल गया है।

मौजूदा समाधानों ने इसे ठीक करने की कोशिश की, जैसे कि छात्र को शब्द स्तर पर "रैंडम" होने के लिए मजबूर करना (उदाहरण के लिए, "यहाँ एक अलग शब्द बोलो!")। लेकिन लेखक कहते हैं कि यह कार को अलग रंग से पेंट करके इंजन को ठीक करने की कोशिश करने जैसा है। यह सतह को बदलता है, लेकिन आंतरिक यांत्रिकी (mechanics) को नहीं।

समाधान: ReLaX (Reasoning with Latent Exploration)

लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे ReLaX कहा जाता है। छात्र के बोले गए शब्दों को देखने के बजाय, ReLaX छात्र के बोलने से पहले के छिपे हुए, आंतरिक विचारों को देखता है।

यहाँ उपमा दी गई है:

पुराना तरीका (Token-Level): आप छात्र के मुँह को देखते हैं। यदि वे कहते हैं "उत्तर 5 है," तो आप जाँचते हैं कि क्या यह सही है। यदि वे अटक जाते हैं, तो आप उनसे कहते हैं, "इसके बजाय '4' बोलने की कोशिश करो।"
ReLaX का तरीका (Latent Exploration): आप छात्र के मस्तिष्क के भीतर देखते हैं। आप देखते हैं कि उनकी आंतरिक विचार प्रक्रिया एक कठोर, दोहराव वाले लूप में बदल गई है। ReLaX एक विशेष गणितीय उपकरण (Koopman Operator Theory) का उपयोग करता है ताकि इन छिपे हुए विचारों को एक स्पष्ट, रैखिक चार्ट (linear chart) में मैप किया जा सके।

जादुई मीट्रिक: DSD

एक बार जब वे इन छिपे हुए विचारों को स्पष्ट रूप से देख पाते हैं, तो वे एक नया स्कोर पेश करते हैं जिसे DSD (Dynamic Spectral Dispersion) कहा जाता है।

कल्पना कीजिए कि छात्र का मस्तिष्क एक संगीत ऑर्केस्ट्रा है।

कम DSD (समस्या): ऑर्केस्ट्रा बार-बार वही तीन स्वर बजा रहा है। यह उबाऊ, कठोर और अनुमानित है। छात्र फंसा हुआ है।
उच्च DSD (लक्ष्य): ऑर्केस्ट्रा एक समृद्ध, जटिल सिम्फनी बजा रहा है जिसमें कई अलग-अलग वाद्य यंत्र और धुनें हैं। छात्र कई अलग-अलग कोणों की खोज कर रहा है।

ReLaX इस DSD स्कोर का उपयोग "कोच की सीटी" के रूप में करता है। यह AI को बताता है: "हे, तुम्हारी आंतरिक सोच बहुत उबाऊ होती जा रही है (कम DSD)। तुम्हें चीज़ों को बदलने और अधिक विविध रास्तों की खोज करने की आवश्यकता है, लेकिन केवल तभी जब वे रास्ते वास्तव में आपको सही उत्तर तक पहुँचा रहे हों।"

यह बेहतर क्यों है?

यह मूल कारण को ठीक करता है: यह केवल रैंडम शब्द बोलने के बजाय, लचीली सोच को प्रोत्साहित करता है।
यह स्मार्ट अन्वेषण है: यह केवल यह नहीं कहता कि "रैंडम बनो।" यह कहता है, "रचनात्मक बनो, लेकिन उस पथ पर रहो जो पुरस्कार की ओर ले जाता है।" यह exploration (नया प्रयास करना) और exploitation (जो काम करता है उसका उपयोग करना) के बीच संतुलन बनाता है।
यह हर चीज़ के लिए काम करता है: पेपर ने टेक्स्ट-ओनली मॉडल (जैसे गणित ट्यूटर) और मल्टीमॉडल मॉडल (जैसे एक रोबोट जो चित्र देखता है और टेक्स्ट पढ़ता है) दोनों पर इसका परीक्षण किया। दोनों ही मामलों में, ReLaX ने AI को पहले की तुलना में कठिन समस्याओं को हल करने में मदद की।

परिणाम

ReLaX का उपयोग करके, AI मॉडल केवल थोड़े बेहतर नहीं हुए; वे नए स्टेट-ऑफ-द-आर्ट स्तरों तक पहुँच गए। उन्होंने अपने "सुरक्षित दांव" के ढर्रों से बाहर निकलना, संभावित समाधानों के विशाल परिदृश्य की खोज करना और अधिक विश्वसनीय रूप से सर्वोत्तम उत्तर खोजना सीख लिया।

संक्षेप में: ReLaX AI को केवल उत्तर याद करने वाले रोबोट बनने से रोकता है और उसे एक वास्तविक विचारक में बदल देता है जो खोज करता है, अनुकूलित होता है, और गहराई से तर्क करता है।

यहाँ शोध पत्र "ReLaX: Reasoning with Latent Exploration for Large Reasoning Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रिएल-टाइम रिवॉर्ड्स विद वेरिफिएबल रिवॉर्ड्स (RLVR) का उपयोग करके लार्ज रीजनिंग मॉडल्स (LRMs) को प्रशिक्षित करने में आने वाली एक महत्वपूर्ण बाधा को संबोधित करता है।

एन्ट्रॉपी कोलैप्स और ओवर-डिटरमिनिज्म (Entropy Collapse & Over-Determinism): जबकि RLVR रीजनिंग में सुधार करता है, यह अक्सर पॉलिसी डिस्ट्रीब्यूशन को ओवर-डिटरमिनिज्म की ओर धकेलता है। पॉलिसी समय से पहले एक संकीर्ण सबस्पेस (subspace) में अभिसरित (converge) हो जाती है, जिससे "एन्ट्रॉपी कोलैप्स" होता है। इसके परिणामस्वरूप अप्रभावी अन्वेषण (exploration) और उप-इष्टतम (suboptimal) प्रदर्शन होता है।
टोकन-लेवल विधियों की सीमाएँ (Limitations of Token-Level Methods): मौजूदा समाधान टोकन-लेवल एन्ट्रॉपी (जैसे, रिवॉर्ड्स को रीशेप करना, एन्ट्रॉपी रेगुलाइजेशन, या हाई-एन्ट्रॉपी टोकन्स को एंकर करना) बढ़ाकर इसे कम करने का प्रयास करते हैं। हालांकि, लेखक तर्क देते हैं कि ये विधियाँ सतही हैं:
- वे RL की स्वाभाविक प्रवृत्ति के विपरीत हैं जो एन्ट्रॉपी को कम करने की कोशिश करती है।
- वे मल्टीमॉडल (multimodal) मॉडल्स (MLLMs) की समृद्ध कम्प्यूटेशनल संरचना को पकड़ने में विफल रहते हैं, जहाँ आंतरिक क्रॉस-मोडल गणनाएँ यूनिमोडल टेक्स्ट आउटपुट के साथ संरेखित नहीं होती हैं।
- वे मूल कारण को संबोधित नहीं करते हैं: मॉडल की लेटेंट डायनामिक्स (latent dynamics) (छिपे हुए स्टेट का विकास) में लचीलेपन की कमी।

2. कार्यप्रणाली: ReLaX फ्रेमवर्क (Methodology: ReLaX Framework)

लेखक ReLaX (Reasoning with Latent eXploration) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो ध्यान को टोकन सांख्यिकी से हटाकर मॉडल के हिडन स्टेट्स की लेटेंट डायनामिक्स पर केंद्रित करता है।

A. सैद्धांतिक आधार: कूपमैन ऑपरेटर थ्योरी (Theoretical Foundation: Koopman Operator Theory)

LLMs की नॉनलीनियर, हाई-डायमेंशनल लेटेंट डायनामिक्स को विश्लेषणात्मक रूप से सुलभ बनाने के लिए, ReLaX कूपमैन ऑपरेटर थ्योरी का लाभ उठाता है।

लीनियराइजेशन (Linearization): यह सिद्धांत हिडन स्टेट्स के नॉनलीनियर विकास ( $x_{t+1} = f(x_t)$ ) को ऑब्जर्वेबल्स के अनंत-आयामी स्थान में एक लीनियर विकास के रूप में प्रदर्शित करने की अनुमति देता है।
न्यूरल कूपमैन डिक्शनरी (Neural Koopman Dictionary): लेखक एक लीनियर रिप्रेजेंटेशन स्पेस में हिडन स्टेट्स को मैप करने के लिए एक न्यूरल डिक्शनरी ( $g(x) = \sigma(Wx)$ ) सीखने के लिए ResKoopNet का उपयोग करते हैं। यह डिक्शनरी प्रारंभिक पॉलिसी डेटा पर एक बार सीखी जाती है और फिर फ्रीज कर दी जाती है।

B. मुख्य मीट्रिक: डायनेमिक स्पेक्ट्रल डिस्पर्सन (Key Metric: Dynamic Spectral Dispersion - DSD)

लीनियराइज्ड रिप्रेजेंटेशन का उपयोग करते हुए, लेखक पॉलिसी एक्सप्लोरेशन को मापने के लिए एक मीट्रिक के रूप में डायनेमिक स्पेक्ट्रल डिस्पर्सन (DSD) पेश करते हैं।

परिभाषा: DSD को एक दिए गए ट्रेजेक्टरी (trajectory) के लिए कूपमैन ऑपरेटर के आइजनवैल्यूज़ ( $\Lambda$ ) के मैग्नीट्यूड के वेरिएंस के रूप में परिभाषित किया गया है:
$\text{DSD}(x) = \text{Var}(|\Lambda|)$
व्याख्या:
- कम DSD: एक केंद्रित स्पेक्ट्रम को दर्शाता है, जिसका अर्थ है डिजेनरेट, दोहरावदार और कठोर आंतरिक गणनाएँ (एन्ट्रॉपी कोलैप्स)।
- उच्च DSD: एक बिखरे हुए स्पेक्ट्रम को दर्शाता है, जो विविध रीजनिंग ट्रेजेक्टरीज का समर्थन करने में सक्षम समृद्ध, विषम और लचीली आंतरिक डायनामिक्स का संकेत देता है।

C. ऑप्टिमाइजेशन ऑब्जेक्टिव (Optimization Objective)

ReLaX, एक रेगुलराइजेशन टर्म ( $\mathcal{L}_{xp}$ ) के माध्यम से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) ऑब्जेक्टिव में DSD को एकीकृत करता है।

एडवांटेज-शेप्ड रेगुलराइजेशन (Advantage-Shaped Regularization): यह सुनिश्चित करने के लिए कि अन्वेषण फायदेमंद हो, DSD पेनल्टी को पॉजिटिव एडवांटेज ( $\hat{A}_i$ ) के भाग द्वारा भारित (weighted) किया जाता है। यह केवल उन ट्रेजेक्टरीज के लिए लचीलेपन को प्रोत्साहित करता है जो सकारात्मक रिवॉर्ड देती हैं।
$\tilde{\mathcal{L}}_{xp} = \log \left( \frac{1}{R} \sum_{i=1}^R \exp(-\text{clip}(\hat{A}_i, 0) \cdot \text{DSD}(x_i)) \right)$
एडाप्टिव KL रेगुलराइजेशन (Adaptive KL Regularization): अत्यधिक स्पर्सिटी से होने वाली अस्थिरता को रोकने के लिए, एक एडाप्टिव KL डाइवर्जेंस पेनल्टी केवल उन ट्रेजेक्टरीज पर लागू की जाती है जहाँ DSD एक थ्रेशोल्ड $\xi$ से अधिक होता है।
अंतिम ऑब्जेक्टिव (Final Objective):
$J(\theta) = J_{\text{GRPO}}(\theta) + \alpha \tilde{\mathcal{L}}_{xp} + \beta \sum_{i \in I} D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})$

3. मुख्य योगदान (Key Contributions)

DSD मीट्रिक: एक नया मीट्रिक जो लेटेंट रीजनिंग डायनामिक्स की विषमता को कैप्चर करता है, जो सतह-स्तर की टोकन एन्ट्रॉपी की तुलना में अन्वेषण का गहरा लक्षण वर्णन प्रदान करता है।
ReLaX फ्रेमवर्क: टोकन विविधता के बजाय स्पष्ट रूप से लचीली लेटेंट डायनामिक्स के लिए ऑप्टिमाइज़ करके एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ को विनियमित करने का एक सिद्धांतपूर्ण दृष्टिकोण।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: विविध बेंचमार्क पर मौजूदा टोकन-लेवल विधियों पर महत्वपूर्ण सुधार प्रदर्शित किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई बेंचमार्क पर 3B और 7B पैरामीटर मॉडल्स (दोनों LLMs और MLLMs) पर ReLaX का मूल्यांकन किया।

मल्टीमोडल रीजनिंग (VLs):
- 7 बेंचमार्क (जैसे, MMMU, MathVista, EMMA) पर परीक्षण किया गया।
- ReLaX-VL-7B ने 53.2 का नया SOTA औसत स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ (VL-Rethinker-7B @ 52.5) से अधिक है।
- ReLaX-VL-3B ने कई 7B-लेवल मॉडल्स को पीछे छोड़ दिया, जो मजबूत स्केलिंग दक्षता प्रदर्शित करता है।
- ट्रेनिंग डायनामिक्स ने दिखाया कि ReLaX वैनिला GRPO की तुलना में उच्च एन्ट्रॉपी और DSD बनाए रखता है, जो बेसलाइन्स में देखी गई तीव्र गिरावट (collapse) को रोकता है।
टेक्स्ट-ओनली मैथमेटिकल रीजनिंग (LLMs):
- 6 बेंचमार्क (जैसे, MATH500, AIME, AMC) पर परीक्षण किया गया।
- ReLaX-7B ने Qwen2.5-7B-Base पर 4.3 पॉइंट्स और Qwen2.5-7B-Math पर 6.3 पॉइंट्स से पिछले SOTA (FR3E) को पछाड़ दिया।
- AIME 2024 बेंचमार्क पर, ReLaX ने 36.9 का स्कोर प्राप्त किया, जो प्रतिस्पर्धियों से काफी बेहतर है।
सामान्यीकरण (Generalization):
- विधि विभिन्न मॉडल परिवारों (Llama3.2, Qwen3) और स्केल्स पर अच्छी तरह से सामान्यीकृत हुई।
- गुणात्मक विश्लेषण (Qualitative analysis) ने दिखाया कि ReLaX मॉडल्स ने टोकन-लेवल विधियों की तुलना में अधिक मजबूत स्व-सत्यापन (गणितीय सिद्धांतों का उपयोग करके) किया, जो अक्सर कोड निष्पादन में भ्रमित (hallucinate) होते हैं या विजुअल वेरिएंट्स पर विफल हो जाते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

पैराडाइम शिफ्ट: ReLaX "टोकन-लेवल" हस्तक्षेपों से आगे बढ़ता है, यह तर्क देते हुए कि LRM स्केलिंग में वास्तविक बाधा आंतरिक लेटेंट कंप्यूटेशन की कठोरता है। सीधे लेटेंट स्पेस को ऑप्टिमाइज़ करके, यह अधिक प्रभावी एक्सप्लोरेशन-एक्सप्लोइटेशन संतुलन प्राप्त करता है।
मल्टीमोडल श्रेष्ठता: यह विधि विशेष रूप से MLLMs के लिए प्रभावी है, जहाँ टोकन-लेवल एन्ट्रॉपी क्रॉस-मोडल रीजनिंग की जटिलता को पकड़ने में विफल रहती है।
दक्षता: कम्प्यूटेशनल ओवरहेड न्यूनतम है। कूपमैन डिक्शनरी एक बार सीखी जाती है (नगण्य लागत), और DSD गणना प्रति-स्टेप रनटाइम में केवल ~10% जोड़ती है।
भविष्य की दिशा: यह शोध पत्र लेटेंट स्पेस को रीजनिंग क्षमताओं को आगे बढ़ाने के लिए एक शक्तिशाली फ्रंटियर के रूप में स्थापित करता है, जो सुझाव देता है कि डायनेमिक स्पेक्ट्रल गुणों के माध्यम से अन्वेषण को निर्देशित करना ह्यूरिस्टिक टोकन हेरफेर की तुलना में एक अधिक सिद्धांतपूर्ण समाधान है।