🤖 machine learning

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

यह शोध पत्र LaDi-RL का प्रस्ताव करता है, जो एक सुव्यवस्थित तर्क प्रक्षेप पथ (reasoning trajectories) उत्पन्न करने के लिए लेटेंट डिफ्यूजन मॉडल का उपयोग करता है और पदानुक्रमित लेटेंट-टेक्स्ट रोलआउट्स (hierarchical latent-text rollouts) को नियोजित करता है ताकि लेटेंट प्लानिंग की गुणवत्ता को टेक्स्ट डिकोडिंग त्रुटियों से अलग किया जा सके, जिससे एंट्रॉपी कोलैप्स (entropy collapse) को रोका जा सके और कोड एवं गणितीय तर्क कार्यों पर पारंपरिक टोकन-स्तरीय RL की तुलना में काफी बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े जिद्दी छात्र (एक लार्ज लैंग्वेज मॉडल) को जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं, जैसे कि कंप्यूटर कोड लिखना या उन्नत गणित की समस्याओं को हल करना।

लंबे समय से, इस छात्र को सिखाने का सबसे अच्छा तरीका रीइन्फोर्समेंट लर्निंग (RL) रहा है। इसे एक खेल की तरह समझें जहाँ छात्र एक समस्या को हल करने की कोशिश करता है, और यदि वह सही होता है, तो उसे एक 'गोल्ड स्टार' मिलता है। यदि वह गलत होता है, तो उसे "फिर से प्रयास करें" कहा जाता है।

हालाँकि, पुराने तरीके में एक बड़ी खामी है। यह छात्र को एक बार में एक शब्द सोचने के लिए मजबूर करता है। यह एक मास्टर शेफ से पूरे भोज की योजना बनाने के लिए केवल अगले एक घटक (ingredient) को काटने का निर्णय लेने के लिए कहने जैसा है।

समस्या: छात्र सूक्ष्म विवरणों पर ध्यान केंद्रित करने में फंस जाता है (जैसे "इसलिए" के बजाय "तो" शब्द का उपयोग करना) और बड़े चित्र को भूल जाता है। वे समस्या को हल करने के लिए बार-बार एक ही तरह की रणनीतियों को दोहराने लगते हैं, और अन्य चतुर तरीकों को अनदेखा कर देते हैं। पेपर में, वे इसे "एंट्रॉपी कोलैप्स" (Entropy Collapse) कहते हैं। यह एक ऐसे छात्र की तरह है जो केवल संख्याओं को जोड़कर गणित की समस्या हल करना सीख जाता है, भले ही घटाव या गुणा अधिक तेज़ होता। अंततः, वे नई चीज़ें आज़माना बंद कर देते हैं, और उनकी रचनात्मकता मर जाती है।

नया विचार: LaDi-RL (द "ड्रीमिंग" स्टूडेंट)

इस पेपर के लेखक, LaDi-RL, इस छात्र को सिखाने का एक अलग तरीका प्रस्तावित करते हैं। इसके बजाय कि उन्हें शब्द-दर-शब्द निर्णय लेने के लिए मजबूर किया जाए, वे उन्हें पहले एक छिपे हुए, अमूर्त स्थान (abstract space) में पूरा समाधान "सपना" (dream) देखने देते हैं और फिर बस उसे लिख देते हैं।

यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) यहाँ दी गई है:

1. "ब्लूप्रिंट" बनाम "घर"

पुराना तरीका (टोकन-लेवल): छात्र ईंट-दर-ईंट घर बनाता है, और हर ईंट का रंग तय करते हुए आगे बढ़ता है। यदि वह शुरुआत में कोई गलती करता है, तो पूरा घर टेढ़ा हो सकता है।
नया तरीका (लेटेंट डिफ्यूजन): छात्र पहले अपने मन में एक ब्लूप्रिंट (एक "लेटेंट ट्रजेक्टरी") बनाता है। यह ब्लूप्रिंट समाधान के तर्क और रणनीति का प्रतिनिधित्व करता है, न कि विशिष्ट शब्दों का।
- इस ब्लूप्रिंट को एक "विचार बादल" (thought cloud) के रूप में सोचें। यह विचार का एक निरंतर, तरल प्रतिनिधित्व है।
- छात्र एक विशेष उपकरण का उपयोग करता है जिसे डिफ्यूजन मॉडल (Diffusion Model) कहा जाता है। कल्पना कीजिए कि यह उपकरण एक मूर्तिकार की तरह है जो मिट्टी के एक ब्लॉक (रैंडम नॉइज़) से शुरू करता है और धीरे-धीरे अतिरिक्त हिस्से को तराशता है जब तक कि एक आदर्श मूर्ति (समाधान की रणनीति) उभर न आए। यह छात्र को किसी विशिष्ट शब्द के प्रति प्रतिबद्ध होने से पहले कई अलग-अलग प्रकार की रणनीतियों (जैसे, "चलो ज्यामिति आजमाते हैं" बनाम "चलो बीजगणित आजमाते हैं") को खोजने की अनुमति देता है।

2. "अनुवादक" की समस्या

एक पेच है। छात्र का "सपना" (ब्लूप्रिंट) एक गुप्त भाषा में है जिसे वह समझता है, लेकिन अंतिम उत्तर साधारण अंग्रेजी (या कोड) में लिखा जाना चाहिए।

जोखिम: कभी-कभी छात्र के पास एक शानदार ब्लूप्रिंट होता है, लेकिन "अनुवादक" (वह हिस्सा जो ब्लूप्रिंट को टेक्स्ट में बदलता है) अनुवाद में गड़बड़ी कर देता है। यदि छात्र को खराब ग्रेड मिलता है, तो हमें कैसे पता चलेगा कि विचार बुरा था, या केवल अनुवाद खराब था?
समाधान (Hierarchical Rollouts): पेपर एक चतुर सुधार पेश करता है। केवल एक अनुवाद के आधार पर ब्लूप्रिंट को आंकने के बजाय, छात्र एक ही ब्लूप्रिंट के लिए कई अनुवाद उत्पन्न करता है।
- उपमा: कल्पना कीजिए कि एक शेफ के पास एक बेहतरीन रेसिपी (ब्लूप्रिंट) है। केवल एक बार खाना बनाने और व्यंजन का न्याय करने के बजाय, वह इसे पाँच बार बनाता है। यदि पाँच में से चार व्यंजन स्वादिष्ट हैं, तो हम जानते हैं कि रेसिपी अच्छी है, भले ही एक व्यंजन गलती से जल गया हो। यह हमें यह समझने में बहुत स्पष्ट संकेत देता है कि छात्र की रण策略 वास्तव में स्मार्ट थी या नहीं।

3. पार्टी को विविध बनाए रखना

यह सुनिश्चित करने के लिए कि छात्र आलसी न हो जाए और केवल एक ही ब्लूप्रिंट पर न टिके, लेखक एक "रिपल्शन फ़ोर्स" (Repulsion Force) जोड़ते हैं।

उपमा: कल्पना कीजिए कि खजाना खोजने की कोशिश कर रहे खोजकर्ताओं का एक समूह है। यदि वे सभी एक ही रास्ते का अनुसरण करते हैं, तो वे एक छिपी हुई गुफा को मिस कर सकते हैं। "रिपल्शन फ़ोर्स" एक हल्के धक्के की तरह है जो कहता है, "हे, तुम अपने दोस्त के बहुत करीब हो! जाओ और एक अलग दिशा में खोज करो!"
यह छात्र को ऐसे ब्लूप्रिंट बनाने के लिए मजबूर करता है जो एक-दूसरे से संरचनात्मक रूप से भिन्न हों, जिससे यह सुनिश्चित होता है कि वे समाधानों की एक विस्तृत विविधता का पता लगाएं।

उन्होंने क्या पाया?

पेपर ने दो कठिन चुनौतियों पर इस नए तरीके का परीक्षण किया: कोड लिखना और गणित की समस्याओं को हल करना।

बेहतर सटीकता: "ड्रीमिंग स्टूडेंट" (LaDi-RL) ने पुराने "ईंट-दर-ईंट" वाले छात्र की तुलना में पहली बार में काफी अधिक समस्याओं को सही ढंग से हल किया।
- कोडिंग में, सटीकता में 9.4% का सुधार हुआ।
- गणित में, इसमें 5.7% का सुधार हुआ।
अधिक रचनात्मकता: पुराना छात्र अंततः नई चीज़ें आज़माना बंद कर देता था (एंट्रॉपी कोलैप्स)। नया छात्र विविध, रचनात्मक समाधान ढूंढता रहा। यहाँ तक कि 100 अलग-अलग उत्तर उत्पन्न करने के लिए कहा जाने पर भी, नए छात्र के उत्तर अद्वितीय और सही थे, जबकि पुराने छात्र के उत्तर एक जैसे दिखने लगे और खराब होने लगे।
दक्षता (Efficiency): नए छात्र को उत्तर पाने के लिए हजारों शब्दों को "सोचते हुए बोलने" (thinking out loud) की आवश्यकता नहीं पड़ी। उन्होंने अपने विचार को एक छोटे, कुशल "ब्लूप्रिंट" में संकुचित कर दिया, जिससे समय और कंप्यूटिंग शक्ति की बचत हुई।

मुख्य निष्कर्ष

LaDi-RL यह बदल देता है कि AI कैसे तर्क करना सीखता है। AI को छोटे, कठोर चरणों (शब्द-दर-शब्द) में सोचने के लिए मजबूर करने के बजाय, यह उसे पहले विचारों के परिदृश्य का पता लगाने (डिफ्यूजन प्रक्रिया का उपयोग करके) और फिर उन विचारों को शब्दों में अनुवाद करने की अनुमति देता है। यह AI को एक ही ढर्रे में फंसने से रोकता है, इसके समाधानों को विविध बनाए रखता है, और इसे कठिन समस्याओं को अधिक सटीकता के साथ हल करने में मदद करता है।

तकनीकी सारांश: LaDi-RL

समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को बढ़ाने के लिए, विशेष रूप से रीजनिंग ट्रेजेक्टरीज (reasoning trajectories) के अनुकूलन के माध्यम से, एक प्रमुख प्रतिमान (paradigm) बन गया है। हालाँकि, मौजूदा विधियाँ मुख्य रूप से डिस्क्रीट टोकन अनुक्रमों (discrete token sequences) पर नीतियों को अनुकूलित करती हैं। यह दृष्टिकोण एक मौलिक बेमेल (mismatch) पैदा करता है: महत्वपूर्ण तर्क संबंधी निर्णय अक्सर सिमेंटिक (semantic), ग्लोबल और ट्रेजेक्टरी-स्तरीय होते हैं, जबकि टोकन-स्तरीय अनुकूलन स्थानीय परिवर्तनों (local perturbations) पर निर्भर करता है।

यह बेमेल डाइवर्सिटी कोलैप्स (diversity collapse) की ओर ले जाता है, जो एक ऐसी घटना है जहाँ मॉडल की पॉलिसी संभाव्यता द्रव्यमान (probability mass) को तर्क के संकीर्ण पैटर्न के एक सीमित सेट पर केंद्रित कर देती है, जिससे वैकल्पिक रणनीतियों का दमन होता है। टोकन-स्तरीय अन्वेषण (exploration) भाषाई वेरिएंट (जैसे, "therefore" को "so" से बदलना) तो उत्पन्न कर सकता है, लेकिन यह सिमेंटिक रूप से भिन्न रणनीतियों (जैसे, बीजगणितीय से ज्यामितीय तर्क में स्विच करना) को खोजने में संघर्ष करता है। फलस्वरूप, RL-ट्यून किए गए मॉडल अक्सर pass@1 (सिंगल-सैंपल सटीकता) में सुधार करते हैं, लेकिन बड़े $k$ पर pass@k प्रदर्शन को बनाए रखने या सुधारने में विफल रहते हैं, जो विविध सही ट्रेजेक्टरीज के नुकसान का संकेत देता है।

इसके अलावा, अन्वेषण को निरंतर लेटेंट स्पेस (continuous latent spaces) में ले जाने से एक क्रेडिट-असाइनमेंट चुनौती (credit-assignment challenge) उत्पन्न होती है। लेटेंट-स्पेस RL में, पॉलिसी एक निरंतर लेटेंट स्पेस में कार्य करती है, लेकिन रिवॉर्ड केवल तब देखा जाता है जब लेटेंट ट्रेजेक्टरी को टेक्स्ट में डिकोड किया जाता है। एक सहज रोलआउट रणनीति लेटेंट रीजनिंग की गुणवत्ता को टेक्स्ट डिकोडिंग की गुणवत्ता के साथ उलझा देती है। एक कम रिवॉर्ड या तो एक त्रुटिपूर्ण लेटेंट ट्रेजेक्टरी के कारण हो सकता है या केवल एक सुदृढ़ लेटेंट के अपूर्ण टेक्स्ट निष्पादन के कारण, जो एक शोर भरा और भ्रामक लर्निंग सिग्नल बनाता है।

कार्यप्रणाली: LaDi-RL (Methodology: LaDi-RL)

लेखक लेटेंट डिफ्यूजन रीजनिंग विद रीइन्फोर्समेंट लर्निंगिंग (LaDi-RL) का प्रस्ताव करते हैं, जो एंट्रॉपी कोलैप्स को रोकने के लिए डिफ्यूजन मॉडल्स का उपयोग करके निरंतर लेटेंट स्पेस में अन्वेषण को पुनर्गठित करता है।

1. लेटेंट डिफिफ्यूजन पॉलिसी (Latent Diffusion Policy)

टोकन-दर-टोकन तर्क उत्पन्न करने के बजाय, LaDi-RL एक पूरे रीजनिंग ट्रेजेक्टरी को एक कॉम्पैक्ट, निरंतर लेटेंट ब्लॉक (जैसे, 64 टोकन) में एक वेरिएशनल ऑटोएन्कोडर (VAE) का उपयोग करके एनकोड करता है। पॉलिसी को इन ट्रेजेक्टरी रिप्रजेंटेशन्स पर एक डिफ्यूजन मॉडल के रूप में पैरामीटराइज़ किया गया है।

तंत्र (Mechanism): शोर (noise) से शुरू होकर, पॉलिसी एक लेटेंट रीजनिंग ट्रेजेक्टरी की ओर पुनरावृत्ति से डिनोइज़िंग (denoising) करती है। यह प्रक्रिया संरचित अन्वेषण और अभिव्यंजक वितरण मॉडलिंग (expressive distribution modeling) की अनुमति देती है, जो स्वाभाविक रूप से मल्टी-मोडल रीजनिंग रणनीतियों का समर्थन करती है।
विविधता मार्गदर्शन (Diversity Guidance): विविधता को और अधिक रोकने के लिए, लेखक एक रिपल्शन-आधारित मार्गदर्शन तंत्र (repulsion-based guidance mechanism) पेश करते हैं। डिनोइज़िंग प्रक्रिया के दौरान, पास के लेटेंट ट्रेजेक्टरीज पर एक प्रतिकर्षण बल (repulsive force) लगाया जाता है, जो उन्हें लेटेंट स्पेस में अलग होने के लिए प्रोत्साहित करता है। यह एक स्थानीय ज्यामितीय नियमितीकरण (local geometric regularization) के रूप में कार्य करता है, जो केवल पॉलिसी एंट्रॉपी पर निर्भर रहने के बजाय स्पष्ट रूप से विविधता को संरक्षित करता है।

2. पदानुक्रमित लेटेंट-टेक्स्ट रोलआउट (Hierarchical Latent-Text Rollouts)

क्रेडिट-असाइनमेंट चुनौती को संबोधित करने के लिए, LaDi-RL एक पदानुक्रमित $N \times M$ रोलआउट रणनीति का उपयोग करता है:

लेटेंट सैंपलिंग ( $N$ ): दिए गए क्वेरी के लिए, डिफ्यूजन पॉलिसी $N$ विशिष्ट लेटेंट रीजनिंग ट्रेजेक्टरीज को सैंपल करती है।
टेक्स्ट डिकोडिंग ( $M$ ): प्रत्येक सैंपल किए गए लेटेंट ट्रेजेक्टरी के लिए, टेक्स्ट पॉलिसी $M$ संभावित उत्तर टेक्स्ट उत्पन्न करती है।
डिकोडर-मार्जिनलाइज्ड रिवॉर्ड (Decoder-Marginalized Reward): $M$ टेक्स्ट पूर्णताओं के रिवॉर्ड को एकत्रित (औसत) किया जाता है ताकि अंतर्निहित लेटेंट ट्रेजेक्टरी की उपयोगिता का अनुमान लगाया जा सके। यह "डिकोडर-मार्जिनलाइज्ड" अनुमान अंतर्निहित लेटेंट रीजनिंग की गुणवत्ता को टेक्स्ट डिकोडिंग की स्टोकेस्टिसिटी से अलग करता है, जिससे डिफ्यूजन पॉलिसी को अनुकूलित करने के लिए एक स्वच्छ, कम-वैरिएंस वाला रिवॉर्ड सिग्नल प्राप्त होता है।

3. संयुक्त अनुकूलन (Joint Optimization)

यह ढांचा ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके दो विषम (heterogeneous) पॉलिसियों को एक साथ अनुकूलित करता है:

लेटेंट पॉलिसी: प्रत्येक लेटेंट ब्लॉक से जुड़े $M$ टेक्स्ट के औसत रिवॉर्ड का उपयोग करके अनुकूलित की जाती है। उद्देश्य डिफ्यूजन मॉडल को विविध, उच्च-गुणवत्ता वाले रीजनिंग मोड खोजने के लिए प्रोत्साहित करना है।
टेक्स्ट पॉलिसी: उसी लेटेंट ब्लॉक से उत्पन्न $M$ टेक्स्ट के बीच सापेक्ष अंतर का उपयोग करके अनुकूलित की जाती है। यह टेक्स्ट पॉलिसी को एक दिए गए रीजनिंग रणनीति के लिए इष्टतम टेक्स्ट निष्पादन खोजने के लिए मजबूर करता है, जिससे यह नई रणनीतियों के अन्वेषण से अलग हो जाता है।
लॉस फंक्शन (Loss Function): लेटेंट और टेक्स्ट लॉस का एक भारित योग (weighted sum) यह सुनिश्चित करता है कि लेटेंट पॉलिसी विविध 'चेन ऑफ थॉट' का अन्वेषण करे जबकि टेक्स्ट पॉलिसी एक वफादार और प्रभावी जनरेटर बनी रहे।

मुख्य परिणाम (Key Results)

लेखकों ने कोड जेनरेशन और गणितीय तर्क बेंचमार्क पर LaDi-RL का मूल्यांकन किया, जिसमें इसकी तुलना टोकन-स्तरीय RL बेसलाइन्स (जैसे, वेनिला GRPO, एंट्रॉपी एडवांटेज के साथ GRPO) और अन्य लेटेंट रीजनिंग विधियों से की गई।

प्रदर्शन लाभ (Performance Gains): LaDi-RL ने कोड जेनरेशन में +9.4% और गणितीय तर्क में +5.7% का एब्सोल्यूट pass@1 सुधार हासिल किया।
विविधता संरक्षण (Diversity Preservation): वेनिला GRPO के विपरीत, जो विविधता कोलैप्स (जहाँ बड़े $k$ पर pass@k बेस मॉडल से नीचे गिर जाता है) प्रदर्शित करता है, LaDi-RL ने सभी बेंचमार्क में बेस मॉडल के pass@k प्रदर्शन को लगातार पार किया। उदाहरण के लिए, AIME 2025 पर, इसने pass@128 में +13.4 का एब्सोल्यूट सुधार प्राप्त किया।
दक्षता (Efficiency): डिकोडिंग से पहले रीजनिंग को एक लेटेंट ब्लॉक (64 टोकन) में संकुचित करके, LaDi-RL ने उत्पन्न टोकनों की संख्या को काफी कम कर दिया (उदाहरण के लिए, कोड कार्यों के लिए मानक GRPO में ~3,447 टोकन से घटकर LaDi-RL में ~422 टोकन), जिसके परिणामस्वरूप एंड-टू-एंड इन्फरेंस समय में 33% की कमी आई।
एब्लेशन अध्ययन (Ablation Studies):
- ट्रेजेक्टरी बनाम टोकन स्तर: लेटेंट ट्रेजेक्टरी स्पेस में अन्वेषण ने काफी उच्च सिमेंटिक विविधता (टोकन-स्तरीय के 0.18–0.22 के मुकाबले 0.52) और मजबूत प्रदर्शन दिया।
- डिफ्यूजन बनाम VAE: डिफ्यूजन-आधारित पॉलिसी ने सिंगल-स्टेप VAE सैंपलर की तुलना में बेहतर प्रदर्शन किया, जो जटिल लेटेंट रीजनिंग वितरणों को सीखने के लिए इटरेटिव डिनोइज़िंग के महत्व को दर्शाता है।
- पदानुक्रमित रोलआउट: $N \times M$ संरचना महत्वपूर्ण थी; $N$ (लेटेंट विविधता) को बढ़ाने से सिमेंटिक विविधता बढ़ी, जबकि $M$ (टेक्स्ट एवरेजिंग) को बढ़ाने से स्वच्छ रिवॉर्ड सिग्नल मिले।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LaDi-RL LLM रीजनिंग में सुधार के लिए टोकन-स्तरीय RL का एक सिद्धांतवादी विकल्प प्रदान करता है। इसकी प्राथमिक महत्ता निम्नलिखित में निहित है:

डाइवर्सिटी कोलैप्स को कम करना: अन्वेषण को स्थानीय टोकन परिवर्तनों से बदलकर ग्लोबल ट्रेजेक्टरी-स्तरीय डिफ्यूजन पर ले जाकर, यह विधि समाधान रणनीतियों का एक विविध सेट बनाए रखती है, जिससे पॉलिसी को सब-ऑप्टिमल लोकल मिनिमा में अभिसरण (converge) करने से रोका जा जा जा सकता है।
क्रेडिट असाइनमेंट को हल करना: पदानुक्रमित रोलआउट और डिकोडर-मार्जिनलाइज्ड रिवॉर्ड अनुमान प्रभावी रूप से डिकोडिंग शोर से रीजनिंग की गुणवत्ता को अलग करते हैं, जिससे लेटेंट पॉलिसियों का स्थिर अनुकूलन संभव होता है।
दक्षता और गुणवत्ता: यह दृष्टिकोण समाधान विविधता से समझौता किए बिना उच्च तर्क सीमाओं को अनलॉक करते हुए, सटीकता (pass@1) और विविधता (pass@k) दोनों में अत्याधुनिक प्रदर्शन प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि लेटेंट डिफ्यूजन संरचित अन्वेषण के लिए एक मजबूत तंत्र प्रदान करता है, जो मॉडल्स को उन सिमेंटिक रूप से भिन्न रीजनिंग रणनीतियों को खोजने में सक्षम बनाता है जिन्हें टोकन-स्तरीय विधियाँ मिस कर देती हैं।