🤖 machine learning

Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages

यह शोध पत्र डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचे को प्रस्तुत करता है जो जनरेशन को एक सटीक, निष्पक्ष पॉलिसी ग्रेडिएंट के साथ एक मार्कोव निर्णय प्रक्रिया के रूप में स्वरूपित करके और कोडिंग, तार्किक और गणितीय तर्क संबंधी बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए एंट्रॉपी-गाइडेड स्टेप सिलेक्शन और वन-स्टेप डिनोइजिंग रिवार्ड्स का उपयोग करके अव्यवहारिकता (intractable likelihoods) पर विजय प्राप्त करता है।

मूल लेखक: Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

प्रकाशित 2026-03-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े भ्रमित कलाकार को एक उत्कृष्ट कृति (masterpiece) पेंट करना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (ऑटोरेग्रेसिव मॉडल - Autoregressive Models):
वर्तमान के अधिकांश AI मॉडल उन कलाकारों की तरह हैं जो बाएं से दाएं, एक बार में एक ब्रशस्ट्रोक पेंट करते हैं। वे पहले शब्द का निर्णय लेते हैं, फिर दूसरे का, फिर तीसरे का। यदि वे शुरुआत में कोई गलती करते हैं, तो उन्हें या तो उस पर फिर से पेंट करना पड़ता है या फिर से शुरुआत करनी पड़ती है। इन मॉडलों के लिए 'रीइन्फोर्समेंट लर्निंग' (RL) एक ऐसे शिक्षक की तरह है जो उनके पास खड़ा होकर हर एक ब्रशस्ट्रोक के बाद कहता है, "अच्छा स्ट्रोक!" या "बुरा स्ट्रोक!"

नई चुनौती (डिफ्यूजन मॉडल - Diffusion Models):
यह शोध पत्र एक नए प्रकार के AI पर ध्यान केंद्रित करता है जिसे डिफ्यूजन लैंग्वेज मॉडल (DLM) कहा जाता है। एक-एक स्ट्रोक करके पेंट करने के बजाय, कल्पना कीजिए कि यह कलाकार एक ऐसे कैनवास से शुरू करता है जो पूरी तरह से 'स्टैटिक नॉइज़' (जैसे बिना सिग्नल वाला टीवी) से ढका हुआ है। वे धीरे-धीरे इस शोर को "डीनॉइज़" (denoise) करते हैं, जिससे पूरी तस्वीर एक साथ, धीरे-धीरे उभरती है। वे केवल एक शब्द नहीं जोड़ते; वे पूरे वाक्य को एक साथ परिष्कृत (refine) करते हैं, बीच में या शुरुआत में होने वाली गलतियों को ठीक करते हुए।

समस्या क्या है? इस कलाकार को सिखाना कठिन है।

"ब्लैक बॉक्स" की समस्या: क्योंकि वे एक ही समय में पूरी तस्वीर को बदलते हैं, इसलिए यह गणना करना कठिन है कि किसी दिए गए क्षण में उनके द्वारा किया गया चुनाव कितना संभावित था। पारंपरिक गणित यहाँ विफल हो जाता है।
"ओवर-टीचिंग" (ज़रूरत से ज़्यादा सिखाने) की समस्या: यदि आप उन्हें डीनॉइज़िंग प्रक्रिया के हर एक चरण पर फीडबैक देने की कोशिश करते हैं (जिसमें 1,000 चरण हो सकते हैं!), तो इसमें बहुत अधिक कंप्यूटर पावर खर्च होती है। साथ ही, कुछ चरण स्पष्ट होते हैं (कलाकार 100% निश्चित होता है), जबकि कुछ अन्य चरणों में वह दुविधा में होता है।

शोध पत्र का समाधान: एक स्मार्ट शिक्षक
लेखक एक नया तरीका प्रस्तावित करते हैं जिससे वे इन मॉडलों को प्रशिक्षित (train) कर सकते हैं जो डिफ्यूजन के काम करने के तरीके का सम्मान करता है। वे इसे EGSPO-SA कहते हैं। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

1. "कन्फ्यूजन मीटर" (एन्ट्रॉपी-गाइडेड स्टेप सिलेक्शन - Entropy-Guided Step Selection)

कल्पना कीजिए कि कलाकार अपनी पेंटिंग पर काम कर रहा है। कभी-कभी वह बहुत आश्वस्त होता है (कम भ्रम/low confusion)। कभी-कभी, वह एक खाली जगह को देखते हुए अनिश्चित होता है कि वहां पेड़ बनाना है या कार (उच्च भ्रम/high confusion)।

पुराना तरीका: शिक्षक पेंटिंग प्रक्रिया के हर एक क्षण की आलोचना करने की कोशिश करता है, भले ही कलाकार आत्मविश्वास के साथ पेड़ में एक पत्ती जोड़ रहा हो। इससे समय बर्बाद होता है।
नया तरीका (EGSPO): शिक्षक के पास एक "कन्फ्यूजन मीटर" होता है। वे केवल तभी हस्तक्षेप करते हैं जब कलाकार सबसे अधिक भ्रमित (उच्च एन्ट्रॉपी) होता है।
- उपमा: यदि आप ड्राइविंग सीख रहे हैं, तो आपका इंस्ट्रक्टर खाली हाईवे पर सीधी गाड़ी चलाते समय "स्टीयरिंग घुमाओ!" चिल्लाकर नहीं आता। वे केवल तभी हस्तक्षेप करते हैं जब आप एक कठिन चौराहे के पास होते हैं। यह पेपर AI को डीनॉइज़िंग प्रक्रिया के केवल उन "कठिन चौराहों" पर अपनी सीखने की ऊर्जा केंद्रित करने के लिए सिखाता है।

2. "वन-स्टेप क्रिस्टल बॉल" (स्टेपवाइज एडवांटेज - Stepwise Advantages)

पारंपरिक प्रशिक्षण में, यह जानने के लिए कि कोई विशिष्ट चाल अच्छी थी या नहीं, आपको शायद कलाकार को पूरी पेंटिंग 100 बार पूरी करने देना होगा ताकि यह देखा जा सके कि कौन सा संस्करण सबसे अच्छा रहा। यह अविश्वसनीय रूप से धीमा और महंगा है।

पुराना तरीका: "आइए उस एक शब्द के चुनाव को अच्छा या बुरा जानने के लिए पूरी कहानी को 100 बार पूरा करें।"
नया तरीका (Stepwise Advantages): लेखकों ने महसूस किया कि डिफ्यूजन मॉडल के पास एक सुपरपावर है: किसी भी बिंदु पर, यह तुरंत अनुमान लगा सकता है कि यदि यह अभी समाप्त हो जाए, तो अंतिम परिणाम कैसा दिखेगा।
- उपमा: किसी दृश्य को जज करने के लिए पूरी फिल्म के अंत तक प्रतीक्षा करने के बजाय, निर्देशक वर्तमान दृश्य के आधार पर अंत का एक रफ स्केच देखता है। यदि स्केच खराब दिखता है, तो वे जानते हैं कि वर्तमान दृश्य में सुधार की आवश्यकता है। यह AI को पूरा प्रक्रिया खत्म होने का इंतजार किए बिना तत्काल फीडबैक ("अच्छा काम!" या "फिर से कोशिश करो!") देता है।

3. परिणाम: एक तेज़, स्मार्ट कलाकार

इन दोनों ट्रिक्स को मिलाकर:

केवल भ्रम के समय सिखाना (कंप्यूटर पावर बचाना)।
प्रगति को आंकने के लिए एक त्वरित स्केच का उपयोग करना (समय बचाना)।

AI पिछले तरीकों की तुलना में बहुत तेज़ी से और बेहतर तरीके से सीखता है।

उन्होंने क्या हासिल किया?
इस पेपर का परीक्षण निम्नलिखित पर किया गया:

कोडिंग: कंप्यूटर प्रोग्राम लिखना।
लॉजिक पजल्स: जैसे सुडोकू या गणित की समस्याएं।
रीजनिंग (तर्क): जटिल शब्द समस्याओं को हल करना।

परिणामों ने दिखाया कि यह नया तरीका डिफ्यूजन मॉडल को प्रशिक्षित करने के सभी मौजूदा तरीकों को मात दे देता है। यह एक ऐसे प्रतिभाशाली कलाकार को लेने जैसा है जो एक अव्यवस्थित प्रक्रिया से जूझ रहा था और उसे एक स्मार्ट, कुशल कोच देने जैसा है जो जानता है कि उसे कब बोलना है और कैसे फीडबैक देना है।

संक्षेप में:
इस शोध पत्र ने यह पता लगाया कि अगली पीढ़ी के AI (डिफ्यूजन मॉडल) को कंप्यूटर पावर को बर्बाद किए बिना कैसे प्रशिक्षित किया जाए। AI को लगातार टोकने के बजाय, उन्होंने इसे उन क्षणों पर ध्यान केंद्रित करना सिखाया जब यह सबसे अधिक अनिश्चित होता है, और प्रगति को तुरंत आंकने के लिए एक चतुर शॉर्टकट का उपयोग किया। परिणाम स्वरूप, एक ऐसा AI मिला जो पहले से कहीं बेहतर कोड लिखता है और लॉजिक पहेलियाँ सुलझाता है।

यहाँ शोध पत्र "Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने पोस्ट-ट्रेनिंग के माध्यम से ऑटो-रिग्रेसिव लैंग्वेज मॉडल्स (ARLMs) को सफलतापूर्वक उन्नत किया है, लेकिन इन विधियों को डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) तक विस्तारित करना महत्वपूर्ण चुनौतियाँ प्रस्तुत करता है:

असाध्य संभावनाएँ (Intractable Likelihoods): ARLMs कॉज़ल टोकन-वाइज फैक्टराइजेशन पर निर्भर करते हैं, जिससे लॉग-लाइक्लीहुड और इम्पॉर्टेंस रेश्यो की कुशल गणना संभव होती है। DLMs एक मास्क किए गए स्पेस में इटरेटिव डिनोइजिंग प्रक्रिया के माध्यम से टेक्स्ट जेनरेट करते हैं, जिसका अर्थ है कि अंतिम आउटपुट लाइक्लीहुड का सरल टोकन-वाइज डिकंपोजिशन संभव नहीं है।
मौजूदा दृष्टिकोणों में पूर्वाग्रह (Bias in Existing Approaches): DLMs के लिए वर्तमान विधियाँ अक्सर सरोगेट लाइक्लीहुड्स, ह्यूरिस्टिक अनुमानों, या बायस्ड एस्टिमेटर्स वाले ट्राजेक्टरी-लेवल फॉर्मुलेशन पर निर्भर करती हैं। ये दृष्टिकोण डिनोइजिंग स्टेप्स की अनुक्रमिक संरचना को स्पष्ट करने में विफल रहते हैं और व्यक्तिगत डिनोइजिंग स्टेप्स के बीच क्रेडिट असाइनमेंट को स्पष्ट रूप से मॉडल नहीं कर पाते हैं।
कंप्यूटेशनल लागत (Computational Cost): DLMs पर मानक पॉलिसी ग्रेडिएंट्स को सीधे लागू करने के लिए सीक्वेंस-लेवल लाइक्लीहुड का मूल्यांकन करना आवश्यक होता है, जो अत्यधिक महंगा है। इसके अलावा, मौजूदा विधियाँ अक्सर डिनोइजिंग ट्राजेक्टरी के दौरान गैर-समान अनिश्चितता (non-uniform evolution of uncertainty) की अनदेखी करती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक सिद्धांतवादी ढांचा प्रस्तावित करते हैं जो मास्क किए गए डिफ्यूजन जनरेशन को एक ब्लैक-बॉक्स सैंपलर के बजाय डिनोइजिंग स्टेप्स पर एक फाइनाइट-होराइजन मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मानता है।

A. MDP फॉर्मलिज्म और सटीक पॉलिसी ग्रेडिएंट (MDP Formalism and Exact Policy Gradient)

MDP परिभाषा: डिनोइजिंग ट्राजेक्टरी को एक MDP के रूप में औपचारिक रूप दिया गया है जहाँ समय $t$ पर स्टेट $x_t$ (साथ ही क्वेरी) है, और एक्शन अगले स्टेट $x_{t-1}$ (विशिष्ट टोकन्स को अनमास्क करना) की ओर संक्रमण है।
सटीक ग्रेडिएंट (Exact Gradient): लेखक एक सटीक, अनबायस्ड पॉलिसी ग्रेडिएंट थ्योरम निकालते हैं जो डिनोइजिंग स्टेप्स पर डिकंपोज होता है। ARLMs में जहाँ ग्रेडिएंट टोकन-विशिष्ट होते हैं, यहाँ ग्रेडिएंट स्टेप-विशिष्ट है:
$\nabla_\theta J(\theta) = \sum_{t=0}^{T-1} \mathbb{E} \left[ A_t^\pi(x_{t+1}, x_0, q) \nabla_\theta \log \pi_\theta(x_t | x_{t+1}) \right]$
जहाँ $A_t^\pi$ एक स्टेपवाइज़ एडवांटेज (stepwise advantage) है, जिसे अंतिम रिवॉर्ड और स्टेप $t+1$ पर स्टेट के वैल्यू के अंतर के रूप में परिभाषित किया गया है। यह फॉर्मुलेशन स्पष्ट रूप से असाध्य सीक्वेंस लाइक्लीहुड के मूल्यांकन से बचता है।

B. एंट्रॉपी-गाइडेड स्टेप सिलेक्शन (Entropy-Guided Step Selection - EGSPO)

प्रत्येक डिनोइजिंग स्टेप ( $T \approx 10^2 - 10^3$ ) के लिए ग्रेडिएंट की गणना करना कम्प्यूटेशनल रूप से महंगा है। लेखक अपडेट के लिए स्टेप्स के एक उपसमूह $S$ ( $|S| \le K$ ) को चुनने की रणनीति पेश करते हैं:

सैद्धांतिक आधार: वे सिद्ध करते हैं कि पूर्ण ग्रेडिएंट को अनुमानित करने में होने वाली त्रुटि, अन-सिलेक्टेड स्टेप्स पर पॉलिसी डिस्ट्रीब्यूशन के एंट्रॉपी योग द्वारा सीमित है।
रणनीति: इस एरर बाउंड को कम करने के लिए, यह विधि अनमास्किंग डिस्ट्रीब्यूशन में उच्चतम एंट्रॉपी (अधिकतम अनिश्चितता) वाले $K$ स्टेप्स को चुनती है। यह उन स्टेप्स को प्राथमिकता देता है जहाँ मॉडल सबसे कम आश्वस्त है, जिससे प्रति कंप्यूट यूनिट लर्निंग सिग्नल अधिकतम होता है।

C. स्टेपवाइज़ एडवांटेज एस्टीमेशन (Stepwise Advantage Estimation - EGSPO-SA)

बेसलाइन वैल्यू $V_t$ का अनुमान लगाने के लिए आमतौर पर महंगी मल्टी-स्टेप रोलआउट की आवश्यकता होती है। लेखक एक हल्का अनुमान प्रस्तावित करते हैं:

वन-स्टेप कंप्लीशन: पूर्ण रोलआउट के बजाय, वे मॉडल के वन-स्टेप डिनोइजिंग डिस्ट्रीब्यूशन ( $\pi_{\theta 0|t}$ ) का उपयोग करके वर्तमान स्टेट $x_{t+1}$ से एक "ग्रीडी वन-शॉट" कंप्लीशन का उपयोग करते हैं।
बायस करेक्शन: चूंकि यह अनुमान बायस्ड है (विशेष रूप से ट्राजेक्टरी के शुरुआती चरणों में), वे अंतिम रिवॉर्ड को अनुमानित वैल्यू के साथ ब्लेंड करने के लिए एक हाइपरपैमीटर $\lambda_t$ पेश करते हैं, जो प्रभावी रूप से बिना किसी अलग वैल्यू नेटवर्क के एक स्टेपवाइज़ एडवांटेज बनाता है।

D. अंतिम एल्गोरिदम: EGSPO-SA

परिणामी एल्गोरिदम, एंट्रॉपी-गाइडेड स्टेपवाइज़ पॉलिसी ऑप्टिमाइज़ेशन विद स्टेपवाइज़ एडवांटेजेस (EGSPO-SA), निम्नलिखित को जोड़ता है:

स्टेप सिलेक्शन: ग्रेडिएंट अपडेट के लिए हाई-एंट्रॉपी स्टेप्स का चयन।
एडवांटेज एस्टीमेशन: इंटरमीडिएट एडवांटेज का अनुमान लगाने के लिए वन-स्टेप कंप्लीशन का उपयोग।
लॉस फंक्शन: एक GRPO-शैली का क्लिप्ड सरोगेट लॉस जो इन स्टेपवाइज़ एडवांटेजेस और KL रेगुलराइजेशन को शामिल करता है।

3. मुख्य योगदान (Key Contributions)

DLMs के लिए MDP फॉर्मलिज्म: मास्क किए गए डिफ्यूजन जनरेशन को एक फाइनाइट-होराइजन MDP के रूप में पहला औपचारिक रूप, जो RL विश्लेषण के लिए स्टेट्स, एक्शन्स और ट्रांजिशन को स्पष्ट रूप से परिभाषित करता है।
सटीक अनबायस्ड पॉलिसी ग्रेडिएंट: एक पॉलिसी ग्रेडिएंट थ्योरम का व्युत्पन्न जो डिनोइजिंग स्टेप्स पर डिकंपोज होता है, जो सीक्वेंस-लेवल लाइक्लीहुड मूल्यांकन की आवश्यकता के बिना स्टेपवाइज़ एडवांटेज की एक कठोर परिभाषा पेश करता है।
कुशल एस्टिमेटर्स:
- एंट्रॉपी-गाइडेड स्टेप सिलेक्शन: सबसे सूचनात्मक (अनिश्चित) डिनोइजिंग स्टेप्स के लिए कंप्यूट आवंटित करने का एक सैद्धांतिक रूप से आधारित तरीका।
- स्टेपवाइज़ एडवांटेज एस्टीमेशन: हल्के वन-स्टेप कंप्लीशन का उपयोग करके इंटरमीडिएट रिवॉर्ड्स का अनुमान लगाने की एक विधि, जो महंगी रोलआउट या वैल्यू नेटवर्क की आवश्यकता को समाप्त करती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: कोडिंग और लॉजिकल रीजनिंग कार्यों पर मौजूदा DLM-RL बेसलाइन्स (जैसे d1, wd1, SPG) की तुलना में बेहतर परिणाम दिखाने वाला अनुभवजन्य सत्यापन।

4. प्रायोगिक परिणाम (Experimental Results)

कोडिंग (HumanEval, MBPP), लॉजिकल रीजनिंग (Sudoku, Countdown), और गणितीय रीजनिंग (GSM8K, MATH500) बेंचमार्क पर LLaDA-8B-Instruct को बेस मॉडल के रूप में उपयोग करके प्रयोग किए गए।

लॉजिकल रीजनिंग (Sudoku/Countdown): EGSPO-SA ने स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जो पूर्ववर्ती डिफ्यूजन-आधारित RL विधियों से काफी बेहतर रहे। स्टेप-लेवल क्रेडिट असाइनमेंट सख्त ग्लोबल बाधाओं (strict global constraints) वाले कार्यों के लिए विशेष रूप से प्रभावी था।
कोडिंग (HumanEval/MBPP): इस विधि ने सभी जनरेशन लेंथ में मौजूदा बेसलाइन (d1) को पछाड़ दिया, जो प्रोग्राम सिंथेसिस के लिए एंट्रॉपी-गाइडेड ऑप्टिमाइज़ेशन की उपयोगिता को प्रदर्शित करता है।
गणितीय रीजनिंग: EGSPO और EGSPO-SA ने पूर्ववर्ती विधियों के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया, जो दर्शाता है कि जबकि स्टेपवाइज़ एडवांटेज मदद करते हैं, इस डोमेन में सीक्वेंस-लेवल सिग्नल भी मजबूत होते हैं।
कंप्यूट एफिशिएंसी: EGSPO-SA ने बेसलाइन d1 की तुलना में बेहतर दक्षता प्रदर्शित की। यह काफी कम FLOPs, सैंपल्स और ग्रेडिएंट स्टेप्स के साथ लगभग पूर्ण रिवॉर्ड तक पहुँच गया, जो साबित करता है कि चयनात्मक स्टेप अपडेट्स यूनिफॉर्म अपडेट्स की तुलना में अधिक प्रभावी हैं।

5. महत्व (Significance)

यह कार्य ARLMs में RL की सैद्धांतिक सफलता और DLMs में RL के व्यावहारिक अनुप्रयोग के बीच के एक महत्वपूर्ण अंतर को पाटता है।

सैद्धांतिक कठोरता: यह ह्यूरिस्टिक सरोगेट्स से आगे बढ़कर डिफ्यूजन मॉडल्स के लिए एक सटीक, अनबायस्ड ग्रेडिएंट व्युत्पन्न प्रदान करता है, जो क्रेडिट असाइनमेंट में डिनोइजिंग स्टेप्स की भूमिका को स्पष्ट करता है।
स्केलेबिलिटी: डिफ्यूजन मॉडल्स की अंतर्निहित अनिश्चितता (एंट्रॉपी) का लाभ उठाकर, यह विधि DLMs के लिए RL प्रशिक्षण को स्केलेबल बनाता है, जिन्हें पहले मानक RL तकनीकों के साथ प्रशिक्षित करना बहुत महंगा माना जाता था।
प्रदर्शन: यह DLM पोस्ट-ट्रेनिंग के लिए एक नया बेंचमार्क स्थापित करता है, यह सिद्ध करता है कि डिफ्यूजन मॉडल्स को जटिल रीजनिंग और कोडिंग कार्यों के लिए प्रभावी ढंग से अनुकूलित किया जा सकता है, जिससे उच्च-दांव वाले अनुप्रयोगों (high-stakes applications) के लिए उनके लाभ (द्विदिश संदर्भ, समानांतरता) को अनलॉक करने की संभावना बढ़ जाती है।