🤖 machine learning

GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models

यह शोध पत्र गाइडेड डिनोइज़र सेल्फ-डिस्टिलेशन (GDSD) प्रस्तुत करता है, जो डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) ढांचा है जो ELBO-आधारित लाइकलीहुड सरोगेट्स के पूर्वाग्रहों को दरकिनार करते हुए, सीधे एक एडवांटेज-गाइडेड टीचर को डिनोइज़र में डिस्टिल करता है, जिससे अधिक स्थिर प्रशिक्षण और रीजनिंग बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: AI को सोचने सिखाने का एक नया तरीका

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान कलाकार है (डिफ्यूजन लार्ज लैंग्वेज मॉडल, या dLLM) जो तस्वीरें बनाने में तो माहिर है लेकिन आदेश मिलने पर परफेक्ट उत्कृष्ट कृतियाँ (masterpieces) बनाने में संघर्ष करता है। आप उसे एक शिक्षक (रीइन्फोर्समेंट लर्निंग) का उपयोग करके बेहतर बनाना चाहते हैं।

समस्या यह है कि कलाकार एक अजीब तरीके से काम करता है। एक सामान्य लेखक की तरह जो एक-एक शब्द के बाद दूसरा शब्द लिखता है (बाएं से दाएं), यह कलाकार एक खाली कैनवास से शुरू करता है जो शोर (static noise) से भरा होता है और धीरे-धीरे इसे "डीनॉइज़" (denoise) करता है, यह अनुमान लगाते हुए कि अंतिम तस्वीर कैसी दिखनी चाहिए। इस अनूठी शैली के कारण, पिछले गणित के शिक्षक जो कलाकार के काम को ग्रेड देने के लिए उपयोग करते थे (जिसे लाइकलीहुड कहा जाता है), उसकी गणना करना असंभव है। यह एक पेंटिंग को ब्रश के सटीक स्ट्रोक गिनकर ग्रेड देने की कोशिश करने जैसा है, जिसका अस्तित्व ही नहीं है।

चूंकि गणित यहाँ काम नहीं कर रहा है, इसलिए पिछले शिक्षकों ने काम को ग्रेड देने के लिए एक "सर्वश्रेष्ठ अनुमान" (जिसे ELBO कहा जाता है) का उपयोग करने की कोशिश की। लेकिन इसने एक बड़ी समस्या पैदा कर दी: शिक्षक कलाकार के काम को एक नकली नियम पुस्तिका (rulebook) के आधार पर ग्रेड दे रहा था जो उस तरीके से मेल नहीं खाती थी जिससे कलाकार वास्तव में पेंटिंग करता है। इससे कलाकार भ्रमित हो गया, जिससे खराब प्रदर्शन हुआ या सीखने की प्रक्रिया पूरी तरह से क्रैश हो गई।

GDSD एक नई शिक्षण विधि है जो खेल को पूरी तरह बदलकर इसे ठीक करती है। पेंटिंग की "प्रायिकता" (probability) को ग्रेड देने के बजाय, यह सीधे कलाकार को बताती है: "देखो कि तुमने अभी क्या किया, देखो कि उसका 'परफेक्ट वर्जन' कैसा दिखता, और उस परफेक्ट वर्जन से मेल बिठाने की कोशिश करो।"

मुख्य समस्या: "नकली नियम पुस्तिका" (TIM Bias)

पुराने तरीके (ELBO-आधारित RL) को एक ड्राइविंग इंस्ट्रक्टर की तरह समझें जो आपको एक टूटे हुए स्पीडोमीटर के साथ कार चलाना सिखाता है।

प्रशिक्षण (Training): इंस्ट्रक्टर कहता है, "इस टूटे हुए स्पीडोमीटर के आधार पर, आप 60 मील प्रति घंटे की रफ्तार से जा रहे हैं।"
वास्तविकता: जब आप वास्तव में सड़क पर गाड़ी चलाते हैं (इन्फरेंस), तो कार का असली स्पीडोमीटर दिखाता है कि आप 40 मील प्रति घंटे की रफ्तार से जा रहे हैं।
परिणाम: आप भ्रमित हो जाते हैं। आप टूटे हुए गणित के आधार पर चलाने की कोशिश करते हैं, लेकिन कार वैसी प्रतिक्रिया नहीं देती जैसी गणित कहता है। इस बेमेल स्थिति को ट्रेनिंग-इन्फरेंस मिसमैच (TIM) कहा जाता है। यह सूखे ज़मीन पर समुद्र के नक्शे का उपयोग करके तैरना सीखने की कोशिश करने जैसा है; जैसे ही आप पानी में उतरते हैं, आप डूब जाते हैं।

पेपर का तर्क है कि पिछले तरीकों ने इस टूटे हुए स्पीडोमीटर को जटिल गणित के साथ ठीक करने की कोशिश की, लेकिन यह अभी भी एक "नकली नियम पुस्तिका" थी जिसके कारण AI विफल हो गया।

समाधान: GDSD (द "परफेक्ट कॉपी" मेथड)

लेखक GDSD (गाइडेड डीनॉइज़र सेल्फ-डिस्टिलेशन) का प्रस्ताव देते हैं। यह एक मूर्तिकार और उत्कृष्ट कृति (Masterpiece) के रूपक का उपयोग करके कैसे काम करता है, यहाँ बताया गया है।

1. "स्वयं-शिक्षक" (द एडवांटेज-गाइडेड डीनॉइज़र)

कल्पना कीजिए कि AI कलाकार एक मूर्ति (एक वाक्य) बनाता है।

यदि मूर्ति अच्छी है (उच्च रिवॉर्ड), तो शिक्षक कहता है, "यह बहुत बढ़िया है! आइए इसी मूर्ति का एक 'परफेक्ट वर्जन' बनाते हैं।"
यदि मूर्ति खराब है (कम रिवॉर्ड), तो शिक्षक कहता है, "यह बहुत बुरा है। आइए एक ऐसा 'परफेक्ट वर्जन' बनाते हैं जो इसके बिल्कुल विपरीत हो।"

यह "परफेक्ट वर्जन" ही शिक्षक है। यह एक गणितीय आदर्श है जो जानता है कि AI को उच्च स्कोर पाने के लिए वास्तव में क्या बनाना चाहिए था।

2. "सेल्फ-डिस्टिलेशन" (शिक्षक की नकल करना)

बजाय मूर्ति की "प्रायिकता" की गणना करने के, AI बस शिक्षक के परफेक्ट वर्जन को देखता है और उसके आकार की नकल करने की कोशिश करता है।

पुराना तरीका: "गणना करें कि मैंने इस मूर्ति को कितनी सही ढंग से बनाया।" (बहुत कठिन, त्रुटियों की ओर ले जाता है)।
GDSD का तरीका: "यहाँ परफेक्ट मूर्ति है। अपनी अगली मूर्ति को बिल्कुल इसी तरह का बनाओ।"

इसे सेल्फ-डिस्टिलेशन कहा जाता है। AI अपने स्वयं के "परफेक्ट स्वरूप" (शिक्षक) से ज्ञान को अपने वर्तमान स्वरूप में "डिस्टिल" (distill) कर रहा है।

3. "नॉर्मलाइजेशन-फ्री" ट्रिक (शोर को हटाना)

गणित में, एक "परफेक्ट वर्जन" की नकल करने के लिए आमतौर पर यह जानना आवश्यक होता है कि सभी संभावित मूर्तियों का कुल "आयतन" (volume) क्या है, जो कि एक असंभव संख्या है (जिसे नॉर्मलाइजेशन कांस्टेंट कहा जाता है)।

पेपर की ट्रिक: उन्होंने महसूस किया कि यदि आप केवल आकारों के बीच के अंतर (logits) को देखते हैं, तो आपको कुल आयतन जानने की आवश्यकता नहीं है।
उपमा: कल्पना कीजिए कि आप एक गाने से मेल बिठाने की कोशिश कर रहे हैं। आपको यह जानने की ज़रूरत नहीं है कि कॉन्सर्ट हॉल का कुल वॉल्यूम क्या है, बस यह जानने की ज़रूरत है कि गायक सही सुर लगा रहा है या नहीं। आप बस पिच (pitch) से मेल खाते हैं। GDSD असंभव "वॉल्यूम" गणना की आवश्यकता के बिना "पिच" (logits) को मैच करता है।

यह बेहतर क्यों है (परिणाम)

पेपर ने दो शक्तिशाली AI मॉडलों (LLaDA-8B और Dream-7B) पर तीन कठिन कार्यों में इस नई विधि का परीक्षण किया:

प्लानिंग (Planning): सुडोकू और काउंटडाउन जैसी पहेलियों को हल करना।
गणित (Math): जटिल गणितीय समस्याओं को हल करना।
कोडिंग (Coding): कंप्यूटर कोड लिखना।

निष्कर्ष:

स्थिरता (Stability): पुराने तरीके रोलरकोस्टर की तरह थे; AI तेजी से सीखता था, फिर क्रैश हो जाता था और सब कुछ भूल जाता था। GDSD एक स्मूथ लिफ्ट की तरह था; इसने लगातार सीखा और यह कभी क्रैश नहीं हुआ।
प्रदर्शन (Performance): GDSD ने पिछले सर्वश्रेष्ठ तरीकों को काफी पीछे छोड़ दिया।
- Dream-7B मॉडल पर, इसने प्लानिंग कार्यों पर सटीकता में 19.6% तक सुधार किया (एक बहुत बड़ी छलांग)।
- LLaDA-8B पर, इसने गणित, कोडिंग और प्लानिंग के सभी बेंचमार्क में लगातार सुधार किया।

एक वाक्य में सारांश

GDSD AI को सिखाने के लिए असंभव गणितीय प्रायिकताओं की गणना करने की कोशिश करना बंद करता है, और इसके बजाय बस AI को एक "परफेक्ट उदाहरण" दिखाता है कि उसे क्या करना चाहिए था, जिससे AI उस उदाहरण की सीधे नकल कर पाता है, जो सीखने की प्रक्रिया को तेज़, सुरक्षित और बहुत अधिक प्रभावी बनाता है।

तकनीकी सारांश: GDSD: डिफ्यूजन लैंग्वेज मॉडल्स के लिए गाइडेड डीनॉइज़र सेल्फ-डिस्टिलेशन के रूप में रिइन्फोर्समेंट लर्निंग

1. समस्या विवरण

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) ऑटोरिग्रेसिव मॉडल्स (ARMs) की तुलना में इन्फरेंस दक्षता में महत्वपूर्ण लाभ प्रदान करते हैं क्योंकि वे कई टोकन को एक साथ जनरेट कर सकते हैं और सख्त बाएं-से-दाएं जेनरेशन क्रम को तोड़ सकते हैं। हालांकि, dLLMs वर्तमान में जेनरेशन क्वालिटी के मामले में स्टेट-ऑफ-द-आर्ट ARMs से पीछे हैं, जिसके लिए प्रभावी फाइन-ट्यूनिंग विधियों जैसे कि रिइन्फोर्समेंट लर्निंग (RL) की आवश्यकता है।

dLLMs पर RL लागू करने में केंद्रीय बाधा पॉलिसी लाइकलीहुड (policy likelihood) की जटिलता (intractability) है। मौजूदा समाधान आम तौर पर दो श्रेणियों में आते हैं:

ट्रैजेक्टरी लाइकलीहुड मेथड्स (Trajectory Likelihood Methods): ये ट्रांजिशन प्रोबेबिलिटीज को संचित करके सटीक लाइकलीहुड का अनुमान लगाते हैं। हालांकि ये अनबायस्ड (unbiased) हैं, लेकिन ये गणनात्मक रूप से महंगे हैं और प्री-ट्रेनिंग उद्देश्यों के साथ संरेखित नहीं हैं।
सीक्वेंस लाइकलीहुड (ELBO) मेथड्स: ये रैंडमली मास्क्ड सीक्वेंस से अनुमानित एविडेंस लोअर बाउंड (ELBO) का उपयोग वास्तविक लाइकलीहुड के सरोगेट के रूप में करते हैं। ये गणनात्मक रूप से कुशल हैं और प्री-ट्रेनिंग के साथ संरेखित हैं।

मुख्य मुद्दा: पेपर का तर्क है कि ELBO-आधारित RL मेथड्स ट्रेनिंग-इन्फरेंस मिसमैच (TIM) बायस से ग्रस्त हैं। यह बायस दो स्रोतों से उत्पन्न होता है:

लाइकलीहुड गैप (Likelihood Gap): ELBO, वास्तविक लाइकलीहुड से एक गैर-नगण्य अंतर वाला लोअर बाउंड है, जो पॉलिसी ग्रेडिएंट (PG) या PPO ऑब्जेक्टिव्स में उपयोग किए जाने वाले इम्पोर्टेंस सैंपलिंग रेश्यो में बायस और वेरिएंस पेश करता है।
सैंपलिंग डिस्ट्रीब्यूशन मिसमैच (Sampling Distribution Mismatch): dLLM इन्फरेंस में इटरेटिव री-मास्किंग और ब्लॉक-वाइज डिकोडिंग का उपयोग किया जाता है, जो एक सैंपलिंग डिस्ट्रीब्यूशन ( $\pi^{rm}_{old}$ ) प्रेरित करता है जो ELBO के माध्यम से अनुमानित ट्रेनिंग पॉलिसी डिस्ट्रीब्यूशन ( $\hat{\pi}_{old}$ ) से भिन्न होता है।

यह मिसमैच कारण बनता है कि इम्पोर्टेंस सैंपलिंग करेक्शन अप्रभावी हो जाता है, जिससे प्रदर्शन में गिरावट आती है और गंभीर मामलों में, कैटास्ट्रोफिक ट्रेनिंग कोलैप्स (catastrophic training collapse) होता है।

2. कार्यप्रणाली: गाइडेड डीनॉइज़र सेल्फ-डिस्टिलेशन (GDSD)

लेखक गाइडेड डीनॉइज़र सेल्फ-डिस्टिलेशन (GDSD) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो dLLMs के लिए RL को एक ऑफ-पॉलिसी सेल्फ-डिस्टिलेशन समस्या के रूप में पुनर्गठित करता है, जिससे लाइकलीहुड अनुमान की आवश्यकता समाप्त हो जाती है और TIM बायस से बचा जा सकता है।

2.1 सैद्धांतिक आधार

रिवर्स-KL रेगुलराइज्ड RL के तहत, इष्टतम पॉलिसी $\pi^*$ का एक क्लोज्ड-फॉर्म समाधान है:
$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$
जहाँ $A(x_0)$ एडवांटेज फंक्शन है, $\beta$ एक रेगुलराइजेशन कोएफिशिएंट है, और $\psi$ एक गाइडेंस कोएफिशिएंट है।

लेखक दिखाते हैं कि इष्टतम पॉलिसी एक गाइडेड डीनॉसिंग डिस्ट्रीब्यूशन (एक "टीचर" डीनॉइज़र $p^*$ ) को प्रेरित करती है:
$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$
जहाँ $p^{ref}_{old}$ पुराने और रेफरेंस पॉलिसियों का एक ज्योमेट्रिक मिश्रण है, और $A_t(x_t)$ एक नॉर्मलाइजेशन कांस्टेंट है।

2.2 GDSD ऑब्जेक्टिव

लाइकलीहुड-आधारित ऑब्जेक्टिव को ऑप्टिमाइज़ करने के बजाय, GDSD वर्तमान डीनॉइज़र $p_\theta$ को उनके लॉजिट्स (logits) को मैच करके टीचर $p^*$ से सीधे डिस्टिल करता है। ऑब्जेक्टिव स्टूडेंट और टीचर लॉजिट्स के बीच स्क्वेयर्ड $L_2$ डिस्टेंस को कम करता है:
$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$

2.3 नॉर्मलाइजेशन-फ्री रीफॉर्मुलेशन

इसे लागू करने में एक बड़ी चुनौती टीचर डिस्ट्रीब्यूशन में इंट्रैक्टेबल नॉर्मलाइजेशन कांस्टेंट $Z_t$ (या $A_t$ ) है। लेखक इसे समाप्त करने के लिए दो समाधान प्रस्तावित करते हैं:

डायरेक्ट मैचिंग: सॉफ्टमैक्स ऑपरेटर की ट्रांसलेशन इनवेरिएंस का लाभ उठाते हुए, यदि स्टूडेंट लॉजिट्स एडिटिव कांस्टेंट तक अननॉर्मलाइज्ड टीचर लॉजिट्स से मेल खाते हैं, तो कांस्टेंट को अनदेखा किया जा सकता है।
टोकन-लेवल लॉजिट सेंट्रलाइजेशन (TLC): इटरेटिव अपडेट्स के दौरान अनकंट्रोल्ड लॉजिट स्केल शिफ्ट को रोकने के लिए, लेखक लॉजिट्स को सेंट्रलाइज करने का प्रस्ताव देते हैं। प्रत्येक टोकन पोजीशन के लिए वोकैबुलरी पर मीन लॉजिट को घटाकर, नॉर्मलाइजेशन कांस्टेंट को पूरी तरह से ऑब्जेक्टिव से हटाया जा सकता है।

अंतिम व्यावहारिक ऑब्जेक्टिव (TLC के साथ) है:
$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$
जहाँ $\bar{p}$ एक लॉजिट-सेंट्रलाइज्ड मॉडल है।

3. मुख्य योगदान

सेल्फ-डिस्टिलेशन में कमी: यह पेपर स्थापित करता है कि dLLMs के लिए रिवर्स-KL रेगुलराइज्ड RL, क्लोज्ड-फॉर्म ऑप्टिमल पॉलिसी से प्राप्त सेल्फ-टीचर से एक गाइडेड डीनॉइज़र को डिस्टिल करने के बराबर है।
GDSD फ्रेमवर्क: एक नवीन, लाइकलीहुड-फ्री सेल्फ-डिस्टिलेशन विधि जो डिज़ाइन द्वारा TIM बायस को समाप्त करती है, क्योंकि यह इम्पोर्टेंस सैंपलिंग रेश्यो या ELBO सरोगेट्स पर निर्भर नहीं करती है।
नॉर्मलाइजेशन-फ्री ऑप्टिमाइजेशन: टोकन-लेवल लॉजिट सेंट्रलाइजेशन (TLC) का परिचय इंट्रैक्टेबल पार्टिशन फंक्शन्स की गणना किए बिना कुशल ऑनलाइन RL की अनुमति देता है।
सैद्धांतिक एकीकरण: पेपर यह प्रदर्शित करता है कि मौजूदा ELBO-आधारित विधियों (जैसे wd1, DMPO, SPG, UniGRPO) को विभिन्न डायवर्जेंस मेजर्स (फॉरवर्ड-KL या रिवर्स-KL) का उपयोग करने वाले डिस्टिलेशन के विशिष्ट उदाहरणों के रूप में देखा जा सकता है, लेकिन वे डेटा इनएफिशिएंसी या TIM बायस से ग्रस्त हैं जिससे GDSD बचता है।

4. प्रयोगात्मक परिणाम

लेखकों ने LLaDA-8B और Dream-7B पर छह बेंचमार्क पर GDSD का मूल्यांकन किया:

मैथमैटिकल रीजनिंग: GSM8K, MATH500
प्लानिंग: Countdown, Sudoku
कोडिंग: HumanEval, MBPP

प्रमुख निष्कर्ष:

प्रदर्शन लाभ: GDSD लगातार स्टेट-ऑफ-द-आर्ट ELBO-आधारित विधियों से बेहतर प्रदर्शन करता है। Dream-7B मॉडल पर, GDSD ने प्लानिंग टास्क (Sudoku और Countdown) पर टेस्ट एक्यूरेसी में +19.6% तक सुधार किया। LLaDA-8B पर, प्लानिंग, मैथ और कोडिंग बेंचमार्क में सुधार +0.6% से +5% के बीच रहा।
ट्रेनिंग स्टेबिलिटी: GDSD ने ELBO-आधारित बेसलाइन्स (जैसे SPG, ESPO) की तुलना में काफी अधिक स्थिर ट्रेनिंग रिवॉर्ड डायनेमिक्स प्रदर्शित किया, जो ऑसिलेशन या कोलैप्स दिखाते थे।
एब्लेशन स्टडीज: दिखाया गया कि टोकन-लेवल लॉजिट सेंट्रलाइजेशन (TLC) घटक ट्रेनिंग को और अधिक स्थिर बनाता है और कुछ मामलों में (जैसे Sudoku), मॉडल को उच्च अंतिम रिवॉर्ड प्राप्त करने के लिए लोकल मिनिमा से बाहर निकलने में मदद करता है।

5. महत्व और दावे

पेपर का दावा है कि डायरेक्ट डीनॉइज़र सेल्फ-डिस्टिलेशन dLLMs के लिए ELBO-आधारित RL के मुकाबले एक अधिक स्थिर और प्रभावी विकल्प प्रदान करता है। लाइकलीहुड सरोगेट्स पर निर्भरता को हटाकर, GDSD उन स्ट्रक्चरल बायसेस को टालता है जो इम्पोर्टेंस-सैंपलिंग दृष्टिकोणों में निहित होते हैं। परिणाम बताते हैं कि देखे गए प्रदर्शन लाभ केवल हाइपरपैरामीटर ट्यूनिंग के कारण नहीं हैं, बल्कि एक अधिक मौलिक ऑप्टिमाइजेशन रूट से आते हैं जो प्रशिक्षण उद्देश्य को dLLMs के वास्तविक इन्फरेंस डिस्ट्रीब्यूशन के साथ संरेखित करता है। लेखक निष्कर्ष निकालते हैं कि dLLMs के साथ RL के लिए ELBO आवश्यक नहीं है और इसके हटने से अधिक मजबूत एलाइनमेंट और रीजनिंग क्षमताएं प्राप्त होती हैं।