💬 NLP

Residual Context Diffusion Language Models

यह शोध पत्र रेजिडुअल कॉन्टेक्स्ट डिफ्यूजन (RCD) को प्रस्तुत करता है, जो एक नवीन मॉड्यूल है जो न्यूनतम अतिरिक्त गणना और प्रशिक्षण डेटा के साथ डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) की सटीकता और दक्षता को महत्वपूर्ण रूप से बढ़ाने के लिए त्याग दिए गए टोकन रिप्रजेंटेशन्स को कॉन्टेक्स्टुअल रेजिडुअल्स के रूप में पुनर्चक्रित करता है।

मूल लेखक: Yuezhou Hu, Harman Singh, Monishwaran Maheswaran, Haocheng Xi, Coleman Hooper, Jintao Zhang, Aditya Tomar, Michael W. Mahoney, Sewon Min, Mehrdad Farajtabar, Kurt Keutzer, Amir Gholami, Chenfeng Xu

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuezhou Hu, Harman Singh, Monishwaran Maheswaran, Haocheng Xi, Coleman Hooper, Jintao Zhang, Aditya Tomar, Michael W. Mahoney, Sewon Min, Mehrdad Farajtabar, Kurt Keutzer, Amir Gholami, Chenfeng Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई गणित की समस्या या कोई पहेली। आपके पास एक स्मार्ट सहायक (एक AI) है जो आपकी मदद कर रहा है।

पुराना तरीका: "कचरे के डिब्बे" की रणनीति (The "Trash Can" Strategy)

इन AI सहायकों की वर्तमान पीढ़ी में (जिन्हें डिफ्यूजन लार्ज लैंग्वेज मॉडल्स कहा जाता है), सहायक एक ही बार में पूरा उत्तर अनुमान लगाने की कोशिश करता है, लेकिन वह इसे चरणों में करता है।

यह पहेली को देखता है और हर एक शब्द के लिए एक अनुमान लगाता है।
यह अपने आत्मविश्वास की जांच करता है: "क्या मैं इस शब्द के बारे में 100% निश्चित हूँ?"
समस्या: यदि यह 100% निश्चित नहीं है, तो यह अपने उस अनुमान को एक "कचरे के डिब्बे" (जिसे रीमास्किंग/remasking कहा जाता है) में फेंक देता है और उसे खाली स्थान से बदल देता है। यह केवल उन शब्दों को रखता है जिनके बारे में यह पूरी तरह आश्वस्त है।
यह प्रक्रिया दोहराता है, खाली स्थानों को भरता जाता है, जब तक कि पहेली पूरी न हो जाए।

बर्बादी: शोध पत्र यहाँ एक बड़ी अक्षमता की ओर इशारा करता है। भले ही सहायक ने उन "अनिश्चित" अनुमानों को कचरे के डिब्बे में फेंक दिया था, लेकिन उन अनुमानों में वास्तव में उपयोगी संकेत मौजूद थे! वे संदर्भ और वाक्य के प्रवाह के बारे में सुराग रखते थे। उन्हें फेंककर, AI उस सारी मानसिक शक्ति को बर्बाद कर देता है जो उसने उन्हें कैलकुलेट करने में खर्च की थी। यह एक जासूस की तरह है जो किसी संदिग्ध के बहाने (alibi) को सिर्फ इसलिए फेंक देता है क्योंकि वह उसके बारे में 100% निश्चित नहीं था, जबकि बाद में उसे एहसास होता है कि उस बहाने में एक महत्वपूर्ण सुराग छिपा था।

नया तरीका: "अवशिष्ट संदर्भ" की रणनीति (The "Residual Context" Strategy)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे रेसिडुअल कॉन्टेक्स्ट डिफ्यूजन (RCD) कहा जाता है। अनिश्चित अनुमानों को फेंकने के बजाय, वे उन्हें सहेजते हैं और उन्हें अगले चरण के लिए एक "संकेत" के रूप में उपयोग करते हैं।

यह कैसे काम करता है, इसे एक सरल उपमा (analogy) से समझते हैं:

"फुसफुसाने वाले सहायक" की उपमा:
कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, और आपका सहायक आपको सुझाव फुसफुसा रहा है।

पुराना तरीका: यदि सहायक कहता है, "मुझे लगता है कि अगला शब्द 'बिल्ली' है लेकिन मैं पक्का नहीं हूँ," तो आप उसे पूरी तरह से अनदेखा कर देते हैं और अगली बार पूछने के लिए प्रतीक्षा करते हैं।
RCD तरीका: सहायक कहता है, "मैं 100% निश्चित नहीं हूँ कि यह 'बिल्ली' है, लेकिन मैं 60% निश्चित हूँ। आइए इस 'बिल्ली' वाले विचार को अपने दिमाग के एक कोने में एक 'रेसिडुअल' (बचे हुए विचार) के रूप में रखें।"

अगले दौर में, सहायक शून्य से शुरुआत नहीं करता है। वह पिछले दौर के "बचे हुए विचारों" को देखता है। वह कहता है, "ठीक है, पिछली बार मैं 'बिल्ली' की ओर झुका हुआ था, इसलिए मैं इसे अपने अनुमान को बेहतर बनाने के लिए एक शुरुआती बिंदु के रूप में उपयोग करूँगा।"

गुप्त मंत्र: "कॉन्फिडेंस मीटर" (The "Confidence Meter")

पेपर एक चतुर तरकीब पेश करता है जिससे यह काम करता है। सभी "बचे हुए विचार" समान नहीं होते।

यदि सहायक बहुत भ्रमित है (उच्च एन्ट्रॉपी/entropy), तो वह भ्रम वास्तव में बहुत सारी जानकारी रखता है कि वह क्या नहीं जानता। यह मूल्यवान है!
यदि सहायक बहुत आश्वस्त है, तो नया सीखने के लिए कम जानकारी बचती है।

RCD विधि इन बचे हुए विचारों को कितना महत्व देना है, यह तय करने के लिए एक कॉन्फिडेंस मीटर (गणितीय रूप से जिसे एन्ट्रॉपी कहा जाता है) का उपयोग करती है। यदि सहायक बहुत अनिश्चित है, तो यह विधि कहती है, "इस बचे हुए विचार को ध्यान से सुनो; यह महत्वपूर्ण है!" यदि सहायक आश्वस्त है, तो यह कहती है, "हम अभी इस बचे हुए विचार को अनदेखा कर सकते हैं।"

उन्होंने AI को कैसे सिखाया (दो-चरणीय प्रशिक्षण)

AI को यह सिखाना कठिन है। यदि आप इसे एक साथ सिखाने की कोशिश करते हैं, तो AI भ्रमित हो जाता है क्योंकि वह संकेत (hints) उत्पन्न करने और उनका उपयोग करने, दोनों को एक साथ सीखने की कोशिश कर रहा है। यह एक छात्र को परीक्षा लिखने और साथ ही खुद ही परीक्षा ग्रेड करने के लिए सिखाने जैसा है।

लेखकों ने इसे दो-चरणीय प्रशिक्षण (Two-Stage Training) विधि से हल किया:

शिक्षक (The Teacher): पहले वे एक छोटे, सरल "शिक्षक" AI को प्रशिक्षित करते हैं। इस शिक्षक का एकमात्र काम पहेली को देखना और कहना है, "यहाँ मेरे सबसे अच्छे अनुमान हैं, अनिश्चित वाले भी शामिल हैं।"
छात्र (The Student): फिर, वे मुख्य "छात्र" AI को प्रशिक्षित करते हैं। छात्र पहेली को देखता है, और शिक्षक संकेतों (रेसिडुअल कॉन्टेक्स्ट) को फुसफुसाता है। छात्र इन संकेतों का उपयोग करके पहेली को बेहतर ढंग से हल करना सीखता है।

इस प्रकार, छात्र बिना भ्रमित हुए संकेतों का उपयोग करना सीख जाता है।

परिणाम: तेज़ और स्मार्ट

पेपर ने कठिन गणितीय समस्याओं (जैसे AIME प्रतियोगिता) और सामान्य तर्क कार्यों पर इस नई विधि का परीक्षण किया।

बेहतर सटीकता: AI ने काफी अधिक प्रश्नों के सही उत्तर दिए। कठिन गणित परीक्षणों पर, इसकी सटीकता पुराने तरीके की तुलना में लगभग दोगुनी हो गई।
कम चरण: क्योंकि AI "बचे हुए विचारों" का उपयोग करके तेज़ी से स्मार्ट बनता है, इसलिए इसे समस्या को हल करने के लिए अनुमान लगाने के कम दौर की आवश्यकता होती है। यह एक भूलभुलैया को हल करने जैसा है जहाँ आप उन रास्तों को याद रखते हैं जहाँ आप गलत थे, बजाय इसके कि आप उन्हें भूल जाएँ और बार-बार उन्हीं में फंसें।
दक्षता (Efficiency): यह इन परिणामों को प्राप्त करने के लिए किसी सुपरकंप्यूटर की आवश्यकता नहीं होती है। यह बस कंप्यूटिंग पावर का उपयोग करने का एक स्मार्ट तरीका है।

सारांश

शोध पत्र का तर्क है कि वर्तमान AI मॉडल बहुत अधिक बर्बादी करते हैं। वे बहुत सारी जानकारी की गणना करते हैं और फिर उसे फेंक देते हैं। रेसिडुअल कॉन्टेक्स्ट डिफ्यूजन (RCD) एक नई प्रणाली है जो उन फेंके गए विचारों को सहेजती है, उन्हें AI के भ्रम के आधार पर तौलता है, और अगले चरण के लिए एक मार्गदर्शक के रूप में उपयोग करता है। परिणाम स्वरूप, एक ऐसा AI मिलता है जो अधिक स्मार्ट, तेज़ और गणित एवं तर्क पहेलियों जैसी जटिल समस्याओं को हल करने में बहुत बेहतर है।

तकनीकी सारांश: रेसिडुअल कॉन्टेक्स्ट डिफ्यूजन लैंग्वेज मॉडल्स (Residual Context Diffusion Language Models)

समस्या विवरण (Problem Statement)

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs), ऑटोरिग्रेसिव (AR) मॉडल्स के एक आशाजनक विकल्प के रूप में उभर रहे हैं, जो समानांतर टोकन डिकोडिंग (parallel token decoding) को सक्षम करते हैं, जिससे इन्फरेंस (inference) को मेमोरी-बैंडविड्थ-लिमिटेड रिजीम से कंप्यूट-यूटिलाइजेशन रिजीम की ओर संभावित रूप से स्थानांतरित किया जा सकता है। हालाँकि, अत्याधुनिक ब्लॉक-वाइज dLLMs, AR मॉडल्स की तुलना में एक महत्वपूर्ण सटीकता अंतराल (accuracy gap) से जूझ रहे हैं। यह अंतराल "रीमास्किंग" (remasking) तंत्र के कारण और भी बढ़ जाता है जिसका उपयोग इन्फरेंस के दौरान किया जाता है: प्रत्येक डिनोइजिंग इटरेशन (denoising iteration) में, मॉडल केवल सबसे आत्मविश्वासी (confident) टोकन्स को ही प्रतिबद्ध करता है और बाकी को एक स्थिर मास्क टोकन द्वारा रीसेट करके हटा देता है।

लेखक यह देखते हैं कि यह प्रक्रिया प्रभावी रूप से कम-आत्मविश्वास वाले (low-confidence) टोकन्स पर की गई मध्यवर्ती गणना को बर्बाद करती है। जैसा कि टोकन रिकॉल विश्लेषण से प्रदर्शित हुआ है, ये मध्यवर्ती वितरण वैश्विक संदर्भ (global context) के संबंध में संरचित और अर्थपूर्ण संकेतों से युक्त होते हैं जो अगले डिकोडिंग चरणों के लिए महत्वपूर्ण होते हैं। मानक dLLMs इस जानकारी को त्याग देते हैं, जिससे प्रति टोकन उच्च कम्प्यूटेशनल लागत के बावजूद उप-इष्टतम सटीकता प्राप्त होती है।

कार्यप्रणाली: रेसिडुअल कॉन्टेक्स्ट डिफ्यूशन (RCD)

पेपर रेसिडुअल कॉन्टेक्स्ट डिफ्यूशन (RCD) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो हटाए गए टोकन्स की गणना को पुनर्चक्रित (recycle) करता है, उनके लेटेंट रिप्रेजेंटेशन्स को "कॉन्टेक्स्टुअल रेसिडुअल्स" (contextual residuals) के रूप में उपचारित करता है जिन्हें अगले डिनोइजिंग स्टेप के लिए मॉडल में वापस इंजेक्ट किया जाता है।

1. एंट्रॉपी-वेटेड रेसिडुअल इंजेक्शन (Entropy-Weighted Residual Injection)

कम-आत्मविश्वास वाले टोकन्स को हटाने के बजाय, RCD उनके प्रेडिक्टेड प्रोबेबिलिटी डिस्ट्रीबशंस को निरंतर एम्बेडिंग वेक्टर्स (सॉफ्ट टोकन्स) में परिवर्तित करता है और उन्हें अगले स्टेप के इनपुट में इंजेक्ट करता है।

रेसिडुअल निर्माण: स्थिति $i$ और स्टेप $t$ पर एक टोकन के लिए, रेसिडुअल जानकारी $\Delta_i^{(t)}$ को प्रेडिक्टेड प्रोबेबिलिटी डिस्ट्रीब्यूशन $p_i^{(t)}$ के आधार पर वोकैबुलरी एम्बेडिंग्स का भारित योग (weighted sum) के रूप में गणना किया जाता है:
$\Delta_i^{(t)} = \sum_{j=1}^{V} p_{i,j}^{(t)} E_{j,:}$
हाईवे कनेक्शन: मूल इनपुट और रेसिडुअल के बीच मैग्नीट्यूड मिसअलाइनमेंट को रोकने के लिए, RCD पिछले स्टेप के रेसिडुअल के साथ वर्तमान मास्क टोकन एम्बेडिंग को इंटरपोलेट करने के लिए एक हाईवे कनेक्शन का उपयोग करता है:
$\tilde{e}_i^{(t)} = (1 - \alpha_i^{(t-1)}) E(x_i^{(t)}) + \alpha_i^{(t-1)} \Delta_i^{(t-1)}$
(जहाँ $x_i^{(t)} = [M]$ मास्क किए गए टोकन्स के लिए है)।
एंट्रॉपी-आधारित वेटिंग: योगदान भार $\alpha_i^{(t)}$ को प्रेडिक्टेड टोकन डिस्ट्रीब्यूशन के नॉर्मलाइज्ड शैनन एंट्रॉपी (normalized Shannon entropy) द्वारा गतिशील रूप से निर्धारित किया जाता है। उच्च-एंट्रॉपी वाले टोकन्स (कम आत्मविश्वास) को उच्च भार दिया जाता है, क्योंकि यह परिकल्पना की गई है कि वे अनुक्रम को परिष्कृत करने के लिए अधिक महत्वपूर्ण संरचनात्मक जानकारी वहन करते हैं।

2. डीकपल्ड टू-स्टेज ट्रेनिंग पाइपलाइन (Decoupled Two-Stage Training Pipeline)

RCD को एंड-टू-एंड प्रशिक्षित करना कम्प्यूटेशनल रूप से निषेधात्मक है क्योंकि इसमें रिकर्सिव डिपेंडेंसी (recursive dependency) होती है (स्टेप $t$ का इनपुट स्टेप $t-1$ के आउटपुट पर निर्भर करता है), जो RNNs के समान एक लंबा अनरोल्ड कम्प्यूटेशन ग्राफ बनाती है। मेमोरी बॉटलनैक्स से बचने के लिए, लेखक एक दो-चरणीय प्रशिक्षण रणनीति का प्रस्ताव करते हैं:

चरण 1 (रेफरेंस मॉडल): एक हल्का, प्री-ट्रेंड dLLM एक फ्रीज्ड "रेफरेंस मॉडल" ( $M_{ref}$ ) के रूप में कार्य करने के लिए फाइन-ट्यून किया जाता है। यह मास्क किए गए इनपुट्स के लिए उच्च-गुणवत्ता वाले प्रोबेबिलिटी डिस्ट्रीबशन्स और एंट्रॉपी वेट्स उत्पन्न करता है।
चरण 2 (टारगेट मॉडल ट्रेनिंग): एक "टारगेट मॉडल" ( $M_{target}$ ) को फ्रीज्ड $M_{ref}$ के सिग्नल्स का उपयोग करके प्रशिक्षित किया जाता है। प्रशिक्षण के दौरान, $M_{ref}$ रेसिडुअल वेक्टर्स बनाने के लिए प्रोबेबिलिटी डिस्ट्रीबशन्स और एंट्रॉपी वेट्स प्रदान करता है, जिन्हें फिर $M_{target}$ के इनपुट एम्बेडिंग्स में इंजेक्ट किया जाता है। यह रेसिडुअल्स के जेनरेशन को उनके उपयोग से अलग (decouple) कर देता है, जिससे बैकप्रोपैगेशन थ्रू टाइम के बिना मानक सिंगल-स्टेप सुपरवाइज्ड लर्निंग संभव हो पाती है।

3. इन्फरेंस स्ट्रैटेजी (Inference Strategy)

इन्फरेंस के दौरान, मॉडल एक सेल्फ-रेफरेंशियल लूप में बदल जाता है जहाँ यह अपने स्वयं के रेसिडुअल्स जेनरेट करता है। प्रशिक्षण (प्रॉक्सी) और इन्फरेंस (सेल्फ-जेनरेटेड) चरणों के बीच डिस्ट्रीब्यूशन गैप को पाटने के लिए, लेखक निम्नलिखित पेश करते हैं:

टेम्परेचर-स्केल्ड एंट्रॉपी: एक स्केलर $T_{res}$ एंट्रॉपी गणना के लिए उपयोग किए जाने वाले प्रोबेबिलिटी डिस्ट्रीब्यूशन की "सॉफ्टनेस" को एडजस्ट करता है, जो मॉडल के कॉन्फिडेंस को ट्रेनिंग डिस्ट्रीब्यूशन के अनुरूप कैलिब्रेट करता है।
इनिशियलाइजेशन: प्रक्रिया को रेफरेंस मॉडल के प्रारंभिक प्रेडिक्शन का उपयोग करके "वार्म-स्टार्ट" किया जा सकता है या ज़ीरो वेक्टर के साथ "कोल्ड-स्टार्ट" किया जा सकता है।

मुख्य योगदान (Key Contributions)

रेसिडुअल कॉन्टेक्स्ट मैकेनिज्म: एक नवीन मॉड्यूल जो dLLMs में हटाए गए टोकन रिप्रेजेंटेशन्स को पुनर्चक्रित करता है, जिससे बर्बाद हुई गणना को एक मार्गदर्शक कॉन्टेक्स्ट सिग्नल में बदल दिया जाता है।
एंट्रॉपी-ड्रिवन एग्रीगेशन: नॉर्मलाइज्ड शैनन एंट्रॉपी के आधार पर रेसिडुअल जानकारी को वेट करने का एक सिद्धांत आधारित तरीका, जो यह सुनिश्चित करता है कि अनिश्चित टोकन्स कॉन्टेक्स्ट रिफाइनमेंट में अधिक योगदान दें।
कुशल प्रशिक्षण पाइपलाइन: एक डीकपल्ड टू-स्टेज ट्रेनिंग दृष्टिकोण जो बैकप्रोपैगेशन-थ्रू-टाइम के मेमोरी बॉटलनैक्स से बचता है, जिससे न्यूनतम डेटा (लगभग 300 मिलियन टोकन) के साथ मानक dLLMs को RCD प्रतिमान में बदलना संभव होता है।
नया पारेटो ट्रेड-ऑफ (Pareto Trade-off): यह विधि डिनोइजिंग स्टेप्स और रेसिडुअल ट्रांसमिशन के बीच एक नया ट्रेड-ऑफ नॉब पेश करती है, जिससे समान लेटेंसी पर उच्च सटीकता या समान सटीकता के लिए काफी कम स्टेप्स प्राप्त किए जा सकते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो अलग-अलग dLLM परिवारों पर RCD को मान्य किया: LLaDA (द्विदिश ग्लोबल-कॉन्टेक्स्ट) और SDAR (सेमी-ऑटोरिग्रेसिव ब्लॉक-वाइज)।

सटीकता में वृद्धि: RCD ने GSM8K, MATH500, और MinervaMath सहित बेंचमार्क्स पर लगातार फ्रंटियर dLLMs में 4–11 प्रतिशत अंक का सुधार किया।
जटिल तर्क (Complex Reasoning): चुनौतीपूर्ण AIME24/25 बेंचमार्क्स पर, RCD बेसलाइन सटीकता को लगभग दोगुना कर देता है (उदाहरण के लिए, SDAR-8B-b64 AIME24 पर 7.08% से बढ़कर 18.75% हो गया)।
दक्षता: RCD न्यूनतम अतिरिक्त कम्प्यूटेशनल ओवरहेड के साथ ये लाभ प्राप्त करता है। यह 4–5 गुना कम डिनोइजिंग स्टेप्स के साथ बेसलाइन की पीक सटीकता प्राप्त करता है।
डेटा दक्षता: RCD केवल ~300M टोकन के प्रशिक्षण डेटा के साथ उच्च रीजनिंग सटीकता तक पहुँच जाता है, जबकि प्रतिस्पर्धी लेटेंट-आधारित विधियाँ (जैसे Loopholing) समान बजट के तहत सुसंगत अनुक्रम उत्पन्न करने में विफल रहती हैं।
स्केलेबिलिटी: यह विधि 4B से 8B पैरामीटर मॉडल्स और विभिन्न ब्लॉक साइज़ (32 और 64 टोकन) में मजबूती से स्केल करती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि वर्तमान dLLMs में प्राथमिक बाधा प्रशिक्षण स्टेप्स या मॉडल क्षमता की कमी नहीं है, बल्कि रीमास्किंग रणनीति के कारण होने वाला सूचना नुकसान (information loss) है। हटाए गए टोकन्स से "बर्बाद" हुई गणना को पुनर्चक्रित करके, RCD डिफ्यूजन मॉडल्स की ऑटोरिग्रेसिव मॉडल्स की तर्क क्षमताओं से मेल खाने या उनसे आगे निकलने की क्षमता को अनलॉक करता है।

लेखक RCD को उच्च-फिडेलिटी पैरेलल टेक्स्ट जनरेशन के लिए एक व्यावहारिक, स्केलेबल समाधान के रूप में प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि इस पद्धति के लिए बैकबोन मॉडल में आर्किटेक्चरल बदलाव की आवश्यकता नहीं है, बल्कि यह डिकोडिंग और प्रशिक्षण प्रतिमान में बदलाव है, जो इसे अगली पीढ़ी के डिफ्यूजन लैंग्वेज मॉडल्स को बेहतर बनाने के लिए एक व्यवहार्य मार्ग बनाता है।