💬 NLP

Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models

यह शोधपत्र डिफ्यूजन लैंग्वेज मॉडल्स में गुणवत्ता-अन्वेषण द्वंद्व (quality-exploration dilemma) को संबोधित करता है यह प्रदर्शित करते हुए कि कम-विश्वास वाला रीमास्किंग (low-confidence remasking) आवश्यक अन्वेषण को दबा देता है, और एक इंडिपेंडेंट मेट्रोपोलिस-हेस्टिंग्स सैंपलर प्रस्तावित करता है जो विभिन्न रीजनिंग बेंचमार्क में जनरेशन की गुणवत्ता और रीजनिंग पाथ की विविधता के बीच प्रभावी ढंग से संतुलन बनाता है।

मूल लेखक: Liancheng Fang, Aiwei Liu, Henry Peng Zou, Yankai Chen, Enze Ma, Leyi Pan, Chunyu Miao, Wei-Chieh Huang, Xue Liu, Philip S. Yu

प्रकाशित 2026-04-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liancheng Fang, Aiwei Liu, Henry Peng Zou, Yankai Chen, Enze Ma, Leyi Pan, Chunyu Miao, Wei-Chieh Huang, Xue Liu, Philip S. Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोड लिखना। आपके पास एक सुपर-स्मार्ट सहायक (AI) है जो आपकी मदद कर सकता है।

एक सहायक के काम करने के दो मुख्य तरीके हैं:

"एक-एक-कदम-पर-एक" रोबोट (Autoregressive): यह रोबोट बाएं से दाएं उत्तर लिखता है, ठीक वैसे ही जैसे कोई इंसान टाइप करता है। एक बार जब यह एक शब्द लिख देता है, तो यह उसी पर अटक जाता है। यदि यह शुरुआत में कोई गलती करता है, तो पूरा उत्तर खराब हो जाता है।
"जादुई इरेज़र" कलाकार (Diffusion Model): यह कलाकार एक खाली पन्ने से शुरू करता है जो शोर (static noise) से भरा होता है। यह एक बार में पूरी तस्वीर को देख सकता है, कुछ हिस्सों को मिटा सकता है और उन्हें फिर से बना सकता है। यह वाक्य के शुरू, मध्य या अंत को किसी भी क्रम में ठीक कर सकता है। यह अद्भुत लगता है, है ना? यह कई अलग-अलग समाधानों को खोजने में सक्षम होना चाहिए।

समस्या: "आत्मविश्वासी लेकिन फंसा हुआ" दुविधा (The "Confident but Stuck" Dilemma)

पेपर कहता है कि हालांकि "जादुई इरेज़र" कलाकार कुछ भी कर सकता है, लेकिन व्यवहार में, हम आमतौर पर इसे सुरक्षित खेलने के लिए कहते हैं।

पुराना तरीका (Low-Confidence Remasking): हम कलाकार को कहते हैं: "केवल उन हिस्सों को मिटाओ और फिर से बनाओ जिनके बारे में तुम अनिश्चित हो। यदि तुम किसी शब्द के बारे में 99% सुनिश्चित हो, तो उसे अकेला छोड़ दो।"
- अच्छी खबर: यह सबसे अच्छा एकल उत्तर बहुत शानदार बनाता है। कलाकार बहुत सावधान और आत्मविश्वासी है।
- बुरी खबर: क्योंकि कलाकार बहुत सावधान है, वह अन्वेषण (exploration) करना बंद कर देता है। वह सोचने के एक विशिष्ट तरीके में फंस जाता है। यदि वह एक तरीका गलत है, तो कलाकार कुछ और नहीं आजमाएगा। यह एक ऐसे हाइकर की तरह है जो केवल सबसे स्पष्ट, घिसे-पिटे रास्तों पर ही चलता है। यदि खजाना वहां नहीं है, तो वे कभी नहीं ढूंढ पाएंगे, भले ही वे बहुत आत्मविश्वास के साथ चल रहे हों।
दूसरा चरम (Random Remasking): हम कलाकार को कहते हैं: "जो चाहो मिटाओ, बेतरतीब ढंग से (randomly)!"
- अच्छी खबर: कलाकार लाखों अलग-अलग रास्ते आजमाता है। वह बहुत रचनात्मक है।
- बुरी खबर: उनमें से अधिकांश रास्ते बेकार हैं। एकल सबसे अच्छा उत्तर आमतौर पर बहुत खराब होता है क्योंकि कलाकार बहुत अराजक (chaotic) है।

समाधान: "आगे देखने वाला" मार्गदर्शक (The "Look-Ahead" Guide)

लेखकों ने इस कलाकार को निर्देशित करने का एक नया तरीका बनाया है। वे इसे इन्डिपेन्डेंट मेट्रोपोलिस-हेस्टिंग्स (Independent Metropolis-Hastings - IMH) कहते हैं, लेकिन आइए इसे "लुक-अहेड गाइड" (Look-Ahead Guide) कहें।

यहाँ एक उपमा (analogy) है:

कल्पना कीजिए कि आप एक विशाल, अंधेरी भूलभुलैया (सभी संभावित उत्तरों का स्थान) में हैं।

पुराना तरीका ऐसा था जैसे आगे बढ़ना और केवल तभी मुड़ना जब आप पूरी तरह आश्वस्त हों कि रास्ता सुरक्षित है। आप जल्दी ही एक डेड एंड (बंद रास्ते) पर पहुँच गए।
नया तरीका (IMH) एक ऐसे मार्गदर्शक की तरह है जो भविष्य में झांक सकता है।

जब कलाकार किसी शब्द (या चरण) को चुनने वाला होता है, तो लुक-अहेड गाइड पूछता है:

"यदि हम यह शब्द चुनते हैं, तो क्या यह शेष वाक्य के लिए बहुत सारे आशाजनक नए रास्ते खोलता है? या यह हमें एक डेड एंड (बंद रास्ते) में फंसा देता है?"

यदि कोई शब्द स्थानीय रूप से अच्छा दिखता है (अभी यह समझ में आता है) लेकिन बाद में डेड एंड की ओर ले जाता है, तो गाइड कहता है, "नहीं, इसे मत चुनो।"
यदि कोई शब्द अभी थोड़ा जोखिम भरा लग रहा है लेकिन बाद में बेहतरीन संभावनाओं की एक दुनिया खोलता है, तो गाइड कहता है, "जाओ, इसे चुनो!"

व्यवहार में यह कैसे काम करता है:
कंप्यूटर केवल एक शब्द नहीं चुनता। यह जल्दी से कुछ "क्या-होगा" वाले परिदृश्य (candidates) उत्पन्न करता है। यह जांचता है कि कौन सा परिदृश्य पूरे भविष्य के लिए सबसे अच्छा है। फिर, यह एक गणितीय ट्रिक (एक "सिक्का उछालना" जो इस पर आधारित है कि भविष्य कितना अच्छा दिखता है) का उपयोग करके तय करता है कि कौन सा रास्ता लेना है।

परिणाम

पेपर ने कठिन गणितीय समस्याओं (जैसे AIME प्रतियोगिता) और कोडिंग कार्यों पर इसका परीक्षण किया।

बेहतर एकल उत्तर: "लुक-अहेड गाइड" ने पहली कोशिश में ही उच्च गुणवत्ता वाले उत्तर दिए, ठीक वैसे ही जैसे "सुरक्षित" विधि ने दिए थे।
बेहतर अन्वेषण (Exploration): जब उन्होंने AI को 16 अलग-अलग उत्तर आज़माने के लिए कहा, तो "लुक-अहेड गाइड" ने "सुरक्षित" विधि की तुलना में सही समाधान बहुत अधिक बार खोजा। सुरक्षित विधि बार-बार एक ही गलत उत्तर देती रही। नया तरीका, समस्याओं को हल करने के अलग-अलग तरीके खोज रहा था, जिससे सही उत्तर तक पहुँचने की संभावना बढ़ गई।

सारांश में

यह पेपर एक दुविधा को हल करता है: हम एक AI को स्मार्ट (उच्च गुणवत्ता) और रचनात्मक (अच्छा अन्वेषण करने वाला) दोनों कैसे बना सकते हैं?

पुराना AI: "मैं इतना आश्वस्त हूँ कि मैं सही हूँ, मैं कुछ और नहीं आजमाऊंगा।" (एक बार सही होने में बहुत अच्छा, लेकिन नए समाधान खोजने में बहुत बुरा)।
नया AI: "मैं प्रतिबद्ध होने से पहले देखता हूँ कि यह रास्ता कहाँ ले जाता है। यदि यह एक डेड एंड जैसा दिखता है, तो मैं दूसरा रास्ता आज़माऊंगा।" (सही उत्तर खोजने में बहुत अच्छा, भले ही वह एक पेचीदा जगह में छिपा हो)।

उन्होंने साबित किया कि भविष्य को देखकर और "अभी सही होने" और "बाद में अच्छे विकल्प रखने" के बीच संतुलन बनाकर, AI उन समस्याओं को हल कर सकता है जो पहले उसके लिए नामुमकिन थीं।

यहाँ शोध पत्र "Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) सैद्धांतिक रूप से ऑटोरिग्रेसिव (AR) LLMs की तुलना में एक महत्वपूर्ण लाभ प्रदान करते हैं: टोकन को किसी भी क्रम में डिकोड करने की क्षमता। यह लचीलापन जटिल कार्यों, विशेष रूप से गणित और कोडिंग के लिए, तर्क पथों (reasoning paths) की समृद्ध खोज को सक्षम करना चाहिए। हालाँकि, व्यवहार में, dLLMs एक मौलिक गुणवत्ता-अन्वेषण द्वंद्व (Quality-Exploration Dilemma) का सामना करते हैं:

लो-कॉन्फिडेंस रिमास्किंग (गुणवत्ता-केंद्रित): वर्तमान अत्याधुनिक डिकोडिंग रणनीतियाँ "आत्मविश्वासी" टोकन (वे जिनकी प्रायिकता उच्च है या एंट्रॉपी कम है) को पहले अनमास्क (unmask) करने को प्राथमिकता देती हैं। जबकि यह एकल-नमूना गुणवत्ता (Pass@1) में सुधार करता है, यह एक गंभीर अन्वेषण बाधा (exploration bottleneck) पैदा करता है। सबसे संभावित स्थानीय टोकनों पर लालची (greedy) रूप से प्रतिबद्ध होकर, यह खोज स्थान (search space) को संकुचित कर देता है, जिससे मल्टी-सैंपल प्रदर्शन (Pass@k) में तीव्र संतृप्ति (saturation) आती है।
रैंडम रिमास्किंग (अन्वेषण-केंद्रित): टोकन को अनमास्क करने के लिए यादृच्छिक (random) चयन विविधता को बढ़ावा देता है लेकिन व्यक्तिगत नमूनों की गुणवत्ता को काफी कम कर देता है (कम Pass@1)।

मुख्य समस्या यह है कि मौजूदा ह्यूरिस्टिक्स (heuristics) अल्पदर्शी (myopic) हैं: वे परिणामी अनुक्रम स्थान (sequence space) के वैश्विक वादे पर विचार किए बिना तत्काल स्थानीय आत्मविश्वास को अनुकूलित करते हैं, जिससे मॉडल एक ही तर्क प्रक्षेपवक्र (reasoning trajectory) में "अटक" जाता है।

2. कार्यप्रणाली (Methodology)

लेखक इस ट्रेड-ऑफ को हल करने के लिए ग्लोबल टेम्परिंग (Global Tempering) और इंडिपेंडेंट मेट्रोपोलिस-हैस्टिंग्स (IMH) सैंपलिंग पर आधारित एक सिद्धांत-आधारित डिकोडिंग रणनीति प्रस्तावित करते हैं।

A. सैद्धांतिक औपचारिकीकरण (Theoretical Formalization)

एंट्रॉपी कैप (Entropy Cap): शोध पत्र सिद्ध करता है कि कॉन्फिडेंस-आधारित गेटिंग (जहाँ टोकन केवल तभी प्रतिबद्ध होते हैं जब $P(v) \ge 1-\delta$ ) अनुक्रम एंट्रॉपी पर एक कठोर ऊपरी सीमा लगाता है। विशेष रूप से, प्रभावी ब्रांचिंग फैक्टर $\exp(h_V(\delta))$ द्वारा सीमित है, जहाँ $h_V$ कॉन्फिडेंस थ्रेशोल्ड और वोकैबुलरी साइज का एक फलन (function) है। यह गणितीय रूप से समझाता है कि क्यों उच्च-विश्वास वाली रणनीतियाँ $k$ (Pass@k) के साथ स्केल करने में विफल रहती हैं।
इष्टतम लक्ष्य वितरण (Optimal Target Distribution): गुणवत्ता और अन्वेषण के बीच संतुलन बनाने के लिए, लेखक संयुक्त अनुक्रम वितरण पर एक एंट्रॉपी-रेगुलराइज्ड ऑप्टिमाइज़ेशन समस्या को औपचारिक रूप देते हैं। वे व्युत्पन्न करते हैं कि अद्वितीय इष्टतम वितरण एक पावर वितरण (power distribution) है:
$p^*_\alpha(x) \propto q(x)^\alpha$
जहाँ $q(x)$ बेस मॉडल का अनुक्रम लाइकलीहुड (likelihood) है और $\alpha$ ट्रेड-ऑफ को नियंत्रित करता है (कम $\alpha$ अधिक अन्वेषण के लिए वितरण को सपाट करता है, उच्च $\alpha$ गुणवत्ता के लिए इसे तीक्ष्ण बनाता है)।

B. एल्गोरिद्मिक चुनौती और समाधान (Algorithmic Challenge & Solution)

$p^*_\alpha(x)$ से सैंपलिंग करना कठिन है क्योंकि:

नॉर्मलाइजिंग कांस्टेंट (normalizing constant) अज्ञात है।
dLLMs के पास एक सुलभ अनुक्रम लाइकलीहुड $q(x)$ नहीं होता (AR मॉडल्स के विपरीत)।

इसे दूर करने के लिए, लेखक प्रत्येक डकोडिंग स्टेप के लिए करेक्टेड कंडिशनल (Corrected Conditional) को व्युत्पन्न करते हैं। वे दिखाते हैं कि स्थिति $i$ पर टोकन $v$ के लिए इष्टतम कंडिशनल प्रोबेबिलिटी में दो पद शामिल हैं:

लोकल टेम्परिंग (Local Tempering): $\alpha \cdot \ell_i(v)$ (लोकल लॉजिट्स को स्केल करना)।
लुकअहेड करेक्शन ( $\Delta_{i,v}$ ): एक पद जो $v$ के प्रति प्रतिबद्ध होने के बाद सुलभ सभी संभावित पूर्णताओं (completions) के कुल टेंपर्ड प्रोबेबिलिटी मास को मापता है।

चूंकि $\Delta_{i,v}$ की सटीक गणना करना घातीय (exponential) है, वे एक मीन-फील्ड एप्रोक्सिमेशन (Mean-Field Approximation) का प्रस्ताव करते हैं, जो स्वतंत्र मार्जिनल्स के रूप में सफिक्स जॉइंट डिस्ट्रीब्यूशन को फैक्टराइज़ करता है। इससे एक सुलभ सरोगेट करेक्शन टर्म $\hat{\Delta}_{i,v}$ प्राप्त होता है।

C. इंडिपेंडेंट मेट्रोपोलिस-हैस्टिंग्स (IMH) सैंपलर

लेखक लक्षित वितरण से सैंपलिंग करने के लिए एक IMH सैंपलर डिजाइन करते हैं:

प्रपोजल (Proposal): एक स्थानीय रूप से टेंपर्ड वितरण $r_i(v) \propto \exp(\alpha \ell_i(v))$ (लुकअहेड करेक्शन को अनदेखा करते हुए)।
एक्सेप्टेंस (Acceptance): एक्सेप्टेंस रेशियो काफी सरल हो जाता है क्योंकि स्थानीय लॉजिट पद रद्द हो जाते हैं। वर्तमान टोकन $x$ के ऊपर प्रस्तावित टोकन $y$ को स्वीकार करने का निर्णय केवल उनके लुकअहेड करेक्शन के अंतर पर निर्भर करता है:
$A(x \to y) = \min\left(1, \exp(\hat{\Delta}_{i,y} - \hat{\Delta}_{i,x})\right)$
दक्षता (Efficiency): प्रपोजल डिस्ट्रीब्यूशन स्टेट-स्वतंत्र है, जिससे सभी $T$ प्रपोजल्स और उनके लुकअहेड करेक्शन को एक सिंगल बैच्ड फॉरवर्ड पास में कंप्यूट किया जा सकता है, जिससे स्टैंडर्ड डिकोडिंग की तुलना में शून्य अनुक्रमिक ओवरहेड (sequential overhead) आता है।

3. मुख्य योगदान (Key Contributions)

द्वंद्व की एकीकृत व्याख्या: यह सिद्ध किया कि अनसर्टेन्टी-आधारित डिकोडिंग एक अल्पदर्शी गुणवत्ता प्रॉक्सी (जेनरेटिव परप्लेक्सिटी) में सुधार करती है, लेकिन सख्ती से अनुक्रम एंट्रॉपी को सीमित करती है, जिससे एक अन्वेषण बाधा उत्पन्न होती है।
इष्टतम वितरण लक्षण वर्णन: एंट्रॉपी-रेगुलराइज्ड ऑब्जेक्टिव को परिभाषित किया और सिद्ध किया कि पावर डिस्ट्रीब्यूशन $q(x)^\alpha$ गुणवत्ता और अन्वेषण को संतुलित करने के लिए अद्वितीय इष्टतम समाधान है।
व्यावहारिक डिकोडिंग एल्गोरिदम: एक सुलभ IMH सैंपलर विकसित किया जिसमें मीन-फील्ड लुकअहेड करेक्शन का उपयोग किया गया है, जो कठिन अनुक्रम लाइकलीहुड की आवश्यकता के बिना इष्टतम वैश्विक वितरण का अनुमान लगाता है।
अनुभवजन्य सत्यापन: प्रदर्शित किया कि यह विधि एक नया पारेटो फ्रंटियर (Pareto frontier) स्थापित करती है, जो रैंडम और कॉन्फिडेंस-आधारित बेसलाइन्स से बेहतर प्रदर्शन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन LLaDA-8B और WeDLM-8B पर चार बेंचमार्क: MATH500, AIME24/25, HumanEval, और MBPP पर किया गया।

Pass@k स्केलिंग: प्रस्तावित IMH विधि ने सभी बेंचमार्क पर लगातार उच्चतम Pass@k स्कोर प्राप्त किया। उदाहरण के लिए, LLaDA के साथ MATH500 पर, इसने Pass@16 का 70.0% प्राप्त किया, जो कॉन्फिडेंस रिमास्किंग (46.5%) और रैंडम रिमास्किंग (63.0%) से काफी बेहतर है।
गुणवत्ता-अन्वेषण द्वंद्व: टेम्परेचर पैरामीटर्स को स्कैन करके, लेखकों ने दिखाया कि IMH सख्ती से लोकल बेसलाइन्स पर हावी है, जो पारेटो फ्रंटियर को बाहर की ओर धकेलता है। यह Pass@k वृद्धि से समझौता किए बिना उच्च Pass@1 प्राप्त करता है।
कठिन समस्या समाधान: कठिन AIME बेंचमार्क पर, IMH ने "हार्ड" टियर की समस्याओं पर सबसे महत्वपूर्ण लाभ दिखाया, जहाँ बेसलाइन्स पूरी तरह से विफल रहे थे।
ट्रैजेक्टरी विविधता (Trajectory Diversity): रीजनिंग पाथ्स के विश्लेषण से पता चला कि कॉन्फिडेंस-आधारित बेसलाइन्स अत्यधिक समान रणनीतियों में सिमट जाते हैं (उच्च ट्रैजेक्टरी सिमिलरिटी स्कोर), जबकि IMH विशिष्ट और गुणात्मक रूप से भिन्न रीजनिंग रणनीतियों का अन्वेषण करता है।
अभिसरण (Convergence): IMH सैंपलर तेजी से अभिसरित होता है ( $T=7$ स्टेप्स के भीतर) और उच्च एक्सेप्टेंस रेट (>97%) दिखाता है, जो डिस्क्रीट स्टेट स्पेस में कुशल मिक्सिंग की पुष्टि करता है।

5. महत्व (Significance)

यह कार्य डिफ्यूजन LLMs के डिकोडिंग प्रतिमान (paradigm) को स्थानीय, लालची ह्यूरिस्टिक्स से वैश्विक, सिद्धांत-आधारित सैंपलिंग की ओर मौलिक रूप से बदल देता है।

यह dLLMs के "फ्लेक्सिबिलिटी ट्रैप" को हल करता है, यह सिद्ध करता है कि यदि वैश्विक लुकअहेड द्वारा निर्देशित हो, तो आर्बिट्ररी-ऑर्डर डिकोडिंग को बेहतर तर्क (reasoning) के लिए उपयोग किया जा सकता है।
यह दृष्टिकोण dLLMs को अत्यंत जटिल तर्क कार्यों (जैसे उन्नत गणित प्रतियोगिताएं) को हल करने में सक्षम बनाता है, जो पहले समयपूर्व गलत तर्क पथों पर अभिसरण के कारण पहुंच से बाहर थे।
IMH फ्रेमवर्क लुकअहेड प्लानिंग को पैरेलल डिकोडिंग में एकीकृत करने का एक कम्प्यूटेशनल रूप से कुशल तरीका प्रदान करता है, जो डिफ्यूजन मॉडल्स की सैद्धांतिक क्षमता और उनके व्यावहारिक प्रदर्शन के बीच के अंतर को पाटता है।