When to Commit? Towards Variable-Size Self-Contained Blocks for Discrete Diffusion Language Models

तकनीकी सारांश: डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स के लिए परिवर्तनीय-आकार के स्व-निहित ब्लॉक्स की ओर

1. समस्या: dLLMs में प्रशिक्षण-अनुमान अंतराल (Training-Inference Mismatch)

डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स (dLLMs), टोकन को डीनोइज़ करने के लिए द्विदिश अटेंशन (bidirectional attention) का उपयोग करके ऑटोरिग्रेसिव (AR) मॉडल्स के एक समानांतर विकल्प के रूप में कार्य करते हैं। जनरेशन को व्यावहारिक बनाने के लिए, शोधकर्ता ब्लॉकवाइज सेमी-ऑटोरिग्रेसिव डिकोडिंग का उपयोग करते हैं, जहाँ मॉडल टोकन के एक ब्लॉक को समानांतर में उत्पन्न करता है और फिर अगले ब्लॉक पर आगे बढ़ने से पहले उन्हें एक निश्चित प्रीफिक्स (prefix) के रूप में "कमिट" (commit) कर देता है।

लेखक वर्तमान ब्लॉकवाइज डिकोडिंग में दो महत्वपूर्ण दोषों की पहचान करते हैं:

• प्रशिक्षण-अनुमान अंतराल (Training-Inference Mismatch): dLLMs को आमतौर पर पूर्ण-अनुक्रम द्विदिश संदर्भ (पूर्ण प्रीफिक्स और भविष्य के सफिक्स दोनों को देखते हुए) के साथ प्रशिक्षित किया जाता है। हालाँकि, अनुमान (inference) के दौरान, एक बार जब एक ब्लॉक कमिट हो जाता है, तो वह अपरिवर्तनीय होता है। यदि एक ब्लॉक को भविष्य के संदर्भ का उपयोग करके उसका अर्थ "हल" करने से पहले ही कमिट कर दिया जाता है, तो वह कमिटमेंट भविष्य-निर्भर (future-dependent) बन जाता है, जिससे शेष अनुक्रम में त्रुटियाँ फैल जाती हैं।
• अनुमानी सीमाएँ (Heuristic Boundaries): अधिकांश मौजूदा विधियाँ ब्लॉक कमिट करने का निर्णय लेने के लिए निश्चित ब्लॉक आकार (जैसे, प्रत्येक 32 टोकन) या सतही अनुमानी (जैसे, विराम चिह्न) का उपयोग करती हैं। ये विधियाँ अक्सर अर्थपूर्ण इकाइयों (जैसे, एक गणितीय समीकरण या बहु-शब्द वाक्यांश) के बीच में कट लगा देती हैं, जिससे मॉडल को समय से पहले, अस्थिर निर्णय लेने के लिए मजबूर होना पड़ता है।

2. कार्यप्रणाली: परिवर्तनीय-आकार के स्व-निहित ब्लॉक्स (VSB)

यह शोध पत्र ब्लॉक कमिटमेंट के लिए एक सिद्धांत के रूप में स्व-निहितता (self-containedness) का प्रस्ताव करता है। एक ब्लॉक को तब स्व-निहित माना जाता है यदि उसके अनुमानित टोकन सुसंगत रहते हैं, भले ही भविष्य का संदर्भ प्रकट कर दिया गया हो।

मुख्य घटक:

• स्व-निहितता विचलन (Self-Containedness Divergence - $S$): चूँकि अनुमान के दौरान "भविष्य" अज्ञात होता है, लेखक एक प्रति-तथ्यात्मक (counterfactual) तुलना का प्रस्ताव करते हैं। वे एक उम्मीदवार ब्लॉक के लिए दो भविष्य कहनेवाला वितरणों (predictive distributions) की तुलना करते हैं:

  1. नो-फ्यूचर (No-Future - NF): वर्तमान प्रीफिक्स और उम्मीदवार ब्लॉक पर आधारित भविष्यवाणियाँ।
  2. फ्यूचर-अवेयर (Future-Aware - FA): प्रीफिक्स और भविष्य के एक "परिकल्पना" (मॉडल का अपना वर्तमान अनुमान) पर आधारित भविष्यवाणियाँ।
     इन दो वितरणों के बीच का विचलन (जैसे, KL विचलन) यह मात्रा निर्धारित करता है कि "भविष्य" वर्तमान भविष्यवाणियों को कितना बदल देगा। कम विचलन उच्च स्व-निहितता को दर्शाता है।

• लंबाई-जागरूक सीमा चयन ($SL\text{-}A$): अत्यंत छोटे ब्लॉक चुनने की समस्या (जो तब होती है जब केवल विचलन को न्यूनतम किया जाता है) से बचने के लिए, लेखक एक ट्रेड-ऑफ ऑब्जेक्टिव पेश करते हैं:
  $$SL\text{-}A = \log(b - p) - (b - p)S(p, b)$$
  यह सूत्र लंबे ब्लॉक्स को पुरस्कृत करता है (लॉग टर्म के माध्यम से) लेकिन उन ब्लॉक्स को भारी दंड देता है जहाँ कुल "भविष्य-निर्भरता द्रव्यमान" (future-dependence mass) अधिक है।

• नो-फ्यूचर (NF) एलाइनमेंट ट्रेनिंग: प्रशिक्षण-अनुमान अंतराल को पाटने के लिए, लेखक अपने प्रशिक्षण उद्देश्य को संशोधित करते हैं। पूर्ण अनुक्रमों पर प्रशिक्षित करने के बजाय, वे मॉडल को नो-फ्यूचर ट्रंकेशन का उपयोग करके प्रशिक्षित करते हैं। यह मॉडल को केवल उस संदर्भ का उपयोग करके टोकन को डीनोइज़ करना सीखने के लिए मजबूर करता है जो कमिटमेंट के समय उपलब्ध होता है, जो सीधे अनुमान-समय के वितरण से मेल खाता है।

• कुशल खोज (Efficient Search): यह सुनिश्चित करने के लिए कि सीमा चयन गणनात्मक रूप से महंगा न हो जाए, वे एक कोर्स-टू-फाइन (coarse-to-fine) खोज रणनीति लागू करते हैं, जो बड़े स्ट्राइड्स पर ब्लॉक बजट को स्कैन करती है और फिर स्थानीय रूप से खोज को परिष्कृत करती है।

3. मुख्य योगदान

1. एक नया सिद्धांत: सेमी-ऑटोरिग्रेसिव डिकोडिंग में ब्लॉक सीमाओं को निर्धारित करने के लिए एक गणितीय मानदंड के रूप में "स्व-निहितता" को औपचारिक रूप दिया।
2. VSB फ्रेमवर्क: एक एकीकृत प्रशिक्षण और डिकोडिंग फ्रेमवर्क पेश किया जो अनुमानी (heuristics) के बजाय अर्थपूर्ण स्थिरता के आधार पर परिवर्तनीय-आकार के ब्लॉक्स का उपयोग करता है।
3. सैद्धांतिक औचितkan (Theoretical Justification): स्व-निहितता विचलन को भविष्यवाणात्मक निरंतरता (predictive consistency) से जोड़ने वाला एक प्रमेय प्रदान किया, जो यह सिद्ध करता है कि कम विचलन भविष्य के संदर्भ को प्रकट करने से होने वाली त्रुटि को सीमित करता है।
4. एल्गोरिद्मिक दक्षता: वास्तविक समय के अनुमान के लिए गतिशील सीमा चयन को व्यावहारिक बनाने हेतु एक कोर्स-टू-फाइन खोज तंत्र विकसित किया।

4. परिणाम

लेखकों ने LLaDA बैकबोन का उपयोग करके कई बेंचमार्क (GSM8K, MATH500, GPQA, HumanEval, MBPP, MMLU, HellaSwag) पर VSB का मूल्यांकन किया।

• बेहतर प्रदर्शन: VSB ने निश्चित-आकार और अनुमानी-आधारित बेसलाइन्स को लगातार पछाड़ दिया। विशेष रूप से, इसने कोड जनरेशन (HumanEval पर 10% तक की वृद्धि) और गणितीय तर्क में महत्वपूर्ण लाभ दिखाया, जहाँ अर्थपूर्ण पूर्णता अत्यंत महत्वपूर्ण है।
• अर्थपूर्ण संरेखण (Semantic Alignment): गुणात्मक केस स्टडीज (चित्र 4 और 8) ने प्रदर्शित किया कि VSB स्वाभाविक रूप से समीकरणों या वाक्यों के बीच में कट नहीं लगाता है, जबकि फिक्स्ड-साइज़ डिकोडिंग अक्सर गणितीय अभिव्यक्तियों को तोड़ देती है, जिससे गलत अंतिम उत्तर आते हैं।
• पश्च-घटना प्रभावकारिता (Post-hoc Efficacy): पुन: प्रशिक्षण के बिना भी, VSB डिकोडिंग रणनीति को किसी पूर्व-प्रशिक्षित मॉडल पर लागू करने से सटीकता में सुधार हुआ, जो यह सिद्ध करता है कि सीमा चयन तंत्र स्वयं अत्यधिक प्रभावी है।

5. महत्व

यह कार्य dLLM डिकोडिंग के प्रतिमान को अनुमानी-संचालित (निश्चित लंबाई/विराम चिह्न) से सामग्री-संचालित (भविष्यवाणी स्थिरता) में बदल देता है। अपरिवर्तनीय प्रतिबद्धता (irreversible commitment) की बाधाओं के साथ अपने प्रशिक्षण उद्देश्य को संरेखित करके, VSB डिस्क्रीट डिफ्यूजन-आधारित लैंग्वेज मॉडलिंग में मौलिक प्रशिक्षण-अनुमान अंतराल के लिए एक मजबूत समाधान प्रदान करता है। यह अधिक कुशल, समानांतर और विश्वसनीय गैर-ऑटोरिग्रेसिव टेक्स्ट जनरेशन का मार्ग प्रशस्त करता है।