💬 NLP

Discrete Stochastic Localization for Non-autoregressive Generation

यह शोध पत्र डिस्क्रीट स्टोकेस्टिक लोकलाइजेशन (DSL) को प्रस्तुत करता है, जो यूनिट-स्फीयर टोकन एम्बेडिंग्स वाला एक निरंतर-अवस्था ढांचा है जो एक एकल प्रशिक्षित नेटवर्क को विविध सैंपलिंग पथों—जिसमें मास्क किया गया डिफ्यूजन, रैंडम-ऑर्डर ऑटोरेग्रेशन, और हाइब्रिड निरंतर-डिस्क्रीट जनरेशन शामिल हैं—को सक्षम बनाता है, जिससे बिना किसी डिस्टिलेशन या पुन: प्रशिक्षण के मानक मास्क किए गए डिस्क्रीट डिफ्यूजन मॉडलों की तुलना में वितरण निष्ठा (distributional faithfulness) में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Discrete Stochastic Localization for Non-autoregressive Generation" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "आंखों पर पट्टी बंधा कलाकार" (The Blindfolded Artist)

कल्पना कीजिए कि आप एक AI को कहानी लिखना सिखाने की कोशिश कर रहे हैं।

पारंपरिक AI (Autoregressive): यह एक बार में एक शब्द लिखने जैसा है। आप पहले "The" लिखते हैं, फिर "cat", फिर "sat"। यह बहुत सावधानी से काम करता है, लेकिन यह धीमा है क्योंकि यह आगे देख नहीं सकता या एक बार शब्द लिख देने के बाद आसानी से अपना विचार नहीं बदल सकता।
पुराना Diffusion AI (Continuous): यह एक ऐसे कैनवास जैसा है जो शोर (static noise) से ढका हुआ है और धीरे-धीरे उसे साफ किया जा रहा है जब तक कि एक चित्र दिखाई न दे। छवियों (images) के लिए, यह बहुत अच्छा काम करता है। लेकिन जब शोधकर्ताओं ने इसे टेक्स्ट के लिए आज़माया, तो उन्होंने शब्दों को धुंधले, निरंतर रंगों (continuous colors) की तरह माना। AI भ्रमित हो गया क्योंकि उसे यह समझ नहीं आ रहा था कि "सफाई" के विभिन्न चरणों में उसे कौन सा विशिष्ट शब्द पहचानने की कोशिश करनी चाहिए। यह एक धुंधले पेंट के धब्बे को देखते हुए एक विशिष्ट शब्द का अनुमान लगाने जैसा था।

परिणाम: "धुंधले पेंट" वाली विधि (continuous diffusion) लिखने के मामले में "एक बार में एक शब्द" वाली विधि से लगातार खराब रही।

समाधान: DSL (Discrete Stochastic Localization)

लेखकों, यूनशू वू (Yunshu Wu) और उनके सहयोगियों ने AI को टेक्स्ट को "साफ करने" का एक नया तरीका विकसित किया है। वे इसे डिस्क्रीट स्टोकेस्टिक लोकलाइजेशन (DSL) कहते हैं।

यहाँ मुख्य विचार को तीन सरल अवधारणाओं में विभाजित किया गया है:

1. "चुंबकीय दिशा-सूचक" (Magnetic Compass) की उपमा

पुराने तरीकों में, AI को एक "टाइमर" की आवश्यकता होती थी ताकि उसे पता चल सके कि चित्र में कितना शोर है। यह एक चित्रकार से पूछने जैसा था, "कितने मिनट बीत चुके हैं? क्या अब नीला रंग जोड़ने का समय है या लाल रंग कम करने का?"

DSL में, लेखकों ने खेल के नियम बदल दिए। उन्होंने हर संभावित शब्द को एक "यूनिट स्फीयर" (एक पूर्ण ग्लोब की कल्पना करें जहाँ हर शब्द उसकी सतह पर एक विशिष्ट बिंदु है) पर रखा।

जादू: उन्होंने सिस्टम को इस तरह डिज़ाइन किया कि इस ग्लोब पर शोर वाले सिग्नल की स्थिति (position) ही AI को वह सब कुछ बता देती है जिसकी उसे आवश्यकता है।
परिणाम: अब AI को टाइमर की आवश्यकता नहीं है। वह बस सिग्नल को देखता है और कहता है, "आह, यह सिग्नल थोड़ा 'cat' की ओर इशारा कर रहा है और थोड़ा 'dog' की ओर। मुझे ठीक पता है कि क्या करना है।" AI समय-निरपेक्ष (time-agnostic) बन जाता है। उसे फर्क नहीं पड़ता कि वह शोर को कब देख रहा है; उसे केवल इससे मतलब है कि शोर कैसा दिख रहा है।

2. "एक मस्तिष्क, कई काम" की उपमा

चूंकि AI को टाइमर की आवश्यकता नहीं है, इसलिए यह अविश्वसनीय रूप से लचीला हो सकता है। एक ऐसे मस्तिष्क की कल्पना करें जो बिना दोबारा प्रशिक्षित (retrain) हुए तीन अलग-अलग काम कर सकता है:

काम A (Masked Refinement): एक प्रूफरीडर की तरह जो खाली स्थानों वाले वाक्य को देखता है, उन्हें भरता है, और फिर गलतियों को सुधारने के लिए वापस जाता है।
काम B (Random Order): एक पहेली सुलझाने वाले की तरह जो वाक्य के आखिरी शब्द को पहले भरता है, फिर पहले शब्द को, फिर बीच के शब्द को, किसी भी रैंडम क्रम में।
काम C (Hybrid): एक स्केच कलाकार की तरह जो पहले पूरी कहानी की एक कच्ची, धुंधली रूपरेखा बनाता है, और फिर तेजी से अंतिम शब्दों को सही जगह पर बैठा देता है।

अतीत में, आपको इन तीन कामों को करने के लिए तीन अलग-अलग AI मॉडल की आवश्यकता होती थी। DSL के साथ, एक ही प्रशिक्षित मॉडल ये सभी काम कर सकता है।

3. "प्रशिक्षण आहार" (Training Diet)

इसे सफल बनाने के लिए, लेखों ने AI को उदाहरणों के एक "मिश्रित आहार" पर प्रशिक्षित किया:

कुछ उदाहरण पूरी तरह से मास्क किए गए (जैसे क्रॉसवर्ड पहेली जिसमें खाली वर्ग हों)।
कुछ उदाहरण आंशिक रूप से शोर वाले (जैसे एक वाक्य जिसमें कुछ शब्द बिगड़े हुए हों)।
कुछ उदाहरण पूरी तरह से साफ।

इस मिश्रण को खिलाकर, मॉडल ने शब्दों की "ज्यामिति" (geometry) को समझना सीखा। उसने सीखा कि एक शोर वाला सिग्नल केवल "शोर" नहीं है; बल्कि वह सही शब्द की ओर इशारा करने वाली एक विशिष्ट दिशा है।

उन्होंने क्या हासिल किया?

पेपर का परीक्षण एक विशाल इंटरनेट टेक्स्ट डेटासेट (OpenWebText) और एक छोटे डेटासेट (Text8) पर किया गया।

बेहतर गुणवत्ता: जब उन्होंने टेक्स्ट जेनरेट करने के लिए DSL का उपयोग किया, तो परिणाम पिछले तरीकों (MAUVE नामक मीट्रिक द्वारा मापा गया) की तुलना में मानव लेखन शैली के प्रति बहुत अधिक वफादार थे।
गति: वे बहुत कम चरणों (केवल 48 चरणों) में उच्च-गुणवत्ता वाला टेक्स्ट जेनरेट कर सके, जबकि अन्य तरीकों को अक्सर सैकड़ों चरणों की आवश्यकता होती है।
बहुमुखी प्रतिभा: उन्होंने सिद्ध किया कि एक ही "चेकपॉइंट" (AI का सहेजा गया मस्तिष्क) बिना दोबारा प्रशिक्षित हुए, शब्द-दर-शब्द लिखने, खाली स्थान भरने या हाइब्रिड दृष्टिकोण अपनाने के बीच स्विच कर सकता है।

निचोड़ (The Bottom Line)

यह पेपर तर्क देता है कि पिछले टेक्स्ट-जेनरेशन AI की समस्या यह नहीं थी कि वे "कंटीन्यूअस" (निरंतर संख्याओं का उपयोग करना) थे, बल्कि यह थी कि वे उन संख्याओं को नेविगेट करने के लिए गलत "मानचित्र" (map) का उपयोग कर रहे थे।

एक ऐसा मानचित्र बदलकर जहाँ सिग्नल स्वयं AI को बताता है कि वह कहाँ है (बजाय एक टाइमर के), उन्होंने एक ऐसा सिस्टम बनाया जो है:

अधिक स्मार्ट: यह शोर और शब्दों के बीच के संबंध को बेहतर समझता है।
तेज़: यह बहुत कम चरणों में टेक्स्ट जेनरेट कर सकता है।
अधिक लचीला: एक ही मॉडल टेक्स्ट जेनरेट करने के कई अलग-अलग तरीकों को संभाल सकता है।

इसे एक ऐसे GPS से अपग्रेड करने के रूप में सोचें जिसे अपनी लोकेशन जानने के लिए आपको समय बताने की आवश्यकता होती है, बनाम एक ऐसे GPS जो सितारों को देखकर ठीक-ठीक बता सकता है कि आप कहाँ हैं, चाहे समय कुछ भी हो।

तकनीकी सारांश: गैर-ऑटोरेग्रेसिव जनरेशन के लिए डिस्क्रीट स्टोकेस्टिक लोकलाइजेशन (Discrete Stochastic Localization)

समस्या विवरण (Problem Statement)

इमेज, वीडियो और ऑडियो में उच्च-आयामी जनरेशन (high-dimensional generation) के लिए निरंतर डिफ्यूजन (continuous diffusion) एक मानक ढांचा बन गया है, फिर भी यह भाषा जनरेशन में मास्क किए गए डिस्क्रीट डिफ्यूजन मॉडल्स (MDMs) से लगातार पीछे रहा है। मौजूदा निरंतर डिफ्यूजन लैंग्वेज मॉडल्स आमतौर पर नॉइजी टोकन एम्बेडिंग्स (noisy token embeddings) पर वेरिएंस-प्रिजर्विंग (VP) या वेरिएंस-एक्सप्लोडिंग (VE) गॉसियन नॉइज़िंग का उपयोग करते हैं। लेखक तर्क देते हैं कि बाधा निरंतरता (continuity) नहीं है, बल्कि प्रतिनिधित्व का चयन (representation choice) है।

मानक निरंतर डिफ्यूजन में, डिनोइजिंग प्रक्रिया एक टाइमस्टेप-इंडेक्स्ड नॉइज़ रिजीम (timestep-indexed noise regime) पर निर्भर करती है। मॉडल को यह समझने के लिए कि नॉइजी एम्बेडिंग में कितना साक्ष्य (evidence) मौजूद है, एक टाइमस्टेप या नॉइज़-लेवल लेबल प्राप्त करना आवश्यक होता है। फलस्वरूप, इस प्रतिनिधित्व में डिनोइज़र (denoisers) मास्क किए गए (शून्य-सूचना) और अनिश्चित (सीमित-SNR) अवस्थाओं के बीच अंतर करने के लिए स्पष्ट टाइम कंडीशनिंग के प्रति अत्यधिक संवेदनशील होते हैं। टाइम कंडीशनिंग पर यह निर्भरता एक एकल नेटवर्क को अलग-अलग सैंपलर-विशिष्ट मॉडल्स या रिट्रेनिंग के बिना विविध इन्फरेंस पाथ्स (जैसे रैंडम-ऑर्डर ऑटोरेग्रेसिव सैंपलिंग या हाइब्रिड कंटीन्यूअस-डिस्क्रीट डिकोडिंग) को स्वाभाविक रूप से सपोर्ट करने से रोकती है।

कार्यप्रणाली: डिस्क्रीट स्टोकेस्टिक लोकलाइजेशन (DSL)

यह शोध पत्र डिस्क्रीट स्टोकेस्टिक लोकलाइजेशन (DSL) पेश करता है, जो एक निरंतर-अवस्था (continuous-state) ढांचा है जिसे नाममात्र सिग्नल-टू-नॉइज़ रेशियो (SNR) के प्रति बेयस-ऑप्टिमल डिनोइज़र को इनवेरिएंट (invariant) बनाने के लिए डिज़ाइन किया गया है।

1. यूनिट-स्फीयर टोकन ज्योमेट्री (Unit-Sphere Token Geometry)

मुख्य नवाचार सभी क्लीन टोकन एम्बेडिंग्स को यूनिट स्फीयर ( $\|x_i\|_2 = 1$ ) पर सीमित करना है। एक स्टोकेस्टिक लोकलाइजेशन चैनल के तहत जहाँ नॉइजी ऑब्जर्वेशन $z_t = t x + \sqrt{t}\epsilon$ है, बेयस पोस्टीरियर फैक्टराइजेशन में एक टर्म $t \|x\|_2^2$ के समानुपाती होता है। चूंकि एम्बेडिंग्स यूनिट-नॉर्म हैं, इसलिए किसी दिए गए लंबाई के वाक्य के लिए $\|x\|_2^2$ स्थिर रहता है। यह टर्म नॉर्मलाइजेशन के दौरान रद्द हो जाता है, जिससे पोस्टीरियर—और इस प्रकार अनुकूलतम डिनोइज़र—नाममात्र SNR $t$ से स्वतंत्र हो जाता है।

अनुकूलतम डिनोइज़र केवल नॉइजी स्टेट $z$ का एक फलन (function) बन जाता है:
$\hat{x}(z) = \mathbb{E}[x | z] = \frac{\mathbb{E}_P[x e^{x \cdot z}]}{\mathbb{E}_P[e^{x \cdot z}]}$
यह एक एकल, टाइम-एग्नोस्टिक (time-agnostic) नेटवर्क को संपूर्ण प्रति-टोकन SNR पाथ्स की फैमिली को सर्व करने की अनुमति देता है।

2. प्रति-टोकन SNR पाथ्स (Per-Token SNR Paths)

चूंकि डिनोइज़र को ग्लोबल टाइमस्टेप की आवश्यकता नहीं होती है, इसलिए DSL प्रत्येक टोकन पोजीशन को अपने स्वयं के मनमाने SNR पाथ $\gamma_i(t)$ के तहत विकसित होने की अनुमति देता है। यह कई इन्फरेंस रणनीतियों को एक ही मॉडल के तहत एकीकृत करता है:

रैंडम-ऑर्डर ऑटोरेग्रेसिव (ROAR): टोकन्स को एक-एक करके प्रकट करना, विशिष्ट $\gamma_i$ को 0 से $\infty$ तक चलाने के अनुरूप है, जबकि अन्य को 0 पर बनाए रखा जाता है।
मास्क्ड रिफाइनमेंट (Masked Refinement): टोकन्स को पुनः मास्क करना, उनके $\gamma_i$ को 0 पर रीसेट करने के अनुरूप है।
कंटीन्यूअस डिफ्यूजन (Continuous Diffusion): सभी $\gamma_i$ को संयुक्त रूप से बढ़ाना, मानक निरंतर डिफ्यूजन के अनुरूप है।

3. ट्रेनिंग ऑब्जेक्टिव और आर्किटेक्चर

इन विविध पाथ्स के लिए एक एकल मॉडल को प्रशिक्षित करने के लिए, DSL एक मिक्सड-सपोर्ट SNR सैंपलिंग (mixed-support SNR sampling) रणनीति का उपयोग करता है:

कंटीन्यूअस ब्रांच: परिमित-SNR अवस्थाओं को कवर करने के लिए लॉग-नॉर्मल डिस्ट्रीब्यूशन से SNRs को सैंपल करती है।
एंडपॉइंट ब्रांच: ROAR-शैली के डिस्ट्रीब्यूशन से सैंपल करती है जो मास्क किए गए ( $\gamma=0$ ) और क्लीन ( $\gamma=\infty$ ) चरम सीमाओं के पास केंद्रित है।

दोनों ब्रांचेस को एक एकल टोकन-लेवल क्रॉस-एन्ट्रॉपी (CE) लॉस का उपयोग करके प्रशिक्षित किया जाता है। लेखक इसे इस आधार पर उचित ठहराते हैं कि कैटेगोरिकल टोकन पोस्टीरियर पर CE को मिनिमाइज़ करना, सटीक पाथ-इंटिग्रल मीन स्क्वेर्ड एरर (MSE) NLL के लिए एक सरोगेट है, जबकि सीधे एम्बेडिंग-स्पेस रिग्रेशन से जुड़ी समस्याओं (जैसे एम्बेडिंग कोलैप्स या मेमोराइजेशन) से बचता है।

आर्किटेक्चर में एक पोस्टीरियर-व्यू कनवर्टर (posterior-view converter) शामिल है जो नॉइजी एम्बेडिंग $z_i$ को एक बाउंडेड मिक्सचर-ऑफ-टोकन्स रिप्रेजेंटेशन $m_i$ में मैप करता है। यह सुनिश्चित करता है कि ट्रांसफॉर्मर बैकबोन के लिए इनपुट स्थिर रहे और वोकैबुलरी के ऊपर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन के रूप में व्याख्या योग्य हो, चाहे SNR स्तर कुछ भी हो।

मुख्य योगदान (Key Contributions)

डिस्क्रीट जनरेशन के लिए एक निरंतर-अवस्था ढांचा: DSL यूनिट-स्फीयर एम्बेडिंग्स पर एक स्टोकेस्टिक-लोकलाइजेशन चैनल पेश करता है जहाँ बेयस-ऑप्टिमल डिनोइज़र केवल नॉइजी स्टेट का एक फलन है, जो स्पष्ट टाइम कंडीशनिंग की आवश्यकता को समाप्त करता है।
एक व्यावहारिक रेसिपी: यह शोध पत्र एक मिक्सड-सपोर्ट SNR सैंपलिंग रणनीति का प्रस्ताव करता है जो एंडपॉइंट (मास्क/रिवील) और परिमित-SNR अवस्थाओं दोनों पर एक एकल डिनोइज़र को प्रशिक्षित करती है, साथ ही एक कनवर्टर भी देती है जो निरंतर पोस्टीरियर ज्योमेट्री को मानक ट्रांसफॉर्मर बैकबोन के साथ जोड़ता है।
पाथ्स के माध्यम से साक्ष्य: लेखक प्रदर्शित करते हैं कि एक एकल DSL चेकपॉइंट रिट्रेनिंग के बिना मास्क रिफाइनमेंट, रैंडम-ऑर्डर ऑटोरेग्रेसिव सैंपलिंग और हाइब्रिड कंटीन्यूअस-देन-डिस्क्रीट सैंपलिंग को सपोर्ट कर सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OpenWebText (OWT) और Text8 पर प्री-ट्रेन्ड MDLM चेकपॉइंट को फाइन-ट्यून करके DSL का मूल्यांकन किया।

OpenWebText जनरेशन: DSL सभी स्टेप बजट ( $T=128$ $T = 128$ से $T=1024$ $T = 1024$ ) में बेसलाइन MDLM की तुलना में वितरण निष्ठा (distributonal faithfulness - MAUVE द्वारा मापित) में काफी सुधार करता है।
- एक मास्कड-रिफाइनमेंट डिकोडर (ReMDM) के साथ, DSL $T=1024$ पर 0.722 का MAUVE प्राप्त करता है, जो पिछले स्टेट-ऑफ-द-आर्ट मेथड्स जैसे PRISM-loop (0.527) और ADLM (0.699) से बेहतर है।
- बिना इटरेटिव रिफाइनमेंट के भी (एक नेटिव ROAR या वैनिला MDLM डिकोडर का उपयोग करके), DSL-फाइन-ट्यून्ड चेकपॉइंट बेसलाइन से काफी बेहतर प्रदर्शन करता है, जो दर्शाता है कि सुधार लर्निंग पोस्टीरियर से आता है न कि केवल सैंपलिंग शेड्यूल से।
हाइब्रिड सैंपलिंग: एक हाइब्रिड सैंपलर जो एक संक्षिप्त निरंतर डिफ्यूजन स्टेज के बाद डिस्क्रीट मास्क रिफाइनमेंट करता है, मात्र 48 कुल स्टेप्स (MAUVE 0.662) में सुसंगत जनरेशन प्राप्त करता है, जो बहुत अधिक स्टेप काउंट वाले नॉन-रिफाइनमेंट बेसलाइन्स से बेहतर है।
Text8 लाइक्लीहुड: Text8 बेंचमार्क पर, DSL $\le 1.45$ का बिट्स पर कैरेक्टर (BPC) प्राप्त करता है। हालांकि यह एक अपर बाउंड (ELBO) है और ऑटोरेग्रेसिव मॉडल्स के सटीक NLL के साथ सीधे तुलना योग्य नहीं है, यह मास्क किए गए डिस्क्रीट डिफ्यूजन मॉडल्स (MDLM $\le 1.40$ ) के रेंज के करीब पहुँचता है और अन्य कंटीन्यूअस डिफ्यूजन बेसलाइन्स (Plaid $\le 1.48$ ) से बेहतर है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि भाषा में निरंतर और डिस्क्रीट डिफ्यूजन के बीच का अंतर निरंतरता की प्रकृति के कारण नहीं है, बल्कि नॉइज़ रिजीम के प्रतिनिधित्व के कारण है। नॉइज़ को इस तरह पैरामीटराइज़ करके कि नॉइजी स्टेट ही क्लीन-टोकन पोस्टीरियर को निर्धारित करे, DSL "एंडपॉइंट रिवीलिंग" व्यवहार को डिफ्यूजन मॉडल्स की "कंटीन्यूअस रिफाइनमेंट" क्षमताओं के साथ एकीकृत करता है।

केंद्रीय दावा यह है कि एंडपॉइंट रिवीलिंग, मास्क रिफाइनमेंट, और कंटीन्यूअस/हाइब्रिड डिनोइजिंग को एक ही पोस्टीरियर एस्टीमेटर द्वारा सर्व किया जा सकता है, न कि अलग-अलग, सैंपलर-विशिष्ट मॉडल्स की आवश्यकता है। यह एक नए गैर-ऑटोरेग्रेसिव जनरेशन प्रतिमान का सुझाव देता है जहाँ इन्फरेंस पाथ (AR, मास्क, या हाइब्रिड) सैंपलिंग के समय गतिशील रूप से निर्धारित होता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका मूल्यांकन OWT और Text8 तक सीमित है, और रिपोर्ट किए गए सैंपलर (ReMDM-फैमिली और हाइब्रिड) पूरी तरह से ऑप्टिमाइज्ड डिकोडिंग पॉलिसी नहीं हैं बल्कि संकल्पना प्रमाण (proofs of concept) हैं जो DSL पोस्टीरियर की लचीलेपन को प्रदर्शित करते हैं। भविष्य के कार्य दिशाओं में ऑप्टिमाइज्ड री-मास्किंग शेड्यूल्स, बड़े मॉडल्स और कंडीशनल जनरेशन शामिल हैं।