💬 NLP

Dynamic Chunking for Diffusion Language Models

यह शोध पत्र डायनेमिक चंकिंग डिफ्यूजन मॉडल (DCDM) को प्रस्तुत करता है, जो डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स की दक्षता और प्रदर्शन में सुधार करने के लिए एक डिफरेंशिएबल चंकिंग अटेंशन मैकेनिज्म के माध्यम से कठोर पोजीशनल ब्लॉक्स को सीखने योग्य, कंटेंट-डिफाइंड सिमेंटिक चंक्स से बदल देता है।

मूल लेखक: Yichen Zhu, Xiaoming Shi, Peng Zhao, Weiyu Chen, Debing Zhang, James Kwok

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yichen Zhu, Xiaoming Shi, Peng Zhao, Weiyu Chen, Debing Zhang, James Kwok

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं, और इसके लिए आप उसे एक-एक करके गायब शब्दों का अनुमान लगाने के लिए कह रहे हैं। "डिफ्यूजन लैंग्वेज मॉडल्स" (Diffusion Language Models) इसी तरह काम करते हैं: वे एक वाक्य से शुरू करते हैं जो पूरी तरह से निरर्थक (gibberish) होता है और धीरे-धीरे उसे साफ करते हैं जब तक कि वह समझ में आने योग्य न बन जाए।

वर्तमान में इस काम को करने के सबसे अच्छे तरीके (जिसे ब्लॉक डिफ्यूजन कहा जाता है) के साथ एक समस्या है: यह एक फिल्म को निश्चित लंबाई की पट्टियों में काटने जैसा है, चाहे दृश्य में कुछ भी हो रहा हो।

पुराना तरीका (फिक्स्ड ब्लॉक्स): कल्पना कीजिए कि आपके पास कार चेज़ (कार पीछा करने) का 10 सेकंड का क्लिप है। रोबोट फिल्म को हर 2 सेकंड में काटता है।
- समस्या: यह ठीक उस महत्वपूर्ण क्षण पर कट लगा सकता है जहाँ विस्फोट हो रहा है, जिससे "धमाके" को "आग" से अलग कर दिया जाता है। या, यह एक शांत बातचीत को एक तेज़ धमाके के साथ जोड़ सकता है क्योंकि वे ही बस उसी 2-सेकंड की विंडो में आ गए थे। रोबोट को विस्फोट और बातचीत का अलग-अलग अनुमान लगाना होगा, भले ही वे आपस में गहराई से जुड़े हों। यह कठोर है और कहानी के वास्तविक प्रवाह की अनदेखी करता है।

इस शोध पत्र के लेखक एक नई विधि प्रस्तावित करते हैं जिसे DCDM (डायनेमिक चंकिंग डिफ्यूजन मॉडल) कहा जाता है। समय के आधार पर फिल्म काटने के बजाय, यह अर्थ के आधार पर फिल्म को काटता है।

मुख्य विचार: "स्मार्ट कैंची"

DCDM को "स्मार्ट कैंची" के रूप में सोचें जो कहानी को देख सकती है और समय के बजाय कथानक (plot) के आधार पर तय कर सकती है कि कहाँ से काटना है।

यदि कहानी एक कार चेज़ के बारे में है, तो रोबोट "कार", "गति" और "टक्कर" जैसे सभी शब्दों को एक क्लस्टर में समूहित करता है, भले ही वे वाक्य में दूर-दूर हों।
यदि कहानी एक शांत बातचीत में बदल जाती है, तो यह उन शब्दों को एक साथ रखता है।
ये समूह (जिन्हें चंक्स/chunks कहा जाता है) अलग-अलग आकार के हो सकते हैं और उन्हें मूल टेक्स्ट में एक-दूसरे के बगल में होना ज़रूरी नहीं है।

यह कैसे काम करता है: "क्लब" का उदाहरण

रोबोट के मस्तिष्क के भीतर, एक विशेष परत है जिसे चंकिंग अटेंशन (Chunking Attention) कहा जाता है। इसे $K$ अलग-अलग वीआईपी कमरों (क्लस्टर्स) वाले क्लब के बाउंसर के रूप में कल्पना करें।

बाउंसर का नियम: लोगों को उनके आने के क्रम (पोजीशन) के आधार पर अंदर जाने देने के बजाय, बाउंसर यह देखता है कि उन्होंने क्या पहना है (उनका अर्थ)।
सबस्पेस ट्रिक (Subspace Trick): शोध पत्र में एक तकनीकी विवरण का उल्लेख है जिसे "सबस्पेस क्लस्टरिंग" कहा जाता है। सरल शब्दों में, प्रत्येक कमरे का एक एकल "चेहरा" होने के बजाय (जो बहुत कठोर है और आसानी से टूट जाता है), प्रत्येक कमरा एक शैली या वाइब (एक लो-डायमेंशनल सबस्पेस) द्वारा परिभाषित होता है।
- उदाहरण: एक "रॉक" कमरा केवल एक विशिष्ट चेहरे वाले लोगों के लिए नहीं है; यह उन सभी के लिए है जो "रॉक वाइब" में फिट बैठते हैं। यह सिस्टम को बहुत अधिक लचीला और स्थिर बनाता है, जिससे रोबोट भ्रमित होकर सबको केवल एक ही कमरे में डालने से बच जाता है।
परिणाम: रोबोट एक "कॉज़ल मास्क" (causal mask) बनाता है। वह कहता है, "ठीक है, मैं 'कार चेज़' वाले कमरे के सभी शब्दों को एक साथ ठीक करूँगा, लेकिन मैं अभी 'डिनर कन्वर्सेशन' वाले कमरे को नहीं देख सकता क्योंकि वह कहानी में बाद में आता है।"

यह बेहतर क्यों है?

इस पेपर ने "फिक्स्ड ब्लॉक" पद्धति और "नो ब्लॉक्स" पद्धति के मुकाबले इसका परीक्षण किया।

बेहतर समझ: क्योंकि रोबोट संबंधित विचारों को एक साथ समूहित करता है, वह तेज़ी से सीखता है और कम गलतियाँ करता है। यह परीक्षा के लिए पढ़ाई करने जैसा है—जैसे संबंधित अवधारणाओं (उदाहरण के लिए, रोम का पूरा इतिहास) को एक साथ समूहबद्ध करना, बजाय इसके कि आप पेज 1, फिर पेज 2, फिर पेज 3 पढ़ें, भले ही पेज 2 किसी बिल्कुल अलग विषय के बारे में हो।
तेज़ प्रशिक्षण: रोबोट कम प्रशिक्षण चरणों में उच्च स्तर का कौशल प्राप्त कर लेता है।
निरंतर जीत: चाहे रोबोट छोटा हो (0.5 बिलियन पैरामीटर्स) या बड़ा (1.5 बिलियन पैरामीटर्स), यह "स्मार्ट कटिंग" विधि गणित, कोडिंग और सामान्य तर्क जैसे कार्यों में पुराने तरीकों से लगातार बेहतर रही।

कमी (सीमाएँ)

पेपर में एक सीमा का उल्लेख किया गया है: "वीआईपी कमरों" (चंक्स) की संख्या रोबोट के सीखना शुरू करने से पहले ही तय कर दी जाती है।

उदाहरण: यह ठीक 16 डेस्क वाले क्लासरूम की तरह है। यदि आपके पास 5 छात्र हैं, तो 11 डेस्क खाली रहेंगे। यदि आपके पास 20 छात्र हैं, तो 4 को खड़ा रहना पड़ेगा। रोबोट स्वचालित रूप से अधिक डेस्क नहीं जोड़ता यदि कहानी बहुत लंबी या जटिल हो जाती है; वह उसी संख्या पर टिका रहता है जो उसे दी गई थी। हालाँकि, लेखकों ने पाया कि एक उचित संख्या (जैसे 16 या 32) चुनना लगभग हर चीज़ के लिए अच्छा काम करता है।

सारांश

यह पेपर एआई टेक्स्ट जनरेटर्स को स्मार्ट बनाने का एक तरीका पेश करता है, जिससे वे केवल वाक्य में उनकी स्थिति के बजाय अर्थ के आधार पर शब्दों को समूहित कर सकते हैं। यह लाइब्रेरी को ट्रक पर आने वाले क्रम के आधार पर व्यवस्थित करने के बजाय उनके जॉनर (genre) और विषय के आधार पर व्यवस्थित करने के बीच का अंतर है। इसका परिणाम यह है कि एक मॉडल संदर्भ को बेहतर समझता है, तेज़ी से सीखता है और अधिक सुसंगत टेक्स्ट लिखता है।

तकनीकी सारांश: डिफ्यूजन लैंग्वेज मॉडल्स के लिए डायनेमिक चंकिंग (Dynamic Chunking)

1. समस्या विवरण (Problem Statement)

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) टेक्स्ट जनरेशन के लिए एक प्रतिस्पर्धी प्रतिमान (paradigm) के रूप में उभरे हैं, जो कई टोकन को समानांतर (parallel) रूप से डिकोड करने की क्षमता प्रदान करते हैं। स्केलेबल dLLMs के लिए एक प्रमुख डिज़ाइन ब्लॉक डिफ्यूजन (Block Diffusion) है, जो एक अनुक्रम (sequence) को निश्चित-आकार के, निरंतर पोजीशनल ब्लॉक्स (contiguous positional blocks) पर ऑटोरिग्रेसिवली (autoregressively) फैक्टराइज़ करता है। प्रत्येक ब्लॉक के भीतर, टोकन को द्विदिश (bidirectionally) और समानांतर रूप से डीनोइज़ किया जाता है, जबकि ब्लॉक्स के बीच की निर्भरता को ऑटोरिग्रेसिव तरीके से बनाए रखा जाता है।

लेखक तर्क देते हैं कि यह कठोर पोजीशनल पार्टिशनिंग (positional partitioning) भाषा के लिए एक सीमित एब्स्ट्रैक्शन है। सिमेंटिक (semantic) निर्भरताएं अक्सर स्थानीय निरंतरता (local contiguity) के साथ संरेखित नहीं होती हैं; उदाहरण के लिए, एक एंटिटी दूर स्थित उल्लेखों (mentions) को नियंत्रित कर सकती है, या एक कोड टोकन सिंटैक्स लाइनों से दूर स्थित हो सकता है। फिक्स्ड पोजीशनल ब्लॉक्स सिमेंटिक रूप से सुसंगत टोकनों को अलग कर सकते हैं (उन्हें ब्लॉक सीमाओं के पार विभाजित कर सकते हैं) जबकि असंबंधित पड़ोसी टोकनों को एक साथ समूहबद्ध कर सकते हैं। यह बेमेल (mismatch) मॉडल को ब्लॉक-ऑटोरिग्रेसिव फैक्टराइजेशन को उस सूक्ष्मता (granularity) पर लागू करने के लिए मजबूर करता है जो अनुक्रम की सिमेंटिक संरचना को प्रतिबिंबित नहीं करती है, जिससे डेटा में पहले से मौजूद संरचनात्मक जानकारी का संभावित रूप से नुकसान हो सकता है।

2. कार्यप्रणाली: डायनेमिक चंकिंग डिफ्यूजन मॉडल (DCDM)

इस बेमेल को संबोधित करने के लिए, पेपर डायनेमिक चंकिंग डिफ्यूजन मॉडल (DCDM) का प्रस्ताव करता है। DCDM फिक्स्ड पोजीशनल ब्लॉक्स को कंटेंट-डिफाइंड सिमेंटिक चंक्स (content-defined semantic chunks) से बदल देता है जो एंड-टू-एंड सीखे जाते हैं।

मुख्य घटक: चंकिंग अटेंशन (Chunking Attention)

मुख्य नवाचार एक डिफरेंशिएबल रूटिंग लेयर है जिसे चंकिंग अटेंशन कहा जाता है, जो टोकनों को उनके पोजीशनल स्थान के बजाय उनकी सिमेंटिक रिप्रजेंटेशन के आधार पर $K$ समूहों में क्लस्टर करता है।

सबस्पेस क्लस्टरिंग (Subspace Clustering): एकल पॉइंट सेंट्रॉइड (single point centroid) से दूरी के आधार पर टोकन को क्लस्टर्स में असाइन करने के बजाय (जो उच्च-आयामी स्थानों में अस्थिर होता है), DCDM प्रत्येक चंक को एक सीखने योग्य निम्न-आयामी सबस्पेस (learnable low-dimensional subspace) के रूप में दर्शाता है। प्रत्येक क्लस्टर $k$ को एक बेसिस मैट्रिक्स $\mu_k \in \mathbb{R}^{d \times h}$ द्वारा पैरामीटराइज किया जाता है।
रूटिंग मैकेनिज्म (Routing Mechanism): टोकन को उनके संबंधित सबस्पेस के साथ संरेखण (alignment/projection) के आधार पर एक क्लस्टर में रूट किया जाता है। एक टोकन $x_\ell$ और क्लस्टर $k$ के बीच की एफिनिटी (affinity) एक बिलिनियर गेट के माध्यम से कंप्यूट की जाती है: $p_{k,\ell} = \mu_k^\top x_\ell$ ।
सॉफ्ट बनाम हार्ड रूटिंग (Soft vs. Hard Routing):
- सॉफ्ट पाथ (Soft Path): मॉड्यूल पेयरवाइज एफिनिटी मैट्रिसेस कंप्यूट करता है और उन्हें सॉफ्टमैक्स के माध्यम से एग्रीगेट करता है ताकि एक डिफरेंशिएबल आउटपुट प्राप्त हो सके। यह पथ सुनिश्चित करता है कि सबस्पेस पैरामीटर्स $\{\mu_k\}$ को डिफ्यूजन ऑब्जेक्टिव से ग्रेडिएंट्स मिल सकें।
- हार्ड पाथ (Hard Path): वास्तविक डीनोइजिंग प्रक्रिया के लिए, एक हार्ड क्लस्टर असाइनमेंट $c_\ell$ निकाला जाता है ( $\arg\max$ के माध्यम से)। यह एक चंक-कॉज़ल अटेंशन मास्क (chunk-causal attention mask) प्रेरित करता है जहाँ एक ही चंक के भीतर के टोकन एक-दूसरे को द्विदिश रूप से देख सकते हैं, लेकिन बाद के चंक्स के टोकन पहले के चंक्स को नहीं देख सकते (या इसके विपरीत, विशिष्ट कॉज़ल परिभाषा के आधार पर, विशेष रूप से $c_m \leq c_\ell$ )।

ट्रेनिंग और आर्किटेक्चर

फैक्टराइजेशन (Factorization): अनुक्रम की संभावना (likelihood) इन डायनेमिक चंक्स पर ऑटोरिग्रेसिव रूप से फैक्टराइज़ की जाती है: $p_\theta(x) = \prod_{k=1}^K p_\theta(x^{(k)} | x^{(<k)})$ , जहाँ $x^{(k)}$ $k$ -वें सिमेंटिक चंक के टोकन को दर्शाता है।
डुअल-स्ट्रीम डिज़ाइन (Dual-Stream Design): ट्रेनिंग के दौरान सूचना के रिसाव (information leakage) को रोकने के लिए (जहाँ इनपुट का 'क्लीन' हिस्सा 'नॉइजी' हिस्से को ग्राउंड ट्रुथ प्रकट कर सकता है), DCDM एक नॉइज़ मास्क का उपयोग करता है। यह मास्क सुनिश्चित करता है कि नॉइजी स्ट्रीम में मास्क किए गए टोकन के स्थान, क्लीन स्ट्रीम के अन्य मास्क किए गए स्थानों के ग्राउंड-ट्रुथ मानों को नहीं देख सकते।
लोड बैलेंसिंग (Load Balancing): "सेंट्रॉइड कोलैप्स" (जहाँ कुछ क्लस्टर्स हावी हो जाते हैं और अन्य को कोई ग्रेडिएंट सिग्नल नहीं मिलता) को रोकने के लिए, लेखक दो तंत्र लागू करते हैं:
1. प्रति-अनुक्रम सहायक लॉस (Per-sequence auxiliary loss): एक स्ट्रैथ-थ्रू गम्बल-सॉफ्टमैक्स (Gumbel-Softmax) एस्टीमेटर का उपयोग करके सिंगल सीक्वेंस के भीतर क्लस्टर्स में यूनिफॉर्म टोकन डिस्ट्रीब्यूशन को प्रोत्साहित करता है।
2. ग्लोबल-बैच बायस करेक्शन (Global-batch bias correction): एक नॉन-ट्रेनेबल बायस टर्म पूरे बैच में क्लस्टर प्रति टोकन काउंट के आधार पर रूटिंग स्कोर को एडजस्ट करता है, जिससे ट्रेनिंग स्टेप्स के दौरान लोड स्थिर रहता है।

3. मुख्य योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

चंकिंग अटेंशन: एक सबस्पेस-आधारित डिफरेंशिएबल रूटिंग मैकेनिज्म जो सिमेंटिक चंक-कॉज़ल मास्क प्रेरित करता है, जो फिक्स्ड पोजीशनल पार्टिशन के स्थान पर कंटेंट-एडेप्टिव पार्टिशन लाता है।
DCDM आर्किटेक्चर: एक डिफ्यूजन लैंग्वेज मॉडल जो ब्लॉक डिफ्यूजन लैंग्वेज मॉडल्स (BDLMs) का सख्त सामान्यीकरण (strict generalization) है। यह चंकिंग मैकेनिज्म और डीनोइज़र को डिफ्यूजन ऑब्जेक्टिव के तहत संयुक्त रूप से प्रशिक्षित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रमाण कि 0.5B और 1.5B पैरामीटर स्केल पर जनरल रीजनिंग, गणित और कोड जनरेशन कार्यों में अनस्ट्रक्चर्ड डिफ्यूजन (MDLM) और पोजीशनल-ब्लॉक डिफ्यूजन (BDLM) दोनों की तुलना में सिमेंटिक चंकिंग बेहतर प्रदर्शन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मानक बेंचमार्क (ARC-C, MMLU, HellaSwag, TruthfulQA, WinoGrande, PIQA, MATH, GSM8K, HumanEval) पर MDLM, BDLM और इन्फरेंस-टाइम एडेप्टिव AdaBlock जैसे बेसलाइन्स के विरुद्ध DCDM का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): DCDM ने लगभग सभी बेंचमार्क पर अनस्ट्रक्चर्ड MDLM बेसलाइन से लगातार बेहतर प्रदर्शन किया। इससे भी महत्वपूर्ण बात यह है कि इसने लगभग सभी कार्यों पर पोजीशनल-ब्लॉक BDLM बेसलाइन को भी पछाड़ दिया, जो यह दर्शाता है कि सुधार केवल ब्लॉक स्ट्रक्चर के कारण नहीं बल्कि कंटेंट-एडेप्टिव प्रकृति के कारण है।
- HellaSwag, GSM8K और PIQA में उल्लेखनीय लाभ देखे गए।
- एकमात्र अपवाद WinoGrande था, जहाँ BDLM ने DCDM से थोड़ा बेहतर प्रदर्शन किया।
स्केलिंग और दक्षता (Scaling and Efficiency):
- बेसलाइन्स की तुलना में DCDM का लाभ विभिन्न स्केल्स (0.5B से 1.5B) में स्थिर रहा।
- ट्रेनिंग डायनेमिक्स ने दिखाया कि DCDM, BDLM की तुलना में तेजी से कन्वर्ज (converge) होता है, जिससे यह दूसरे की अंतिम सटीकता तक बहुत पहले पहुँच जाता है। लेखक इसका श्रेय इस बात को देते हैं कि ग्रेडिएंट सिग्नल असंबंधित पोजीशंस में फैलने के बजाय सुसंगत (coherent) विदिन-ब्लॉक डिपेंडेंसीज पर केंद्रित होता है।
एब्लेशन स्टडीज (Ablation Studies):
- क्लस्टर काउंट ( $K$ ): क्लस्टर्स की संख्या पर एक एब्लेशन ने एक नॉन-मोनोटोनिक ट्रेंड दिखाया, जहाँ 0.5B स्केल पर $K=16$ सबसे अच्छा प्रदर्शन करता है। बहुत कम क्लस्टर्स अनस्ट्रक्चर्ड डिफ्यूजन के करीब थे, जबकि बहुत अधिक क्लस्टर्स ओवर-फ्रैगमेंटेशन की ओर ले गए।
- सबस्पेस बनाम पॉइंट क्लस्टरिंग: प्रयोगों ने पुष्टि की कि पॉइंट-आधारित क्लस्टरिंग ( $h=1$ ) अस्थिर है और सेंट्रॉइड कोलैप्स की ओर ले जाती है, जबकि सबस्पेस क्लस्टरिंग ( $h=48$ ) संतुलित रूटिंग और कम लॉस बनाए रखती है।
- MoE एक्सटेंशन: एक स्पार्स DCDM वेरिएंट (MoE) ने घने (dense) संस्करण की तुलना में निरंतर सुधार दिखाया, जो सुझाव देता है कि सिमेंटिक चंक स्ट्रक्चर कंडीशनल कंप्यूटेशन के साथ अच्छी तरह से कंपोज होता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DCDM, ब्लॉक डिस्क्रीट डिफ्यूजन का एक सख्त सामान्यीकरण (strict generalization) है। फिक्स्ड पोजीशनल ब्लॉक्स को सीखे गए सिमेंटिक चंक्स से बदलकर, मॉडल अनुक्रम के कंटेंट के अनुसार समानांतर डीनोइजिंग की यूनिट को अनुकूलित करता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण बिना ब्लॉक स्ट्रक्चर वाले अनस्ट्रक्चर्ड डिफ्यूजन (MDLM) और कठोर ब्लॉक स्ट्रक्चर (BDLM) दोनों की तुलना में एक स्पष्ट इंडक्टिव एडवांटेज (inductive advantage) प्रदान करता है। परिणाम बताते हैं कि ब्लॉक डिफ्यूजन को कंटेंट-एडेप्टिव ग्रैनुलैरिटी से काफी लाभ होता है। यह विधि बिना किसी महत्वपूर्ण पैरामीटर ओवरहेड (केवल $Kdh + 2d^2$ पैरामीटर जोड़कर) के ये लाभ प्राप्त करती है और ब्लॉक डिफ्यूजन की कम्प्यूटेशनल संरचना (KV कैशिंग, पैरेलल सैंपलिंग) को बनाए रखती है।

पेपर निष्कर्ष निकालता है कि हालांकि DCDM वर्तमान में क्लस्टर्स की संख्या $K$ को एक फिक्स्ड हाइपरपैरामीटर के रूप में मानता है, फिर भी यह ढांचा सफलतापूर्वक प्रदर्शित करता है कि डिफ्यूजन लैंग्वेज मॉडल्स के लिए पोजीशनल पार्टिशनिंग के बजाय सिमेंटिक कंटेंट के आधार पर अनुक्रमों के विभाजन को सीखना एक व्यवहार्य और बेहतर विकल्प है।