💬 NLP

DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling

DiLaDiff एक सिमेंटिक लेटेंट स्पेस, एक लेटेंट डिफ्यूजन प्रायर और कंसिस्टेंसी डिस्टिलेशन का उपयोग करने वाले एक तीन-चरणीय ढांचे को पेश करके डिफ्यूजन लैंग्वेज मॉडल्स में सैंपलिंग गुणवत्ता और थ्रूपुट के बीच के ट्रेड-ऑफ को संबोधित करता है ताकि उच्च-गुणवत्ता वाली, कुछ-चरणों वाली जनरेशन प्राप्त की जा सके जो मास्क डिफ्यूजन बेसलाइन्स से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Jean-Marie Lemercier, Tomas Geffner, Karsten Kreis, Morteza Mardani, Arash Vahdat, Ante Jukić

प्रकाशित 2026-05-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jean-Marie Lemercier, Tomas Geffner, Karsten Kreis, Morteza Mardani, Arash Vahdat, Ante Jukić

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपका एक सख्त नियम है: आप एक बार में केवल एक ही शब्द लिख सकते हैं, और आपको पहले से लिखे गए शब्दों के आधार पर ही अगले शब्द का अनुमान लगाना होगा। यह अधिकांश वर्तमान AI टेक्स्ट जनरेटर (जैसे कि बहुत तेज़, बहुत स्मार्ट ऑटोकम्प्लीट) के काम करने का तरीका है। यह सटीक है, लेकिन यह धीमा है क्योंकि इसे अगले शब्द के लिए हर बार रुकना पड़ता है।

अब, एक अलग दृष्टिकोण वाली "डिफ्यूजन" (diffusion) मॉडल की कल्पना करें। इसे ऐसे समझें जैसे एक मूर्तिकार संगमरमर के एक ब्लॉक से शुरुआत करता है जो पूरी तरह से कोहरे से ढका हुआ है। मूर्तिकार का काम उस कोहरे को धीरे-धीरे हटाकर नीचे छिपी मूर्ति को प्रकट करना है। AI की दुनिया में, यह "कोहरा" यादृच्छिक शोर (random noise) है, और "मूर्ति" टेक्स्ट है।

पुराने मूर्तिकार के साथ समस्या
पेपर बताता है कि जब AI इस "कोहरा हटाने" वाले तरीके का उपयोग टेक्स्ट के लिए करने की कोशिश करता है, तो उसे एक बड़ी बाधा का सामना करना पड़ता है। क्योंकि AI हर शब्द को एक स्वतंत्र अनुमान के रूप में मानता है (जैसे कि वाक्य की संरचना जाने बिना अगले शब्द का अनुमान लगाना), यदि वह एक साथ बहुत अधिक कोहरा हटाने की कोशिश करता है, तो अक्सर वह निरर्थक (gibberish) चीजें बनाता है। अच्छे परिणाम प्राप्त करने के लिए, उसे कोहरे को बहुत धीरे-धीरे, एक-एक करके हटाना पड़ता है। यह प्रक्रिया को अविश्वसनीय रूप से धीमा बना देता है।

समाधान: DiLaDiff (एक "स्मार्ट ब्लूप्रिंट" दृष्टिकोण)
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे DiLaDiff कहा जाता है। इसे समझने के लिए, आइए निर्माण के उदाहरण का उपयोग करें।

ब्लूप्रिंट (द लेटेंट स्पेस): घर (टेक्स्ट) को ईंट-दर-ईंट (शब्द-दर-शब्द) शून्य से बनाने के बजाय, AI पहले एक उच्च-स्तरीय ब्लूप्रिंट बनाता है। यह ब्लूप्रिंट शब्दों से नहीं बना है; यह कहानी के अर्थ और भाव का एक संकुचित, गणितीय सारांश है। यह बड़े स्तर के संबंधों (correlations) को पकड़ता है—जैसे कि यह जानना कि यदि कहानी "तूफान" के बारे में है, तो "बारिश", "हवा" और "अंधेरा" जैसे शब्द एक साथ आने की संभावना है।
- इसे कैसे बनाया गया: उन्होंने एक विशेष "ऑटो-एनकोडर" (एक अनुवादक) को प्रशिक्षित किया जो एक वाक्य को लेता है, उसे इस स्मार्ट ब्लूप्रिंट में संकुचित करता है, और फिर उस ब्लूप्रिंट से वाक्य को फिर से बनाने की कोशिश करता है। उन्होंने यह सुनिश्चित किया कि यह ब्लूप्रिंट "स्मूथ" (सुचारू) और काम करने में आसान हो।
आर्किटेक्ट (लेटेंट डिफ्यूजन): अब, व्यक्तिगत शब्दों से कोहरा हटाने के बजाय, AI ब्लूप्रिंट से कोहरा हटाता है। चूंकि ब्लूप्रिंट अर्थ का एक निरंतर, सुचारू मानचित्र है, इसलिए AI बहुत तेज़ी से और अधिक सटीकता से कोहरा हटा सकता है। यह कुछ ही चरणों में कहानी के सामान्य आकार को समझने के लिए आगे बढ़ सकता है।
बिल्डर (डिस्क्रीट डिकोडर): एक बार जब ब्लूप्रिंट साफ हो जाता है, तो AI इसे एक "बिल्डर" (डिकोडर) को सौंप देता है। बिल्डर ब्लूप्रिंट को देखता है और उसमें वास्तविक ईंटें (विशिष्ट शब्द) भर देता है। क्योंकि ब्लूप्रिंट ने पहले ही बिल्डर को बताया है कि कहानी वास्तव में किस बारे में है, इसलिए बिल्डर को अनुमान लगाने की आवश्यकता नहीं होती। वह बिना किसी गलती के एक साथ कई ईंटें बिछा सकता है।

जादुई ट्रिक: डिस्टिलेशन (एक "स्पीड रन")
ब्लूप्रिंट के साथ भी, कोहरा हटाने में थोड़ा समय लगता है। लेखकों ने डिस्टिलेशन नामक एक अंतिम चरण जोड़ा है।

कल्पना कीजिए कि एक मास्टर आर्किटेक्ट एक आदर्श ब्लूप्रिंट बनाने के लिए 200 कदम लेता है।
लेखकों ने एक छात्र आर्किटेक्ट को प्रशिक्षित किया जिसने मास्टर को देखा और ड्राइंग की औसत दिशा को सीखा।
प्रशिक्षण के बाद, छात्र केवल 5 चरणों में लगभग वैसा ही ब्लूप्रिंट बना सकता है।

पाठक के लिए इसका क्या अर्थ है
पेपर का दावा है कि यह नया सिस्टम, DiLaDiff, दो चीजें हासिल करता है जो पिछले सिस्टम एक साथ अच्छी तरह से नहीं कर सके थे:

गति: यह पिछले सर्वोत्तम तरीकों की तुलना में 7 गुना तेज़ी से टेक्स्ट जेनरेट करता है।
गुणवत्ता: यह टेक्स्ट की गुणवत्ता से समझौता नहीं करता है। वाक्य अर्थपूर्ण होते हैं और प्रवाह बनाए रखते हैं, जैसा कि पुराने "तेज़" तरीकों में होता था जो निरर्थक चीजें पैदा करते थे।

संक्षेप में
पुराने तरीके को हर एक पिक्सेल का अनुमान लगाकर एक उत्कृष्ट कृति (masterpiece) बनाने की कोशिश के रूप में देखें। नया तरीका (DiLaDiff) पहले रचना को सही करने के लिए व्यापक, सुचारू स्ट्रोक के साथ पूरी छवि का स्केच बनाने (लेटेंट ब्लूप्रिंट) और फिर विवरण भरने जैसा है। इस स्केचिंग प्रक्रिया के "डिस्टिल्ड" संस्करण का उपयोग करके, वे उसी उच्च गुणवत्ता के साथ, बहुत कम समय में अंतिम पेंटिंग तैयार कर सकते हैं।

पेपर पूरी तरह से टेक्स्ट को तेज़ी से और बेहतर तरीके से जेनरेट करने के तंत्र पर केंद्रित है। यह दावा नहीं करता है कि इसका उपयोग विशिष्ट चिकित्सा निदान, कानूनी सलाह या अन्य विशेष अनुप्रयोगों के लिए किया जाएगा, बल्कि यह उस बुनियादी इंजन में सुधार करता है कि AI कैसे लिखता है।

तकनीकी सारांश: DiLaDiff: भाषा मॉडलिंग के लिए डिस्टिल्ड लेटेंट-ऑगमेंटेड डिफ्यूजन (DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling)

समस्या विवरण (Problem Statement)
डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) सैंपलिंग गुणवत्ता और थ्रूपुट (throughput) के बीच एक मौलिक ट्रेड-ऑफ का सामना करते हैं। जबकि डिस्क्रीट डिफ्यूजन मॉडल्स (विशेष रूप से मास्कड डिफ्यूजन लैंग्वेज मॉडल्स, या MDLMs) कैटेगोरिकल डेटा के लिए प्रभावी हैं, वे स्वाभाविक रूप से डिकोड किए गए टोकन्स के बीच सहसंबंधों (correlations) को पकड़ने में विफल रहते हैं। यह सीमा इसलिए उत्पन्न होती है क्योंकि डिनोइज़र (denoiser) पोस्टीरियर का अनुमान स्वतंत्र टोकन-वार मार्जिनल्स के उत्पाद के रूप में लगाता है। फलस्वरूप, कई टोकन्स को समानांतर (parallel) में जेनरेट करने से असंगत वाक्य बनते हैं, जिससे अनुक्रमिक पीढ़ी (sequential generation) पर निर्भरता या समानांतरता में कमी आती है, जो थ्रूपुट को गंभीर रूप से सीमित कर देती है। इसके विपरीत, टेक्स्ट रिप्रेजेंटेशन्स (जैसे एम्बेडिंग्स) पर लागू निरंतर (continuous) डिफ्यूजन मॉडल्स सिद्धांत-आधारित सैंपलिंग और डिस्टिलेशन तकनीकें तो प्रदान करते हैं, लेकिन वे अक्सर एक्सप्रेसिविटी-डिकोडेबिलिटी ट्रेड-ऑफ से जूझते हैं, जहाँ कॉन्टेक्स्टुअल रिप्रेजेंटेशन्स को डिस्क्रीट टोकन्स में वापस डिकोड करना कठिन होता है, या वे अपने डिस्क्रीट समकक्षों के प्रदर्शन से मेल खाने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
लेखक DiLaDiff (डिस्टिल्ड लेटेंट-ऑगमेंटेड डिफ्यूजन लैंग्वेज मॉडल) का प्रस्ताव करते हैं, जो एक हाइब्रिड कंटीन्यूअस-डिस्क्रीट फ्रेमवर्क है जिसे टोकन सहसंबंध की समस्या को हल करने और उच्च थ्रूपुट बनाए रखने के लिए डिज़ाइन किया गया है। इस आर्किटेक्चर में तीन प्राथमिक घटक शामिल हैं:

लेटेंट-ऑगमेंटेड ऑटो-एन्कोडर (LaDiff):
- एन्कोडर: एक ट्रांसफॉर्मर-आधारित एन्कोडर ( $E_\phi$ ) कॉन्टेक्स्टुअल रिप्रेजेंटेशन्स (BERT हिडन स्टेट्स से प्राप्त) से एक निरंतर लेटेंट स्पेस ( $z$ ) सीखता है। इस लेटेंट स्पेस को ग्लोबल टोकन सहसंबंधों और सिमेंटिक जानकारी को कैप्चर करने के लिए डिज़ाइन किया गया है।
- डिकोडर: एक डिस्क्रीट डिकोडर ( $x_\theta$ ) जिसे प्री-ट्रेंड MDLM से इनिशियलाइज़ किया गया है। यह लेटेंट वेरिएबल $z$ की स्थिति में (conditioned on) टेक्स्ट टोकन्स जेनरेट करता है।
- ट्रेनिंग: सिस्टम को एक संशोधित एविडेंस लोअर बाउंड (ELBO) का उपयोग करके प्रशिक्षित किया जाता है जो ऑटो-एन्कोडिंग को मास्कड डिफ्यूजन के साथ जोड़ता है। महत्वपूर्ण रूप से, पोस्टीरियर डिस्ट्रीब्यूशन को लेटेंट $z$ की स्थिति में टोकन्स पर फैक्टराइज़ किया जाता है। चूंकि $z$ सहसंबंधों को कैप्चर करता है, इसलिए कंडीशनल इंडिपेंडेंस धारणा (assumption) सही रहती है, जो सटीक समानांतर टोकन जनरेशन की अनुमति देती है।
- रेगुलराइजेशन: लेटेंट स्पेस को जेनेरेटिव मॉडलिंग के लिए बहुत अधिक स्पार्स (sparse) होने से रोकने के लिए, लेखक इसमें कोऑर्डिनेट-वाइज नॉर्मलाइजेशन, फीचर्स और लेटेंट्स का रैंडम मास्किंग, और गॉसियन नॉइज़ इंजेक्शन सहित मजबूती-प्रवर्तक ह्यूरिस्टिक्स (heuristics) का उपयोग करते हैं।
लेटेंट प्रायर लर्निंग (Latent Prior Learning):
- चूंकि इन्फरेंस के समय क्लीन सीक्वेंस उपलब्ध नहीं होता, इसलिए एक कंटीन्यूअस डिफ्यूजन मॉडल (लेटेंट डिनोइज़र $z_\psi$ ) को एन्कोडर के आउटपुट पर प्रायर डिस्ट्रीब्यूशन $p(z)$ सीखने के लिए प्रशिक्षित किया जाता है। यह मॉडल को डिकोडिंग से पहले रिवर्स प्रोबेबिलिटी-फ्लो ODE के माध्यम से एक उच्च-गुणवत्ता वाला लेटेंट $z$ सैंपल करने की अनुमति देता है।
कंसिस्टेंसी डिस्टिलेशन (DiLaDiff):
- कंटीन्यूअस डिफ्यूजन स्टेप के कम्प्यूटेशनल ओवरहेड को और कम करने के लिए, लेखक MeanFlow डिस्टिलेशन लागू करते हैं। एक स्टूडेंट मॉडल ( $u_\eta$ ) को दो टाइम स्टेप्स ( $t$ और $r$ ) के बीच ODE ट्रजेक्टरी के औसत वेग (average velocity) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, न कि इंस्टेंटेनियस वेलोसिटी की।
- यह डिस्टिलेशन लेटेंट $z$ को कुछ ही स्टेप्स (जैसे, 5 स्टेप्स) में जेनरेट करने की अनुमति देता है, जबकि यह टीचर मॉडल (LaDiff) के प्रदर्शन के करीब रहता है जिसे कई स्टेप्स (जैसे, 200 स्टेप्स) की आवश्यकता होती है।

प्रमुख योगदान (Key Contributions)

हाइब्रिड आर्किटेक्चर: यह पेपर एक टेक्स्ट ऑटो-एन्कोडर के प्रशिक्षण की विधि पेश करता है जहाँ डिकोडर को प्री-ट्रेंड डिस्क्रीट डिफ्यूजन बेसलाइन से इनिशियलाइज़ किया गया है। इसके परिणामस्वरूप एक नियंत्रणीय, रेगुलराइज्ड लेटेंट स्पेस प्राप्त होता है जो सिमेंटिक जानकारी और टोकन सहसंबंधों को कैप्चर करता है।
लेटेंट-गाइडेड पैरेललिज्म: कंटीन्यूअस डिफ्यूजन के साथ लेटेंट प्रायर सीखकर, मॉडल (LaDiff) टेक्स्ट क्वालिटी से समझौता किए बिना कई टोकन्स को समानांतर में सैंपल करने में सक्षम बनाता है, क्योंकि लेटेंट उन टोकन डिपेंडेंसीज़ को हल करता है जिन्हें डिस्क्रीट मॉडल्स मिस कर देते हैं।
टेक्स्ट लेटेंट्स के लिए प्रथम सफल ODE डिस्टिलेशन: लेखक DiLaDiff प्रस्तुत करते हैं, जो कॉन्टेक्स्टुअल टेक्स्ट लेटेंट्स के लिए ODE ट्रजेक्टरीज को डिस्टिल करने का पहला सफल प्रयास है। यह लेटेंट जनरेशन लागत को डिस्क्रीट डिकोडिंग लागत की तुलना में नगण्य स्तर तक कम कर देता है।

परिणाम (Results)
OpenWebText डेटासेट पर 1024 टोकन्स की सीक्वेंस लेंथ के साथ प्रयोग किए गए।

बेसलाइन बनाम प्रदर्शन: बिना डिस्टिलेशन के भी, LaDiff मास्कड डिफ्यूजन बेसलाइन (MDLM) से बेहतर प्रदर्शन करता है। अनकंडीशनल जनरेशन में, LaDiff 1024 डिस्क्रीट स्टेप्स वाले MDLM की तुलना में जेनेरेटिव परप्लेक्सिटी (GenPPL) में 28.5 एब्सोल्यूट सुधार और MAUVE में 0.08 एब्सोल्यूट सुधार प्राप्त करता है।
थ्रूपुट: LaDiff, अनुकूलतम MDLM सेटिंग की तुलना में 32 के बैच साइज पर 7× तेजी से इन्फरेंस करता है।
डिस्टिलेशन दक्षता: DiLaDiff केवल 5 लेटेंट डिफ्यूजन स्टेप्स (टीचर के 200 स्टेप्स की तुलना में) का उपयोग करके अपने LaDiff टीचर के करीब प्रदर्शन प्राप्त करता है। लेटेंट डिफ्यूजन घटक का कम्प्यूटेशनल ओवरहेड कुल वॉल-टाइम का लगभग 5% हो जाता है, जिससे लेटेंट जनरेशन की लागत डिस्क्रीट डिकोडिंग लागत की तुलना में नगण्य हो जाती है।
फ्यू-स्टेप जनरेशन: DiLaDiff, डिस्क्रीट डिकोडर को स्पष्ट रूप से डिस्टिल किए बिना, स्टेट-ऑफ-द-आर्ट फ्यू-स्टेप मेथड्स (जैसे MDLM+SDTT और DUO+DCD) का मुकाबला करता है, जो लेटेंट ऑग्मेंटेशन की प्रभावकारिता को प्रदर्शित करता है।
सिमेंटिक डायवर्सिटी: विश्लेषण से पता चलता है कि लेटेंट स्पेस सिमेंटिक जानकारी को सुरक्षित रखता है (नॉइजी लेटेंट्स पर BERTScore के माध्यम से सत्यापित) और विविध जनरेशन की अनुमति देता है, जैसा कि लोअर टेम्परेचर पर भी डिकोडर की एंट्रॉपी बनाए रखने की क्षमता से सिद्ध होता है।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि DiLaDiff निरंतर रिप्रेजेंटेशन्स की एक्सप्रेसिविटी और डिस्क्रीट डिकोडिंग की मजबूती के बीच के अंतर को सफलतापूर्वक पाटता है। एक लेटेंट स्पेस में ग्लोबल सहसंबंधों को कैप्चर करके, मॉडल डिस्क्रीट डिफ्यूजन मॉडल्स की समानांतर टोकन जनरेशन के संबंध में अंतर्निहित सीमा को दूर करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण काफी कम इन्फरेंस लेटेंसी के साथ उच्च-गुणवत्ता वाला टेक्स्ट जनरेशन सक्षम करता है।

पेपर अपनी सीमाओं के संबंध में विनम्र बना हुआ है:

DiLaDiff अभी भी फ्यू-स्टेप रिजीम में अपने टीचर मॉडल (LaDiff) के प्रदर्शन से पूरी तरह मेल नहीं खाता है, जो सुझाव देता है कि डिस्टिलेशन पर और कार्य की आवश्यकता है।
स्वयं डिस्क्रीट डिकोडर को डिस्टिल नहीं किया गया है; लेखक नोट करते हैं कि वास्तविक स्टेट-ऑफ-द-आर्ट फ्यू-स्टेप प्रदर्शन प्राप्त करने के लिए उनके लेटेंट डिस्टिलेशन को डिस्क्रीट डिकोडर डिस्टिलेशन के साथ जोड़ना एक स्वाभाविक भविष्य का विस्तार है।
रेगुलराइजेशन रणनीतियाँ और डिफ्यूजन शेड्यूल डिज़ाइन वर्तमान में ह्यूरिस्टिक हैं, हालांकि लेखक परिशिष्टों (appendices) में एक अधिक सिद्धांत-आधारित प्रयास प्रस्तुत करते हैं।

संक्षेप में, DiLaDiff यह प्रदर्शित करता है कि एक हाइब्रिड कंटीन्यूअस-डिस्क्रीट दृष्टिकोण, जिसे लेटेंट डिस्टिलेशन द्वारा संवर्धित किया गया है, जनरेशन की गुणवत्ता में सुधार करते हुए भाषा मॉडलिंग इन्फरेंस को महत्वपूर्ण रूप से तेज कर सकता है, जिससे वर्तमान डिफ्यूजन लैंग्वेज मॉडल्स में निहित थ्रूपुट-क्वालिटी ट्रेड-ऑफ को प्रभावी ढंग से हल किया जा सकता है।

तकनीकी सारांश: DiLaDiff: भाषा मॉडलिंग के लिए डिस्टिल्ड लेटेंट-ऑगमेंटेड डिफ्यूजन (DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling)

इसी तरह के और पेपर