💬 NLP

CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language

CRoCoDiL एक एकीकृत फाइन-ट्यूनिंग फ्रेमवर्क है जो मास्क किए गए डिफ्यूजन मॉडल्स को निरंतर वाक्य-स्तरीय सिमेंटिक रिप्रजेंटेशन के माध्यम से डीमास्किंग प्रक्रिया को सुदृढ़ बनाकर बेहतर बनाता है, जिससे मौजूदा तरीकों की तुलना में उत्कृष्ट टेक्स्ट जनरेशन गुणवत्ता और 10 गुना से अधिक तेज़ सैंपलिंग गति प्राप्त होती है।

मूल लेखक: Roy Uziel, Omer Belhasin, Itay Levi, Akhiad Bercovich, Ran El-Yaniv, Ran Zilberstein, Michael Elad

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Roy Uziel, Omer Belhasin, Itay Levi, Akhiad Bercovich, Ran El-Yaniv, Ran Zilberstein, Michael Elad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपके पास एक बहुत ही सख्त, पुराने जमाने का नियम है: आप एक बार में केवल एक ही शब्द लिख सकते हैं, और एक बार लिखने के बाद, आप उसे कभी बदल नहीं सकते। यह अधिकांश वर्तमान AI लेखकों (जिन्हें "ऑटोरेग्रेसिव मॉडल" कहा जाता है) के काम करने का तरीका है। वे एक एकल पटरी पर चलने वाले ट्रेन की तरह हैं: एक बार जब पहला डिब्बा स्टेशन छोड़ देता है, तो बाकी को एक कठोर रेखा में पीछे आना ही पड़ता है। यदि ट्रेन जल्दी ही पटरी से उतर जाती है या फंस जाती है, तो पूरी कहानी खराब हो जाती है।

हाल ही में, वैज्ञानिकों ने एक नया दृष्टिकोण अपनाया जिसे मास्क्ड डिफ्यूजन मॉडल्स (MDMs) कहा जाता है। शब्द-दर-शब्द लिखने के बजाय, कल्पना कीजिए कि आप प्रश्न चिह्नों (? ? ? ? ?) से भरे एक खाली पन्ने के साथ शुरुआत करते हैं और एक साथ शब्दों का अनुमान लगाने की कोशिश करते हैं। यह एक क्रॉसवर्ड पहेली को एक साथ भरने की तरह बहुत तेज़ है।

लेकिन यहाँ एक समस्या है:
क्योंकि AI स्वतंत्र रूप से शब्दों का अनुमान लगाता है, इसलिए यह अक्सर "बड़ी तस्वीर" (big picture) को खो देता है। यह "बिल्ली भौंकती है" या " कुत्ता म्याऊं करता है" जैसा कुछ लिख सकता है। यह व्यक्तिगत शब्दों को सही कर देता है, लेकिन वाक्य का कोई अर्थ नहीं निकलता क्योंकि यह नहीं समझ पाता कि शब्द एक-दूसरे पर कैसे निर्भर हैं। यह एक ऐसे चित्रकार की तरह है जो जानता है कि नीला रंग क्या है और हरा रंग क्या है, लेकिन जब वे जंगल बनाने की कोशिश करते हैं, तो पेड़ तैरते हुए धब्बों जैसे दिखते हैं क्योंकि उन्होंने पहले रचना (composition) की योजना नहीं बनाई थी।

CRoCoDiL से मिलिए: "आर्किटेक्ट और मेसन" (वास्तुकार और राजमिस्त्री)

लेखकों ने एक नया सिस्टम प्रस्तावित किया है जिसे CRoCoDiL (कंटीन्यूअस एंड रोबस्ट कंडीशनड डिफ्यूजन फॉर लैंग्वेज) कहा जाता है। वे "बड़ी तस्वीर खोने" की समस्या को दो अलग-अलग भूमिकाओं में विभाजित करके हल करते हैं: द आर्किटेक्ट (आर्किटेक्ट) और द मेसन (मेसन)।

1. द आर्किटेक्ट (निरंतर स्थान/The Continuous Space)

सबसे पहले, AI सीधे शब्दों पर नहीं कूदता है। इसके बजाय, यह एक आर्किटेक्ट की तरह कार्य करता है जो पूरी कहानी का एक कच्चा, निरंतर स्केच बनाता है।

इस स्केच को शब्दों के रूप में नहीं, बल्कि एक मूड बोर्ड या ब्लूप्रिंट के रूप में सोचें। यह वाक्य के मिजाज, कथानक और प्रवाह को एक साथ पकड़ता है।
गणितीय शब्दों में, यह एक "कंटीन्यूअस लेटेंट रिप्रेजेंटेशन" है। यह इस बात का एक सहज, तरल विचार है कि टेक्स्ट वास्तव में कैसा होना चाहिए, बिना अभी विशिष्ट अक्षरों में फंसे।
क्योंकि यह स्केच एक सुचारू, निरंतर स्थान (जैसे एक पेंटिंग) में बनाया गया है, AI विशिष्ट शब्दों की चिंता करने से पहले आसानी से यह सुनिश्चित कर सकता है कि पूरी कहानी समझ में आए।

2. द मेसन (विच्छिन्न शब्द/The Discrete Words)

एक बार जब आर्किटेक्ट ब्लूप्रिंट तैयार कर लेता है, तो मेसन (मूल मास्क्ड डिफ्यूजन मॉडल) वास्तविक दीवार बनाने के लिए आता है।

मेसन उस ब्लूप्रिंट को देखता है और वास्तविक ईंटों (शब्दों) को भरता है।
क्योंकि मेसन के पास पालन करने के लिए एक सटीक ब्लूप्रिंट है, उसे अंधेरे में अनुमान लगाने की आवश्यकता नहीं होती। वह एक साथ कई ईंटें रख सकता है (पैरेलल सैंपलिंग) क्योंकि ब्लूप्रिंट उसे बताता है कि वे कहाँ फिट बैठती हैं।
इसका मतलब है कि मेसन पहले की तुलना में 10 गुना तेजी से काम कर सकता है, और परिणाम एक ऐसी दीवार होती है जो मजबूत भी है और सुंदर भी।

दो निर्माण विधियाँ

पेपर इस आर्किटेक्ट-मेसन टीम का उपयोग करने के दो तरीके पेश करता है:

विधि A: "पहले स्केच, फिर निर्माण" (ConThenDisc)
आर्किटेक्ट शून्य से शुरू करके पूरा ब्लूप्रिंट बनाता है (जैसे किसी कहानी की कल्पना करना)। फिर, मेसन उस ब्लूप्रट को पढ़ता है और पूरा टेक्स्ट बनाता है। यह तेज़ और रचनात्मक है।
विधि B: "स्केच, निर्माण और परिशोधन" (ConWithinDisc)
यह और भी स्मार्ट है। आर्किटेक्ट एक मोटा स्केच बनाता है। मेसन निर्माण शुरू करता है। लेकिन बीच में, मेसन रुकता है, आधी बनी हुई दीवार को देखता है, और आर्किटेक्ट से पूछता है: "हे, जो मैंने अब तक बनाया है, उसे देखते हुए, क्या आप ब्लूप्रिंट में थोड़ा बदलाव कर सकते हैं ताकि बाकी हिस्सा बेहतर तरीके से फिट हो सके?" आर्किटेक्ट स्केच को अपडेट करता है, और मेसन काम पूरा करता है। यह सुनिश्चित करता है कि अंतिम परिणाम पूरी तरह से सुसंगत हो, भले ही वह लंबी और जटिल कहानियों के लिए हो।

यह क्यों महत्वपूर्ण है

वास्तविक दुनिया में, यह एक बड़ी सफलता है।

गति: पुराने तरीके पैदल चलने जैसे थे; यह नया तरीका उड़ने जैसा है। पेपर दिखाता है कि यह टेक्स्ट को 10x से 14x तेजी से उत्पन्न कर सकता है।
गुणवत्ता: क्योंकि "आर्किटेक्ट" वैश्विक तर्क (global logic) को संभालता है, वाक्य बिखरते नहीं हैं। वे सुसंगत, तार्किक और अर्थपूर्ण होते हैं।
लचीलापन: यह कोड, कहानियाँ या किसी भी ऐसे टेक्स्ट के लिए बहुत अच्छा काम करता है जहाँ संरचना मायने रखती है।

निष्कर्ष:
CRoCoDiL शून्य में हर शब्द का अनुमान लगाने की कोशिश करना बंद करता है। इसके बजाय, यह पहले एक सहज, निरंतर स्थान में पूरे वाक्य का एक "मानसिक मानचित्र" बनाता है, और फिर उस मानचित्र का उपयोग शब्दों को तेजी से भरने के लिए मार्गदर्शन के रूप में करता है। यह एक अराजक रेखाचित्र और सावधानीपूर्वक नियोजित उत्कृष्ट कृति के बीच का अंतर है, जिसे बिजली की गति से बनाया गया है।

यहाँ शोध पत्र CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेक्स्ट जनरेशन के लिए Masked Diffusion Models (MDMs) की मौलिक सीमाओं को संबोधित करता है। जबकि MDMs (जैसे MDLM, LLaDA, Dream) टोकन्स को मास्क करने और उन्हें पुन: "डीमास्क" (demasking) करने के माध्यम से ऑटो-रिग्रेसिव मॉडल्स के एक गैर-ऑटो-रिग्रेसिव विकल्प के रूप में कार्य करते हैं, वे दो गंभीर समस्याओं से जूझते हैं:

टोकन निर्भरता विफलता (Token Dependency Failure): MDMs आमतौर पर गायब टोकन्स के लिए स्वतंत्र रूप से सीमांत वितरण (marginal distributions) का अनुमान लगाते हैं। यह फैक्टराइज्ड सन्निकटन (factorized approximation) टोकन्स के बीच सांख्यिकीय क्रॉस-डिपेंडेंसी को पकड़ने में विफल रहता है, जिससे जब कई टोकन्स समानांतर में प्रकट होते हैं, तो अर्थ संबंधी असंगतता (semantic incoherence) और दोषपूर्ण नमूने उत्पन्न होते हैं।
गति-गुणवत्ता समझौता (Speed-Quality Trade-off): सामंजस्य बनाए रखने के लिए, मौजूदा MDMs अक्सर अनुक्रमिक (sequential) या छोटे-बैच सैंपलिंग का सहारा लेते हैं, जो समानांतर जनरेशन के गति लाभ को समाप्त कर देता है। इसके विपरीत, आक्रामक समानांतर सैंपलिंग गुणवत्ता को कम कर देती है।

मुख्य चुनौती डिफ्यूजन एल्गोरिदम की निरंतर प्रकृति (continuous nature) और भाषा की असतत प्रकृति (discrete nature) के बीच के अंतर को पाटने की है, साथ ही जनरेशन की गति से समझौता किए बिना वैश्विक अर्थ संबंधी सामंजस्य सुनिश्चित करना है।

2. कार्यप्रणाली: CRoCoDiL (Methodology: CRoCoDiL)

लेखक CRoCoDiL (Continuous and Robust Conditioned Diffusion for Language) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो जनरेटिव भार (generative burden) को असतत टोकन भविष्यवाणी से हटाकर एक निरंतर वाक्य-स्तरीय अर्थ संबंधी स्थान (continuous sentence-level semantic space) पर स्थानांतरित कर देता है। इस कार्यप्रणाली के तीन मुख्य घटक हैं:

A. एकीकृत एनकोडर-डीमास्कर प्रशिक्षण (Unified Encoder-Demasker Training)

CRoCoDiL का आधार एक संयुक्त रूप से प्रशिक्षित आर्किटेक्चर है जिसमें शामिल हैं:

एनकोडर ( $h_\phi$ ): एक असतत टोकन अनुक्रम $x_0$ को एक निरंतर लेटेंट प्रतिनिधित्व (latent representation) $z_0 \in \mathbb{R}^d$ में मैप करता है। पिछले कार्यों के विपरीत, जो वन-टू-वन मैपिंग की आवश्यकता रखते हैं, यह एनकोडर एक "स्केच" या वैश्विक मार्गदर्शन वेक्टर बनाता है।
गाइडेड डीमास्कर ( $f_\theta$ ): एक कंडीशनल MDM डिकोडर जो आंशिक रूप से मास्क किए गए अनुक्रम $x_t$ $x_{t}$ और निरंतर लेटेंट $z_0$ $z_{0}$ के आधार पर मास्क किए गए टोकन्स की भविष्यवाणी करता है।
- प्रशिक्षण उद्देश्य (Training Objective): मॉडल एक क्रॉस-एन्ट्रॉपी लॉस को कम करता है जहाँ डीमास्कर $x_t$ और $z_0$ दिए जाने पर मूल टोकन्स $x_0$ की भविष्यवाणी करता है।
- मजबूती (Robustness): यह सुनिश्चित करने के लिए कि सिस्टम तब भी काम करे जब $z_0$ सिंथेसाइज किया गया हो (न कि ग्राउंड ट्रुथ से प्राप्त), प्रशिक्षण में लेटेंट वेक्टर $z_0$ में गॉसियन शोर (Gaussian noise) जोड़ा जाता है, जिससे डीमास्कर मार्गदर्शन संकेत (guidance signal) में गड़बड़ी के प्रति मजबूत बनता है।

B. सैद्धांतिक औचित्य (Theoretical Justification)

यह शोध पत्र सिद्ध करता है (Theorem B.1) कि यदि निरंतर लेटेंट $z_0$ अनुक्रम के क्रॉस-टोकन डिपेंडेंसी को कैप्चर करता है, तो टोकन्स का कंडीशनल डिस्ट्रीब्यूशन फैक्टराइज हो जाता है। यह समानांतर टोकन सैंपलिंग (टोकन्स की स्वतंत्र सैंपलिंग) को बिना वैश्विक सामंजस्य खोए न्यायसंगत बनाता है, क्योंकि निर्भरताएं $z_0$ में एनकोड की गई हैं न कि सैंपलिंग प्रक्रिया में।

C. हाइब्रिड टेक्स्ट सिंथेसिस एल्गोरिदम (Hybrid Text Synthesis Algorithms)

प्रशिक्षित एनकोडर और गाइडेड डीमास्कर के आधार पर, लेखक दो अनकंडीशनल जनरेशन एल्गोरिदम पेश करते हैं:

ConThenDisc (Continuous-Then-Discrete):
- प्रक्रिया: पहले, एक निरंतर डिफ्यूजन मॉडल शोर (noise) से एक वैध लेटेंट वेक्टर $z_0$ उत्पन्न करता है। दूसरा, इस $z_0$ का उपयोग एक मानक MDM को $z_0$ को टोकन अनुक्रम में डिकोड करने के लिए एक स्थिर स्थिति (fixed condition) के रूप में मार्गदर्शन करने के लिए किया जाता है।
- तंत्र (Mechanism): वैश्विक अर्थ संबंधी संरचना निरंतर स्थान में स्थापित होती है, और MDM एक तेज़, गाइडेड डिकोडर के रूप में कार्य करता है।
ConWithinDisc (Continuous-Within-Discrete):
- प्रक्रिया: यह ConThenDisc का एक पुनरावृत्त परिशोधन (iterative refinement) है। $z_0$ को स्थिर रखने के बजाय, मार्गदर्शन वेक्टर को MDM सैंपलिंग चरणों के दौरान गतिशील रूप से अपडेट किया जाता है।
- तंत्र (Mechanism): असतत डीमास्किंग प्रक्रिया के दौरान विशिष्ट अंतरालों पर, एक कंडीशनल निरंतर डिफ्यूजन मॉडल $x_t$ (अर्थात, आंशिक रूप से सिंथेसाइज किए गए अनुक्रम) के आधार पर $z_0$ को अपडेट करता है (अर्थात, $z_0 \sim P(z | h_\phi(x_t))$ )। यह अनुमति देता है कि जैसे-जैसे अधिक स्थानीय संदर्भ उपलब्ध होता है, वैश्विक स्केच और स्पष्ट (sharpen) होता जाता है।

3. प्रमुख योगदान (Key Contributions)

CRoCoDiL फ्रेमवर्क: एक नवीन आर्किटेक्चर जो निरंतर लेटेंट प्रतिनिधित्व का उपयोग करके वैश्विक सामंजस्य और स्थानीय टोकन निर्भरता के बीच के अंतर को पाटता है।
रोबस्ट ऑटोएनकोडर (Robust Autoencoder): एक सामान्य-उद्देश्य वाला ऑटोएनकोडर जो एक MDM का उपयोग करके असतत टेक्स्ट को निरंतर स्थान में और वापस मैप करता है, जो उच्च दक्षता के साथ सटीक पुनर्निर्माण प्राप्त करता है।
दो नवीन एल्गोरिदम:
- ConThenDisc: एक हाइब्रिड दृष्टिकोण जो वैश्विक अर्थ संबंधी जनरेशन (निरंतर) को स्थानीय टोकन डिकोडिंग (असतत) से अलग करता है।
- ConWithinDisc: एक मल्टी-डिफ्यूजन रणनीति जो सैंपलिंग प्रक्रिया के दौरान अर्थ संबंधी मार्गदर्शन को परिष्कृत करती है।
सैद्धांतिक प्रमाण: औपचारिक औचित्य कि एक समृद्ध लेटेंट प्रतिनिधित्व पर कंडीशनिंग करने से संरचनात्मक निर्भरताओं को खोए बिना फैक्टराइज्ड (समानांतर) टोकन सैंपलिंग संभव है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Python कोड जनरेशन कार्यों पर प्रशिक्षित होने के बाद, बेसलाइन MDM के रूप में LLaDA-8B और प्रारंभिक एनकोडर के रूप में Qwen-embedding-0.6B का उपयोग करके CRoCoDiL का मूल्यांकन किया।

ऑटोएनकोडर प्रदर्शन: फ्रेमवर्क ने बहुत कम न्यूरल फंक्शन इवैल्यूएशन (NFE) के साथ भी कोड अनुक्रमों का लगभग पूर्ण पुनर्निर्माण (CER $\approx$ 0.10, CodeBERTScore $\approx$ 0.97) प्राप्त किया, जो गाइडेड डीमास्कर की प्रभावशीलता को प्रदर्शित करता है।
अनकंडीशनल जनरेशन गति और गुणवत्ता:
- स्पीडअप (Speedup): CRoCoDiL ने गुणवत्ता बनाए रखते हुए या उसमें सुधार करते हुए बेसलाइन LLaDA की तुलना में >10x तेज़ सैंपलिंग गति प्राप्त की।
- मेट्रिक्स: अनकंडीशनल जनरेशन में, केवल 40 NFE के साथ ConWithinDisc ने 512 NFE वाले बेसलाइन LLaDA की गुणवत्ता (MAUVE और Gen-PPL) की बराबरी की।
- गुणवत्ता: विभिन्न अनुक्रम लंबाई (256, 512, 1024 टोकन) में बेसलाइन की तुलना में इन विधियों ने बेहतर MAUVE स्कोर और कम जेनेरेटिव परप्लेक्सिटी (Generative Perplexity) दिखाई।
एब्लेशन अध्ययन (Ablation Studies):
- लेटेंट नॉइज़ (Latent Noise): इन्फरेंस के दौरान स्थिरता के लिए $z_0$ पर नॉइज़ ऑग्मेंटेशन के साथ प्रशिक्षण महत्वपूर्ण था।
- अपडेट टाइमिंग (Update Timing): ConWithinDisc के लिए, सैंपलिंग प्रक्रिया के मध्य बिंदु पर मार्गदर्शन वेक्टर को अपडेट करने से संरचना और लचीलेपन के बीच सर्वोत्तम संतुलन प्राप्त हुआ।
- रजिस्टर साइज (Register Size): एक निश्चित बिंदु (जैसे, $K > 16$ ) के बाद लेटेंट रजिस्टरों की संख्या बढ़ाने से प्रदर्शन में सुधार नहीं हुआ, जो बताता है कि एक संक्षिप्त लेटेंट स्पेस पर्याप्त है।

5. महत्व (Significance)

CRoCoDiL गैर-ऑटो-रिग्रेसिव टेक्स्ट जनरेशन की दिशा में एक महत्वपूर्ण कदम है। निरंतर डिफ्यूजन (जो दीर्घकालिक अर्थ संबंधी निर्भरता को संभालता है) और गाइडेड MDM (जो स्थानीय टोकन भविष्यवाणी को संभालता है) को अलग करके, यह "असंगतता बनाम गति" के उस अवरोध को दूर करता है जिसने पिछले मास्क किए गए डिफ्यूजन मॉडल्स को प्रभावित किया है।

यह कार्य सिद्ध करता है कि यदि मॉडल एक निरंतर अर्थ संबंधी "स्केच" द्वारा निर्देशित हो, तो समानांतर टोकन सैंपलिंग तेज़ और सुसंगत दोनों हो सकती है। यह दृष्टिकोण उच्च-गुणवत्ता वाले, कम-विलंबता (low-latency) वाले टेक्स्ट जनरेशन के लिए एक व्यवहार्य मार्ग प्रदान करता है जो ऑटो-रिग्रेसिव मॉडल्स की अनुक्रमिक बाधाओं पर निर्भर नहीं है, जो कोड जनरेशन और रीयल-टाइम अनुवाद जैसे अनुप्रयोगों में क्रांति ला सकता है।