💬 NLP

Masked Language Flow Models

यह शोध पत्र मास्क्ड लैंग्वेज फ्लो मॉडल्स (MLFMs) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो मौजूदा मास्क्ड डिफ्यूजन और फ्लो लैंग्वेज मॉडल्स की सीमाओं को दूर करने के लिए निरंतर फ्लो-आधारित जनरेशन को डिस्क्रीट टोकन मास्किंग के साथ जोड़ता है, जिससे डाउनस्ट्रीम लैंग्वेज टास्क के लिए स्केलेबल, कुशल और मल्टी-स्टेप रीजनिंग क्षमताएं सक्षम होती हैं।

मूल लेखक: Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

प्रकाशित 2026-06-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपके पास एक जादुई कलम है जो गायब शब्दों को भर सकती है। कागज़ इस कलम का उपयोग करने का एक नया तरीका पेश करता है, जिसे मास्क्ड लैंग्वेज फ्लो मॉडल्स (MLFMs) कहा जाता है, जो यह हल करने की कोशिश करता है कि कंप्यूटर वर्तमान में टेक्स्ट कैसे लिखते समय एक विशिष्ट समस्या का सामना करते हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

समस्या: "एक-चरण" बनाम "चरण-दर-चरण" दुविधा

इस नए आविष्कार को समझने के लिए, हमें पहले काम करने के दो पुराने तरीकों को देखना होगा:

पुराना तरीका (ऑटोरेग्रेसिव मॉडल्स): कल्पना कीजिए कि आप एक कहानी एक बार में एक शब्द करके, सख्ती से बाएं से दाएं लिख रहे हैं। आप लिखते हैं "The cat," फिर अगले शब्द के बारे में सोचने के लिए रुकते हैं, "sat" लिखते हैं, फिर से रुकते हैं, और इसी तरह।
- समस्या: यह धीमा है। यदि आप एक लंबी किताब लिखना चाहते हैं, तो आपको हर एक शब्द लिखे जाने का इंतज़ार करना होगा इससे पहले कि आप अगला शब्द शुरू कर सकें।
"समानांतर" तरीका (मास्क्ड डिफ्यूजन मॉडल्स): कल्पना कीजिए कि आपके पास एक खाली पन्ना है, और आपने हर शब्द को एक स्टिकी नोट (एक "मास्क") से ढक दिया है। कंप्यूटर एक ही बार में सभी शब्दों का अनुमान लगाने की कोशिश करता है, स्टिकी नोट्स हटा देता है, और देखता है कि उसे क्या मिला। यदि कुछ शब्द गलत दिखते हैं, तो वह उन पर फिर से स्टिकी नोट्स लगा देता है और फिर से प्रयास करता है।
- समस्या: यह तेज़ है क्योंकि यह एक साथ कई शब्दों का अनुमान लगाता है। हालाँकि, यह एक पूरे वाक्य का एक ही बार में अनुमान लगाने जैसा है बिना यह देखे कि संदर्भ (context) क्या है। यदि वाक्य के लिए जटिल तर्क (जैसे कि कोई गणित की समस्या) की आवश्यकता होती है, तो एक साथ सब कुछ अनुमान लगाने से अक्सर गलतियाँ होती हैं क्योंकि कंप्यूटर अनदेखा कर देता है कि शब्द एक-दूसरे पर कैसे निर्भर हैं।
"स्मूथ फ्लो" तरीका (फ्लो लैंग्वेज मॉडल्स): कल्पना कीजिए कि टेक्स्ट अलग-अलग शब्दों से नहीं बना है, बल्कि पेंट की एक चिकनी, निरंतर धारा (stream) है। कंप्यूटर ग्रे शोर (gray noise) की एक बाल्टी से शुरू करता है और धीरे-धीरे पेंट को वाक्य की एक स्पष्ट, तीखी छवि में "प्रवाहित" (flow) करता है।
- समस्या: यह बहुत कुशल है और इसे केवल एक या दो चरणों में किया जा सकता है। लेकिन, यह बहुत कठोर है। यह कंप्यूटर को एक ही समय में हर शब्द पर निर्णय लेने के लिए मजबूर करता है। यह उन कार्यों के लिए संघर्ष करता है जिनमें "चरणों में सोचने" की आवश्यकता होती है, जैसे कि गणित की समस्या को हल करना जहाँ आपको चरण 1 लिखना, उसे जांचना और फिर चरण 2 खोजने के लिए उसका उपयोग करना होता है।

समाधान: मास्क्ड लैंग्वेज फ्लो मॉडल्स (MLFMs)

लेखकों ने एक हाइब्रिड सिस्टम बनाया है जो दोनों दुनियाओं की सर्वश्रेष्ठ चीजों को जोड़ता है। इसे एक स्मार्ट निर्माण स्थल (construction site) के रूप में सोचें।

सेटअप: आपके पास निर्माण के अधीन एक इमारत है। कुछ हिस्से तैयार हैं (साफ शब्द), और कुछ हिस्से मचान (scaffolding) से ढके हुए हैं (मास्क्ड शब्द)।
जादू: पूरी इमारत को एक साथ बनाने के बजाय (जो बहुत जोखिम भरा है) या एक बार में एक ईंट बिछाने के बजाय (जो बहुत धीमा है), MLFM मचान को भरने के लिए एक निरंतर प्रवाह (continuous flow) का उपयोग करता है।
ट्विस्ट: जैसे-जैसे कंप्यूटर मचान को भरता है, वह अपने काम की लगातार जाँच करता है। यदि वह किसी विशिष्ट ईंट (एक शब्द) के बारे में बहुत आश्वस्त हो जाता है, तो वह तुरंत मचान हटा देता है और उस ईंट को अपनी जगह पर लॉक कर देता है।
यह क्यों मदद करता है: एक बार जब एक ईंट लॉक हो जाती है, तो वह अगले भाग के लिए एक ठोस आधार बन जाती है। यह कंप्यूटर को जटिल, बहु-चरणीय तर्क (जैसे गणित या निर्देशों का पालन करना) करने की अनुमति देता है क्योंकि वह एक सही चरण के प्रति "प्रतिबद्ध" (commit) हो सकता है और अगले चरण को निर्देशित करने के लिए उसका उपयोग कर सकता है, बजाय इसके कि अंत तक प्रतीक्षा करे कि क्या यह समझ में आया या नहीं।

उन्होंने इसे कैसे बनाया (अनुकूलन/Adaptation)

एक नए मॉडल को शून्य से बनाना महंगा और धीमा है। लेखकों ने एक चतुर शॉर्टकट खोजा:

उन्होंने एक मौजूदा, शक्तिशाली मॉडल (एक "मास्क्ड डिफ्यूजन मॉडल") लिया जो पहले से ही शब्दों का अनुमान लगाने में अच्छा था।
उन्होंने इसे एक "अनुवादक" (एक हल्का एडैप्टर) दिया जिसने इसे "निरंतर प्रवाह" की भाषा बोलने के लिए सिखाया, न कि केवल "अलग-अलग शब्दों" की।
इसने उन्हें पूरे इंजन को फिर से बनाए बिना एक पुराने, शक्तिशाली इंजन को एक नए, स्मार्ट इंजन में अपग्रेड करने की अनुमति दी।

नया "सैंपलर" (निर्माण दल)

लेखकों ने कंप्यूटर के लिए लिखने के दौरान "सोचने" का एक नया तरीका पेश किया है, जिसे ऑनलाइन टोकन प्रमोशन (Online Token Promotion) कहा जाता है।

पुराना तरीका: कंप्यूटर अपने सभी अनुमानों को आखिरी सेकंड तक "शायद" (maybe) की श्रेणी में रखता है, और फिर अंतिम शब्द चुनता है।
नया तरीका: जैसे ही कंप्यूटर किसी शब्द के बारे में 99% सुनिश्चित हो जाता है, वह उस शब्द को तुरंत "शायद" की श्रेणी से "तैयार" (finished) की श्रेणी में ले जाता है।
लाभ: यह कंप्यूटर को वाक्य के चलते रहने के दौरान एक स्पष्ट तस्वीर देता है, जिससे उसे शेष शब्दों के लिए बेहतर निर्णय लेने में मदद मिलती है। यह एक ऐसे शेफ की तरह है जो सॉस को चखता है, महसूस करता है कि यह एकदम सही है, और फिर बाकी सामग्रियों के स्वाद को प्रभावित करने के लिए उसे तुरंत बर्तन में डाल देता है, बजाय इसके कि व्यंजन के पूरा होने तक उसके स्वाद का इंतज़ार करे।

परिणाम: क्या यह काम कर गया?

टीम ने इस नए सिस्टम का परीक्षण दो कठिन कार्यों पर किया:

गणित की समस्याएँ (GSM8K): ग्रेड-स्कूल की गणितीय समस्याओं को हल करना।
निर्देशों का पालन करना (MT-Bench): जटिल प्रश्नों के उत्तर देना और उपयोगकर्ता के निर्देशों का पालन करना।

निष्कर्ष:

निर्देशों का पालन करने और बातचीत करने के मामले में, नया मॉडल पिछले "समानांतर" मॉडल्स से काफी बेहतर था और यहाँ तक कि समान आकार के "एक-एक शब्द" वाले मॉडल्स को भी पीछे छोड़ दिया।
गणित के लिए, इसने अभी तक बहुत अच्छे विशेष गणित मॉडल्स को नहीं हराया है, लेकिन इसने पहली बार कुछ बहुत बड़ा साबित किया है: फ्लो-आधारित मॉडल वास्तव में जटिल तर्क कार्यों को करने के लिए स्केल किए जा सकते हैं। इससे पहले, लोगों को लगता था कि फ्लो मॉडल्स केवल सरल, एक-चरणीय जनरेशन के लिए अच्छे हैं।

सारांश

यह पेपर एक नया टूल प्रस्तुत करता है जो कंप्यूटर को "चिकने, निरंतर चिंतन" और "चरण-दर-चरण तर्क" को मिलाकर टेक्स्ट लिखने की अनुमति देता है। यह कंप्यूटर को चलते समय सही उत्तरों को लॉक करने की अनुमति देता है, जिससे यह निर्देशों का पालन करने या समस्याओं को हल करने जैसे जटिल कार्यों के लिए बहुत बेहतर हो जाता है, और यह सब पारंपरिक तरीकों की तुलना में तेज़ भी है।

तकनीकी सारांश: मास्क्ड लैंग्वेज फ्लो मॉडल्स (Masked Language Flow Models)

समस्या विवरण (Problem Statement)

ऑटोरिग्रेसिव मॉडल्स (ARMs) भाषा निर्माण (language generation) में हावी हैं, लेकिन वे अनुक्रमिक अनुमान (sequential inference) की बाधाओं से ग्रस्त हैं, क्योंकि प्रत्येक टोकन पिछले सभी टोकनों पर निर्भर करता है। मास्क्ड डिफ्यूजन मॉडल्स (MDMs) एक समानांतर डिकोडिंग विकल्प प्रदान करते हैं जो टोकनों को पुनरावृत्ति (iteratively) के माध्यम से अनमास्क (unmask) करते हैं; हालाँकि, वे एक फैक्टराइज्ड रिवर्स ट्रांजिशन पर निर्भर करते हैं जो मास्क्ड स्थितियों के बीच कंडीशनल इंडिपेंडेंस (conditional independence) को मान लेता है। यह सन्निकटन (approximation) इन्फिनिटेसिमल-स्टेप लिमिट में तो काम करता है, लेकिन कम-स्टेप सैंपलिंग व्यवस्थाओं में, जहाँ समानांतर जनरेशन सबसे कुशल होता है, काफी खराब हो जाता है, जिससे अनदेखी किए गए टोकन डिपेंडेंसीज़ के कारण गुणवत्ता से समझौता होता है।

इसके विपरीत, फ्लो लैंग्वेज मॉडल्स (FLMs) निरंतर एम्बेडिंग स्पेस में संचालित होते हैं, जो शोर (noise) से स्वच्छ अनुक्रमों (clean sequences) तक ले जाने वाले एक फ्लो को सीखते हैं। जबकि FLMs फ्लो मैप डिस्टिलेशन के माध्यम से कुशल सिंगल-स्टेप जनरेशन का समर्थन कर सकते हैं, वे आमतौर पर जनरेशन को एक एकल प्रक्षेपवक्र (single trajectory) में समेट देते हैं। यह संरचना उन कार्यों के लिए संघर्ष करती है जिनमें मल्टी-स्टेप रीजनिंग की आवश्यकता होती है, क्योंकि FLMs को बाद के शोधन (refinements) के लिए संदर्भ के रूप में आंशिक रूप से पूर्ण मध्यवर्ती अवस्थाओं (partially completed intermediate states) का उपयोग करने के बजाय सभी टोकनों को एक साथ डिकोड करने के लिए मजबूर किया जाता है।

कार्यप्रणाली: मास्क्ड लैंग्वेज फ्लो मॉडल्स (MLFMs)

लेखक मास्क्ड लैंग्वेज फ्लो मॉडल्स (MLFMs) का प्रस्ताव करते हैं, जो एक ढांचा है जो MDMs की मास्किंग प्रक्रिया को FLMs की निरंतर फ्लो डायनेमिक्स के साथ एकीकृत करता है।

1. फ्रेमवर्क और स्टोकेस्टिक इंटरपुलेंट (Framework and Stochastic Interpolant)

MLFMs एक ब्राउनियन ब्रिज (Brownian bridge) का उपयोग करके यूक्लिडियन स्पेस में एक फॉरवर्ड प्रोसेस को परिभाषित करते हैं। यह ब्रिज जोड़ता है:

आंशिक रूप से मास्क्ड अनुक्रम: अनमास्क्ड टोकनों के लिए क्लीन एम्बेडिंग्स और मास्क्ड टोकनों के लिए एक विशिष्ट [MASK] एम्बेडिंग द्वारा प्रतिनिधित्व किया जाता है।
स्वच्छ अनुक्रम: उनके क्लीन टोकन एम्बेडिंग्स द्वारा प्रतिनिधित्व किया जाता है।

एक अनुक्रम $X$ के लिए, मास्किंग प्रोबेबिलिटी $s$ और नॉइज़िंग टाइम $t$ पर, अवस्था $z_{s,t}$ इस प्रकार बनाई जाती है कि:

अनमास्क्ड स्थितियाँ ( $U_s$ ) अपने क्लीन एम्बेडिंग्स $E X_\ell$ पर स्थिर रहती हैं।
मास्क्ड स्थितियाँ ( $M_s$ ) [MASK] एम्बेडिंग ( $m$ ) और क्लीन एम्बेडिंग ( $E X_\ell$ ) के बीच एक ब्राउनियन ब्रिज के माध्यम से विकसित होती हैं।

यह डिज़ाइन मॉडल को मास्क की गई स्थितियों पर क्लीन टोकन उत्पन्न करने के लिए एक कपल्ड कंटीन्यूअस फ्लो सीखने की अनुमति देता है, जबकि MDMs की सटीक एनी-पोजीशन कंडीशनिंग संरचना को बनाए रखता है।

2. प्रशिक्षण और अनुकूलन (Training and Adaptation)

एक प्रमुख योगदान प्रीट्रेन्ड MDMs का उपयोग करके MLFM प्रशिक्षण को वार्म-स्टार्ट (warm-start) करने की क्षमता है।

सैद्धांतिक समानता (Theoretical Equivalence): एंडपॉइंट $t=0$ पर, MLFM स्टोकेस्टिक इंटरपुलेंट ठीक से MDM में उपयोग किए जाने वाले एम्बेडेड आंशिक रूप से मास्क्ड अनुक्रम में बदल जाता है। फलस्वरूप, $t=0$ पर MLFM लॉस, MDM लॉस के समान होता है।
अनुकूलन रणनीति (Adaptation Strategy): लेखक एक प्रीट्रेन्ड द्विदिश ट्रांसफॉर्मर (एक MDM से) को अनुकूलित करते हैं:
1. टोकन एम्बेडिंग लेयर को फिक्स्ड रखते हुए।
2. ट्रांसफॉर्मर ब्लॉक्स को फ्रीज करके और उन्हें AdaLN (निरंतर समय $t$ पर कंडीशनिंग के लिए) और LoRA एडेप्टर्स (निरंतर करप्टेड एम्बेडिंग्स के अनुकूल होने के लिए) के साथ संवर्धित करके।
3. LoRA एडेप्टर के साथ आउटपुट हेड को अनुकूलित करके।
  यह दृष्टिकोण स्क्रैच से प्रशिक्षण की तुलना में कम्प्यूटेशनल लागत को काफी कम करता है।

3. सैंपलिंग रणनीति: CCFG के साथ ऑनलाइन टोकन प्रमोशन (Sampling Strategy: CCFG with Online Token Promotion)

मल्टी-स्टेप रीजनिंग की सीमा को संबोधित करने के लिए, लेखक दो तंत्रों को संयोजित करने वाली एक नवीन सैंपलिंग योजना पेश करते हैं:

कॉन्टेक्स्ट-करप्टेड क्लासिफायर-फ्री गाइडेंस (CCFG): क्लासिफायर-फ्री गाइडेंस का एक वेरिएंट जहाँ रेफरेंस वेलोसिटी फील्ड को कॉन्टेक्स्ट टोकन्स को करप्ट करके (उन पर फॉरवर्ड करप्शन मार्जिनल लागू करके) कंप्यूट किया जाता है, जबकि गाइडेड फील्ड क्लीन कॉन्टेक्स्ट का उपयोग करता है। अंतर अनुमानित दिशा में क्लीन कॉन्टेक्स्ट के योगदान को अलग करता है।
ऑनलाइन टोकन प्रमोशन (OTP): सैंपलिंग के दौरान, यदि किसी मास्क्ड टोकन के लिए पोस्टीरियर मोड विश्वास दहलीज ( $1-\epsilon$ ) तक पहुँच जाता है, तो उस टोकन को तुरंत "प्रमोट" कर दिया जाता है। इसे इसके क्लीन एम्बेडिंग पर फिक्स कर दिया जाता है और इसे आगामी डैनोइजिंग स्टेप्स के लिए ऑब्जर्व्ड कॉन्टेक्स्ट के रूप में माना जाता है। यह मॉडल को उच्च-विश्वास वाले भविष्यवाणियों को तत्काल संदर्भ के रूप में उपयोग करने की अनुमति देता है, जो इटरेटिव रीजनिंग की नकल करता है।

मुख्य योगदान (Key Contributions)

मास्किंग और फ्लो का एकीकरण: MLFMs एक ब्राउनियन ब्रिज का उपयोग करके MDMs (डिस्क्रीट मास्किंग) और FLMs (कंटीन्यूअस फ्लो) के बीच के अंतर को पाटते हैं, जो एक कंडीशनल जनरेशन सक्षम करता है जो समानांतर दक्षता और इटरेटिव रिफाइनमेंट दोनों का समर्थन करता है।
कुशल अनुकूलन: यह प्रदर्शन कि प्रीट्रेन्ड MDMs को $t=0$ पर एंडपॉइंट इक्विवेलेंस का लाभ उठाते हुए हल्के वजन वाले अनुकूलन (LoRA/AdaLN) के माध्यम से MLFMs में बदला जा सकता है।
नवीन सैंपलर: CCFG को ऑनलाइन टोकन प्रमोशन के साथ जोड़ना, जो डायनेमिक रूप से लेटेंट स्टेट्स को क्लीन कॉन्टेक्स में बदल देता है, जिससे मल्टी-स्टेप रीजनिंग की सुविधा मिलती है।
डाउनस्ट्रीम टास्क तक स्केलिंग: अनकंडीशनल जनरेशन से आगे बढ़कर, डाउनस्ट्रीम रीजनिंग (गणित) और इंस्ट्रक्शन-फॉलोइंग कार्यों तक फ्लो-आधारित लैंग्वेज मॉडल्स को सफलतापूर्वक स्केल करने वाला पहला उदाहरण।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने GSM8K (गणितीय तर्क) और MT-Bench (निर्देश अनुपालन) पर एक 1.028B पैरामीटर MLFM (एक प्रीट्रेन्ड SMDM से अनुकूलित) का मूल्यांकन किया।

MT-Bench: MLFM ने 2.27 का फर्स्ट-टर्न स्कोर प्राप्त किया, जो SMDM बेसलाइन (1.60) और एक समान आकार के AR बेसलाइन (1.57) को काफी पीछे छोड़ देता है। विशेष रूप से, यह केवल 128 सैंपलिंग स्टेप्स (SMDM के 256 का आधा) के साथ हासिल किया गया।
GSM8K: MLFM ने 31.24% सटीकता प्राप्त की। हालांकि यह कार्य-विशिष्ट फाइन-ट्यून किए गए SMDM (58.5%) और LLaMA-2 (58.6%) से पीछे है, लेखक इसे MLFM के लिए उपयोग किए गए व्यापक इंस्ट्रक्शन-मिक्सचर फाइन-ट्यूनिंग प्रोटोकॉल बनाम बेसलाइन्स के लिए उपयोग किए गए कार्य-विशिष्ट प्रोटोकॉल के कारण बताते हैं।
एब्लेशन (Ablations): परिणामों ने पुष्टि की कि CCFG और ऑनलाइन टोकन प्रमोशन दोनों प्रदर्शन को महत्वपूर्ण रूप से बढ़ाते हैं। बड़े गाइडेंस स्केल और अधिक सैंपलिंग स्टेप्स ने सामान्य रूप से परिणामों में सुधार किया, जिसमें MLFM ने 16 सैंपलिंग स्टेप्स पर भी MT-Bench पर बेसलाइन्स को पछाड़ दिया।

महत्व और दावे (Significance and Claims)

यह पेपर पहला प्रमाण प्रदान करने का दावा करता है कि फ्लो-आधारित लैंग्वेज मॉडल्स को डाउनस्ट्रीम रीजनिंग और इंस्ट्रक्शन-फॉलोइंग कार्यों को हल करने के लिए स्केल किया जा सकता है। फ्लो मॉडल्स की समानांतर जनरेशन क्षमता को मास्क मॉडल्स की इटरेटिव रीजनिंग क्षमताओं के साथ जोड़कर, MLFMs एक लचीला आर्किटेक्चर प्रदान करते हैं जो जटिल, मल्टी-स्टेप जनरेशन का समर्थन करता है। यह कार्य प्रदर्शित करता है कि फ्लो-आधारित मॉडल केवल अनकंडीशनल जनरेशन या सरल डिस्टिलेशन तक सीमित नहीं हैं, बल्कि उन्हें MDM अनुकूलन के माध्यम से कुशल प्रशिक्षण के साथ व्यावहारिक, कंडीशनल डाउनस्ट्रीम अनुप्रयोगों के लिए अनुकूलित किया जा सकता है।