🤖 machine learning

Latent-Kernel Discrete Flow Maps for Few-Step Generation

यह शोध पत्र लेटेंट-कर्नेल डिस्क्रीट फ्लो मैप्स (LKF) को प्रस्तुत करता है, जो एक नवीन फ्रॉम-स्क्रैच फ्लो-मैप कर्नेल है जो एक साझा लेटेंट वेरिएबल के माध्यम से सहसंबंधित टोकन अपडेट को मॉडल करके उच्च-गुणवत्ता वाले, कुछ-चरणों वाले डिस्क्रीट टेक्स्ट जनरेशन को सक्षम बनाता है, जिससे मानक फैक्टराइज्ड मॉडल्स की स्वतंत्रता संबंधी सीमाओं को दूर किया जा सके और मौजूदा डिस्टिल्ड या रेक्टिफाइड फ्यू-स्टेप सैंपलर्स से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Mansoor Ahmed, Yue-Tsz Fan, Hemanth Venkateswara, Murray Patterson

प्रकाशित 2026-07-31

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mansoor Ahmed, Yue-Tsz Fan, Hemanth Venkateswara, Murray Patterson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, रोबोट एक बार में एक शब्द लिखते थे, जैसे कोई व्यक्ति कीबोर्ड पर टाइप कर रहा हो। लेकिन एक नया, तेज़ तरीका सामने आया है जहाँ रोबोट खाली जगहों (मास्क) से भरे पूरे वाक्य को एक साथ देखता है। यह एक ऐसे चित्रकार की तरह है जो एक बार में एक ब्रशस्ट्रोक नहीं लगाता, बल्कि कैनवास पर पेंट की एक बाल्टी फेंकता है और उम्मीद करता है कि रंग सही जगहों पर गिरें। समस्या यह है कि यदि रोबोट एक साथ "The [blank] [blank] loudly" भरने की कोशिश करता है, तो वह गलती से "The dog bark loudly" लिख सकता है। उसने कुत्ता (dog) भी सही चुना और भौंकना (bark) भी सही, लेकिन वह भूल गया कि "dog" और "bark" को इस बात पर सहमत होना चाहिए कि वे एकवचन (singular) हैं या बहुवचन (plural)। क्योंकि रोबोट प्रत्येक शब्द को स्वतंत्र रूप से तय करता है, इसलिए वह अक्सर इन छोटी-छोटी विसंगतियों को पैदा कर देता है, जिससे उसे बार-बार वापस जाकर उन्हें ठीक करने के लिए मजबूर होना पड़ता है, जो बहुत धीमा काम है।

वैज्ञानिकों ने इसे तेज़ बनाने की कोशिश की है, जैसे कि एक "छात्र" रोबोट को एक "शिक्षक" रोबोट की नकल करने के लिए सिखाना जो पहले से ही अच्छा लिख रहा है। लेकिन एक पेंच है: एक छात्र कभी भी उस शिक्षक से बेहतर नहीं हो सकता जिसकी वह नकल कर रहा है। यदि शिक्षक गलतियाँ करता है, तो छात्र भी वही गलतियाँ करेगा। यह शोध पत्र एक साहसी प्रश्न पूछता है: क्या हम एक ऐसा रोबोट बना सकते हैं जो बिना किसी शिक्षक की मदद के, खुद से इन पेचीदा और जुड़े हुए शब्दों को सही ढंग से लिखना सीख सके? लेखक एक नई विधि पेश करते हैं जिसे 'लेटेंट-कर्नेल डिस्क्रीट फ्लो मैप्स' (LKF) कहा जाता है। इसे एक "वाइब चेक" (vibe check) देने जैसा समझें। हर शब्द को अपने दम पर अनुमान लगाने के बजाय, रोबोट पहले एक गुप्त थीम (जैसे "एकवचन" या "बहुवचन") चुनता है और फिर उसी थीम का उपयोग वाक्य के हर शब्द को तय करने के लिए करता है। इस तरह, यदि वह "बहुवचन" थीम चुनता है, तो वह स्वाभाविक रूप से "dogs bark" लिखेगा न कि "dog bark", जिससे एक ही बड़े कदम में व्याकरण सही रहता है।

समस्या: "स्वतंत्र" जाल

आज के अधिकांश तेज़ टेक्स्ट जनरेटर एक ऐसे कमरे में लोगों के समूह की तरह काम करते हैं जो एक वाक्य का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन उन सभी ने शोर कम करने वाले हेडफ़ोन पहने हुए हैं। वे एक-दूसरे को सुन नहीं सकते। यदि वाक्य "The [subject] [verb] loudly" है, तो एक व्यक्ति विषय (subject) का अनुमान लगाता है और दूसरा क्रिया (verb) का। वे दोनों अपने आप में सही अनुमान लगा सकते हैं, लेकिन क्योंकि वे आपस में बात नहीं कर रहे हैं, वे "The dog bark loudly" जैसा कुछ लिख सकते हैं। विषय एकवचन है, लेकिन क्रिया बहुवचन है। यह एक बेमेल स्थिति है।

इसे ठीक करने के लिए, रोबोट को आमतौर पर कई छोटे कदम उठाने पड़ते हैं, अपने काम की बार-बार जाँच करनी पड़ती है, जैसे कोई छात्र व्याकरण सही करने के लिए एक वाक्य को पाँच बार मिटाकर फिर से लिखता है। इसमें बहुत समय और कंप्यूटिंग शक्ति लगती है। कुछ शोधकर्ताओं ने एक तेज़ रोबोट को एक धीमे, बुद्धिमान रोबोट (एक "शिक्षक") की नकल करने के लिए कहकर इसे तेज़ बनाने की कोशिश की। लेकिन स्कूल की तरह ही, तेज़ रोबोट वह कुछ भी नहीं सीख सकता जो शिक्षक पहले से नहीं जानता। यदि शिक्षक एक निश्चित गुणवत्ता स्तर पर अटका हुआ है, तो छात्र भी वहीं अटका रहेगा।

समाधान: "गुप्त थीम" (LKF)

इस शोध पत्र के लेखकों, मंसूर अहमद और उनकी टीम ने शिक्षकों की नकल करना बंद करने और इसके बजाय एक ऐसा रोबोट बनाने का निर्णय लिया जो स्वाभाविक रूप से यह समझ सके कि शब्द एक-दूसरे से कैसे जुड़ते हैं। उन्होंने लेटेंट-कर्नेल डिस्क्रीट फ्लो मैप्स (LKF) नामक एक प्रणाली बनाई।

यह कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं: कल्पना कीजिए कि आप एक क्रॉसवर्ड पहेली हल कर रहे हैं जहाँ दो संकेत आपस में जुड़े हुए हैं। यदि आप पहले संकेत को हल करते हैं, तो दूसरा बहुत आसान हो जाता है। पुराने "स्वतंत्र" तरीके में, रोबोट दूसरों को देखे बिना हर संकेत को हल करने की कोशिश करता है। नई LKF विधि में, रोबोट पहले पूरे वाक्य के लिए एक गुप्त थीम (जिसे "लेटेंट" कहा जाता है) चुनता है।

मान लीजिए वाक्य है "The [blank] [blank] loudly."

पुराना तरीका: रोबोट पहले खाली स्थान के लिए एक सिक्का उछालता है (50% संभावना "dog" की, 50% "dogs" की) और दूसरे खाली स्थान के लिए दूसरा सिक्का उछालता है (50% संभावना "bark" की, 50% "barks" की)। वह उतनी ही बार "dog bark" (गलत) या "dogs barks" (गलत) भी लिख सकता है जितनी बार सही उत्तर।
LKF का तरीका: कुछ भी लिखने से पहले, रोबोट एक गुप्त थीम चुनता है: "एकवचन" (Singular) या "बहुवचन" (Plural)।
- यदि वह "एकवचन" चुनता है, तो वह "dog" और "barks" (एकवचनी कर्ता और क्रिया का मिलान) लिखने के लिए बाध्य है।
- यदि वह "बहुवचन" चुनता है, तो वह "dogs" और "bark" (बहुवचनी कर्ता और क्रिया का मिलान) लिखने के लिए बाध्य है।
- थीम को पहले चुनने से, रोबोट सुनिश्चित करता है कि कर्ता और क्रिया एक ही कदम में पूरी तरह मेल खाएं। उसे गलतियों को ठीक करने के लिए वापस जाने की आवश्यकता नहीं है क्योंकि शुरुआत से ही "वाइब" (vibe) सही सेट थी।

उन्होंने क्या पाया

टीम ने टेक्स्ट के दो बड़े डेटासेट पर इस नई विधि का परीक्षण किया: LM1B (एक अरब शब्दों का संग्रह) और WikiText-103 (विकिपीडिया लेखों का संग्रह)। उन्होंने अपने नए रोबोट की तुलना पुराने "स्वतंत्र" रोबोटों और "शिक्षक की नकल करने वाले" रोबोटों से की।

गति और गुणवत्ता: जब उन्होंने रोबोट को कुछ ही चरणों में (जैसे 32 के बजाय केवल 8 चरणों में) टेक्स्ट बनाने के लिए कहा, तो LKF रोबोट बहुत बेहतर था। LM1B डेटासेट पर, 8 चरणों के साथ, LKF रोबोट ने 105 का "जेनरेटिव परप्लेक्सिटी" (एक स्कोर जहाँ कम होना बेहतर है) प्राप्त किया। पुराने तरीके बहुत अधिक थे, लगभग 199 से 304। इसका मतलब है कि LKF रोबोट ने ऐसा टेक्स्ट लिखा जो मानव लेखन के बहुत करीब था, भले ही वह जल्दबाजी में था।
"M" कारक: रोबोट एक समय में एक से अधिक गुप्त थीम का उपयोग कर सकता है। लेखकों ने M=1 (एक थीम), M=4 (चार थीम), और M=8 (आठ थीम) का उपयोग करके परीक्षण किया। उन्होंने पाया कि जैसे-जैसे उन्होंने अधिक थीम जोड़ीं, रोबोट बेहतर होता गया। M=8 पर, LKF रोबोट मानक तरीकों से 2.1 से 3.3 गुना बेहतर था।
बिना शिक्षक के: अन्य तेज़ विधियों के विपरीत, LKF को सीखने के लिए किसी "शिक्षक" की आवश्यकता नहीं थी। इसने शब्दों के बीच के संबंधों को अपने आप सीखा। इसका मतलब है कि यह एक शिक्षक की गुणवत्ता द्वारा सीमित नहीं था; यह सीखते समय और भी बेहतर हो सकता था।

"हिडन एग्रीमेंट" (छिपा हुआ समझौता) परीक्षण

यह साबित करने के लिए कि उनका रोबत वास्तव में कनेक्शन सीख रहा है न कि केवल अनुमान लगा रहा है, लेखकों ने "हिडन एग्रीमेंट" नामक एक विशेष परीक्षण बनाया। एक खेल की कल्पना करें जहाँ रोबोट को एक गुप्त संख्या (जैसे 1, 2, या 3) चुननी होती है और फिर एक ऐसा वाक्य लिखना होता है जहाँ हर शब्द उस संख्या से मेल खाता हो।

जब उन्होंने M=1 (एक थीम) का उपयोग किया, तो रोबोट इसे अच्छी तरह से नहीं कर सका।
जब उन्होंने M को बढ़ाकर 8 या 16 किया, तो रोबोट गुप्त संख्या से मेल खाने में लगभग सटीक हो गया।
उन्होंने एक "पैरिटी" (parity) गेम (एक गणितीय पहेली जहाँ उत्तर एक जटिल नियम पर निर्भर करता है) का भी परीक्षण किया। यहाँ, रोबोट ने सही ढंग से पहचान लिया कि कोई भी संख्या में गुप्त थीम इस पहेली को एक कदम में हल नहीं कर सकती, जिससे सिद्ध हुआ कि रोबोट यह जानने में स्मार्ट था कि वह कब धोखाधड़ी नहीं कर सकता।

यह क्यों महत्वपूर्ण है

यह शोध पत्र बताता है कि हमें तेज़ और अच्छा लिखने के लिए धीमे, महंगे शिक्षकों पर निर्भर रहने की आवश्यकता नहीं है। AI को एक "गुप्त थीम" चुनने का तरीका देकर जो शब्दों को एक साथ बांधती है, हम इसे कुछ ही चरणों में उच्च-गुणवत्ता वाला टेक्स्ट उत्पन्न करने में सक्षम बना सकते हैं। लेखकों ने दिखाया कि 8 चरणों के साथ, उनकी विधि उन विधियों से बेहतर थी जिनमें 32 चरण लगते थे या जो एक शिक्षक से ज्ञान प्राप्त करने (distilling knowledge) पर निर्भर थीं।

परिणाम उत्साहजनक हैं, लेकिन लेखक नोट करते हैं कि यदि वाक्य बहुत लंबा या जटिल है, तो रोबोट अभी भी थोड़ा संघर्ष करता है, और "राउटर" (वह हिस्सा जो थीम चुनता है) हमेशा सटीक नहीं होता है। हालाँकि, मूल विचार—कि एक साझा गुप्त रहस्य पूरे वाक्य को एक साथ बांध सकता है—काम करता है। यह मशीनों को यह सिखाने का एक नया तरीका है कि वे वाक्यों को केवल अलग-अलग शब्दों के ढेर के रूप में नहीं, बल्कि एक संपूर्ण इकाई के रूप में देखें, जिससे वे बिना किसी मानवीय शिक्षक के हाथ पकड़ने के, तेज़ और स्मार्ट तरीके से लिख सकें।

तकनीकी सारांश: फ्यू-स्टेप जनरेशन के लिए लेटेंट-कर्नेल डिस्क्रीट फ्लो मैप्स (Latent-Kernel Discrete Flow Maps)

समस्या विवरण (Problem Statement)

डिस्क्रीट डिफ्यूजन और फ्लो-मैचिंग मॉडल कई चरणों में डिनोइजिंग (denoising) करके टेक्स्ट जनरेट करते हैं। कंप्यूटेशनल दक्षता बनाए रखने के लिए, ये मॉडल आमतौर पर टोकन स्थितियों के बीच ट्रांज़िशन प्रोबेबिलिटी को फैक्टराइज़ (factorize) करते हैं, जिससे वे वर्तमान अनुक्रम अवस्था (sequence state) को देखते हुए प्रत्येक टोकन का स्वतंत्र रूप से निर्णय लेते हैं। हालांकि यह फैक्टराइजेशन व्यक्तिगत चरणों को सस्ता बनाता है, लेकिन यह फ्यू-स्टेप जनरेशन (few-step generation) के लिए एक मौलिक बाधा उत्पन्न करता है।

जब एक लक्षित अनुक्रम (target sequence) में स्थितियों के बीच मजबूत सहसंबंध (correlations) की आवश्यकता होती है (जैसे कि सब्जेक्ट-वर्ब एग्रीमेंट या मैचिंग ब्रैकेट्स), तो स्वतंत्र अपडेट अलग-अलग टोकन के प्रति प्रतिबद्धता जताते हैं। इसके परिणामस्वरूप अक्सर स्थानीय रूप से सुसंगत लेकिन वैश्विक रूप से असंगत संयोजन (जैसे, "dog barks" बनाम "dogs bark") प्राप्त होते हैं। इन विसंगतियों को सुधारने के लिए कई अतिरिक्त डिनोइजिंग चरणों की आवश्यकता होती है, जो फ्यू-स्टेप जनरेशन के दक्षता लाभों को समाप्त कर देता है।

मौजूदा समाधान जो जनरेशन को तेज करते हैं, वे दो श्रेणियों में आते हैं:

लाइक्लिहुड मॉडल (Likelihood models) (जैसे, MDLM, SEDD): ये शुरू से ही मजबूत फैक्टराइज़्ड डैनोइज़र प्रशिक्षित करते हैं लेकिन सहसंबंधों को हल करने के लिए अनुमान (inference) के समय कई चरणों की आवश्यकता होती है।
फ्यू-स्टेप एक्सेलरेटर्स (Few-step accelerators) (जैसे, Di4C, SDTT, ReDi): ये एक प्रशिक्षित "टीचर" मॉडल को कुछ चरणों वाले "स्टूडेंट" में डिस्टिल (distill) या रेक्टिफाई (rectify) करते हैं। हालांकि, ये विधियाँ अपने टीचर की गुणवत्ता की सीमा (quality ceiling) को विरासत में लेती हैं और उस मॉडल के प्रदर्शन से बेहतर नहीं हो सकतीं जिसकी वे नकल कर रही हैं।

मुख्य चुनौती यह है कि क्या कोई मॉडल बिना किसी टीचर पर निर्भर रहे, नेटिवली कोरिलेटेड स्टेप्स (correlated steps) को व्यक्त कर सकता है, जिससे फैक्टरइजेशन धारणा को उसके मूल से तोड़ा जा सके और कम कंप्यूटेशनल लागत भी बनी रहे।

कार्यप्रणाली: लेटेंट-कर्नेल डिस्क्रीट फ्लो मैप्स (LKF)

लेखक लेटेंट-कर्नेल डिस्क्रीट फ्लो मैप्स (LKF) का प्रस्ताव करते हैं, जो एक 'फ्रॉम-स्क्रैच' फ्लो-मैप मॉडल है जो एक एकल साझा लेटेंट वेरिएबल द्वारा जुड़े हुए मिश्रण (mixture) के माध्यम से इंट्रा-स्टेप सहसंबंध पेश करता है।

मॉडल आर्किटेक्चर

परिमित-समय ट्रांज़िशन कर्नेल $\Psi_{t \to s}(x_s | x_t)$ को $M$ फैक्टराइज़्ड घटकों के मिश्रण के रूप में परिभाषित किया गया है:
$\Psi_{t \to s}(x_s | x_t) = \sum_{k=1}^{M} w_k(x_t, t, s) \prod_{i=1}^{L} P_i(x_s^i | x_t, k, t, s)$
जहाँ:

$k \in [M]$ एक साझा लेटेंट कंपोनेंट इंडेक्स है जिसे प्रति अनुक्रम एक बार सैंपल किया जाता है।
$w_k$ राउटर वेट्स (router weights) हैं जो घटक $k$ की संभावना की भविष्यवाणी करते हैं।
$P_i$ हैं पोजीशन $i$ के लिए फैक्टराइज़्ड टोकन डिस्ट्रीब्यूशन, जो लेटेंट $k$ पर आधारित हैं।

मुख्य तंत्र (Key Mechanism):

साझा लेटेंट (Shared Latent): डैनोइजिंग ट्राजेक्टरी (या प्रत्येक चरण) की शुरुआत में, राउटर $w(\cdot | x_t)$ से एक एकल लेटेंट $k$ निकाला जाता है।
कंडीशनल इंडिपेंडेंस (Conditional Independence): $k$ दिए जाने पर, टोकन अभी भी स्थितियों में स्वतंत्र रूप से सैंपल किए जाते हैं। हालांकि, क्योंकि $k$ पूरे अनुक्रम के लिए साझा है, $k$ का मार्जिनलाइज़ेशन (marginalizing) स्थितियों के बीच सहसंबंध उत्पन्न करता है।
दक्षता (Efficiency): मॉडल एक लेट डैन इंजेक्शन (late latent injection) आर्किटेक्चर का उपयोग करता है। एक साझा ट्रांसफार्मर ट्रंक इनपुट को प्रोसेस करके एक लेटेंट-एग्नोस्टिक रिप्रेजेंटेशन बनाता है। केवल अंतिम $L_k$ ब्लॉक्स को प्रत्येक के $M$ घटकों के लिए, $k$ पर आधारित होकर, रेप्लिकेट किया जाता है। यह मार्जिनलाइज़ेशन की कंप्यूटेशनल लागत को कम रखता है ( $O(M \cdot \text{depth}}$ के बजाय $O(M \cdot L_k)$ )।

प्रशिक्षण और अनुमान (Training and Inference)

प्रशिक्षण (Training): मॉडल को लेटेंट $k$ के सटीक मार्जिनलाइज़ेशन द्वारा प्रशिक्षित किया जाता है। ऑब्जेक्टिव मिश्रण का लॉग-लाइक्लिहुड है:
$\log \Psi = \log \sum_{k} \exp(\log w_k + \ell_k)$
जहाँ $\ell_k$ लक्षित टोकन द्वारा असाइन किया गया लॉग-प्रोबेबिलिटी है। यह राउटर को एक ऐसा मिश्रण सीखने के लिए मजबूर करता है जहाँ लेटेंट अनुक्रम-स्तरीय सहसंबंधों को कैप्चर करता है। एक राउटर रेगुलराइज़र यह सुनिश्चित करता है कि मिश्रण घटकों का उपयोग किया जाए (एकल घटक में पतन/collapse को रोकने के लिए) और लेटेंट पर्याप्त जानकारी ले सके।
अनुमान (Inference - Best-of-M): मिश्रण की विषमता (heterogeneity) का लाभ उठाने के लिए, लेखक एक Best-of-M डिकोडिंग रणनीति का उपयोग करते हैं। $M$ समानांतर रोलआउट जेनरेट किए जाते हैं, जिनमें से प्रत्येक एक अलग घटक $k$ को फ्रीज करता है। अंतिम आउटपुट को मॉडल के अपने अनुक्रम-स्तरीय मिश्रण नेगेटिव ELBO (NELBO) के आधार पर चुना जाता है। इस चयन के लिए किसी बाहरी रिवॉर्ड मॉडल या टीचर की आवश्यकता नहीं होती है।

मुख्य योगदान (Key Contributions)

नेटिव कोरिलेटेड स्टेप्स: LKF का परिचय, जो एक फ्लो-मैप कर्नेल है जो $M$ फैक्टराइज़्ड घटकों के माध्यम से नेटिवली कोरिलेटेड स्टेप्स को व्यक्त करता है, जो एक सिंगल साझा लेटेंट द्वारा जुड़े हुए हैं, जिससे टीचर मॉडल की आवश्यकता समाप्त हो जाती है।
सैद्धांतिक विश्लेषण: एक सटीक सूचना अपघटन (information decomposition) जो दिखाता है कि रैंक- $M$ स्टेप द्वारा वहन की जा सकने वाली टोटल कोरिलेशन (TC) $(L-1)H(k|xt)$ द्वारा सीमित है। लेखक सिद्ध करते हैं कि मॉडल की एप्रोक्सिमेशन एरर लक्षित वितरण के अनकैप्चर्ड टोटल कोरिलेशन द्वारा लो-बाउंडेड है।
सिंथेटिक वैलिडेशन: सिंथेटिक डेटासेट्स (hidden-agreement और parity) पर प्रयोगों से पता चलता है कि LKF सूचना को कैप्चर करता है और रिप्रेजेंटेबल कोरिलेशन के लिए $M$ के साथ मोनोटोनिक रूप से लाइक्लिहुड में सुधार करता है, जबकि यह सही ढंग से उन कोरिलेशन को कैप्चर करने में विफल रहता है जिनके लिए एक्सपोनेंशियल मिश्रण रैंक (parity) की आवश्यकता होती है, जो सैद्धांतिक कठिनाई परिणामों के अनुरूप है।
अनुभवजन्य प्रदर्शन (Empirical Performance): LM1B और WikiText-103 बेंचमार्क पर, LKF स्टेट-ऑफ-द-आर्ट फ्यू-स्टेप जेनेरेटिव परप्लेक्सिटी प्राप्त करता है। $M=8$ पर, यह लाइक्लिहुड बेसलाइन्स (MDLM, SEDD) की तुलना में जेनेरेटिव परप्लेक्सिटी में 2.1× से 3.3× का सुधार करता है और बिना किसी टीचर के डिस्टिल्ड/रेक्टिफाइड एक्सेलरेटर्स (Di4C, ReDi) को भी पीछे छोड़ देता है।

प्रयोगात्मक परिणाम (Experimental Results)

बेंचमार्क: LM1B और WikiText-103 पर मूल्यांकन किया गया।
प्रदर्शन:
- LM1B: $M=8$ LKF मॉडल 32 फंक्शन इवैल्यूएशन (NFE) पर 105 की जेनेरेटिव परप्लेक्सिटी (gen-PPL) प्राप्त करता है, जबकि MDLM के लिए यह 304 और सर्वश्रेष्ठ रेक्टिफाइड एक्सेलरेटर (ReDi) के लिए 117 है।
- WikiText-103: $M=8$ मॉडल 75 की gen-PPL तक पहुँचता है, जो MDLM (228) और SEDD (247) से काफी बेहतर है।
विविधता (Diversity): रेक्टिफाइड एक्सेलरेटर्स के विपरीत, जो अक्सर एंट्रॉपी कोलैप्स (कम विविधता वाला टेक्स्ट बनाना) से ग्रस्त होते हैं, LKF लाइक्लिहुड में सुधार करते हुए उच्च सैंपल एंट्रॉपी बनाए रखता है।
एब्लेशन (Ablations):
- यह लाभ मिश्रण संरचना (mixture structure) के कारण है, न कि केवल रेंकिंग के कारण। $M$ घटकों को एकल घटक के $M$ नॉइज़ ड्रॉ के साथ बदलने से प्रदर्शन में भारी गिरावट आती है (जैसे, $M=8$ पर 35% अधिक PPL)।
- Best-of-M चयन महत्वपूर्ण है; एक सिंगल-कमिटमेंट पॉलिसी (commit-M) बेसलाइन के समान परिणाम देती है, जो पुष्टि करती है कि मिश्रण वह विविधता प्रदान करता है जिसका चयन (selection) लाभ उठाता है।
- राउटर एफिशिएंसी: राउटर एक क्वालिटी सिग्नल के बजाय एक मिक्सिंग वेट के रूप में कार्य करता है; चयन सबसे प्रभावी तब होता है जब यह मॉडल के अपने लाइक्लिहुड (रनिंग एविडेंस) पर आधारित होता है, न कि राउटर के प्रारंभिक प्रेडिक्शन पर।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि LKF "टीचर-डिपेंडेंट" एक्सेलरेशन से "फ्रॉम-स्क्रैच" फ्यू-स्टेप जनरेशन की ओर एक बदलाव का प्रतिनिधित्व करता है। ट्रांज़िशन कर्नेल को लो-रैंक मिश्रण के रूप में मॉडल करके, LKF एक एकल स्टेप को एक ही सैंपलिंग कॉम्प्लेक्सिटी के साथ कोरिलेटेड कंप्लीशंस (जैसे, सब्जेक्ट-वर्ब एग्रीमेंट) पर मास रखने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि:

यह विधि टीचर की क्वालिटी सीलिंग को विरासत में नहीं लेती है।
लाभ मिश्रण के आकार $M$ के साथ बढ़ता है।
दृष्टिकोण सैद्धांतिक रूप से सुदृढ़ है, जिसमें कोरिलेशन क्षमता और एप्रोक्सिमेशन एरर पर बाउंड्स दिए गए हैं।
यह मानक लैंग्वेज मॉडलिंग बेंचमार्क पर बेसलाइन विधियों के बीच सर्वश्रेष्ठ फ्यू-स्टेप जेनेरेटिव परप्लेक्सिटी प्राप्त करता है, जो डिस्टिलेशन या रेक्टिफिकेशन के ओवरहेड के बिना कुशल, उच्च-गुणवत्ता वाले डिस्क्रीट जनरेशन के लिए एक व्यवहार्य मार्ग प्रदान करता है।