💻 computer science

Parallel Token Prediction for Language Models

यह शोध पत्र पैरेलल टोकन प्रेडिक्शन (PTP) को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो रैंडम इनपुट वेरिएबल्स के डिटरमिनिस्टिक फंक्शन्स के माध्यम से एक ही फॉरवर्ड पास में कई टोकन का अनुमान लगाकर लैंग्वेज मॉडल इन्फरेंस को तेज करता है, जिससे ऑटोरिग्रेसिव डिकोडिंग की तुलना में 2.4x की गति वृद्धि प्राप्त होती है।

मूल लेखक: Felix Draxler, Justus Will, Farrin Marouf Sofian, Theofanis Karaletsos, Sameer Singh, Stephan Mandt

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Felix Draxler, Justus Will, Farrin Marouf Sofian, Theofanis Karaletsos, Sameer Singh, Stephan Mandt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Parallel Token Prediction" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके दिया गया विवरण है।

समस्या: धीमा टाइपिस्ट (The Slow Typist)

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन अविश्वसनीय रूप से धीमे टाइपिस्ट के साथ एक कहानी लिखने की कोशिश कर रहे हैं। इस टाइपिस्ट (एक मानक AI मॉडल) का एक सख्त नियम है: वे एक बार में केवल एक ही अक्षर टाइप कर सकते हैं।

"Hello" शब्द लिखने के लिए, टाइपिस्ट को यह करना होगा:

पहले अक्षर के बारे में सोचना: "H"। उसे टाइप करना।
अगले अक्षर के बारे में सोचने से पहले कंप्यूटर द्वारा उस "H" को प्रोसेस करने का इंतज़ार करना।
"e" के बारे में सोचना। टाइप करना।
फिर से इंतज़ार करना।
"l" के बारे में सोचना... और इसी तरह।

भले ही टाइपिस्ट एक जीनियस है, लेकिन यह "एक-एक करके" वाली प्रक्रिया एक बड़ी बाधा (bottleneck) पैदा करती है। यदि आप एक पूरा पैराग्राफ लिखना चाहते हैं, तो टाइपिस्ट को सैकड़ों बार रुकना और शुरू करना पड़ेगा। वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) इसी तरह काम करते हैं, और यह उन्हें धीमा बनाता है।

समाधान: क्रिस्टल बॉल टीम (The Crystal Ball Team)

इस पेपर के लेखक एक नए तरीके का प्रस्ताव देते हैं जिसे पैरलेल टोकन प्रेडिक्शन (Parallel Token Prediction - PTP) कहा जाता है। एक धीमे टाइपिस्ट के बजाय, कल्पना कीजिए कि आपके पास टाइपिस्टों की एक टीम है जो एक साथ काम कर सकती है, लेकिन उन्हें गलतियाँ किए बिना काम करने के लिए एक विशेष ट्रिक की आवश्यकता है।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (Autoregressive): AI केवल उसी के आधार पर अगला शब्द अनुमानित करता है जो उसने पहले ही लिख दिया है। यह "टेलीफोन गेम" की तरह है जहाँ आप अगले व्यक्ति के बोलने के खत्म होने तक उसे सुन नहीं सकते।
नया तरीका (PTP): AI को हर उस भविष्य के शब्द के लिए एक गुप्त कोड (एक रैंडम नंबर) दिया जाता है जिसका उसे अनुमान लगाना है।

जादुई ट्रिक: "रैंडम नंबर" की चाबी

यहाँ मुख्य नवाचार (innovation) को सरल रूप में समझाया गया है:

पुराने सिस्टम में, AI अगले शब्द की संभावना (probability) की गणना करता है (जैसे, "अगला शब्द 'cat' होने की 30% संभावना है")। फिर, कंप्यूटर एक सिक्का उछालता है (या पासा फेंकता है) यह तय करने के लिए कि वह "cat" चुनेगा या "dog"। यह सिक्का उछालने की प्रक्रिया AI द्वारा गणित करने के बाद होती है।

PTP इस क्रम को उलट देता है।
AI गणित करने और फिर पासा फेंकने के बजाय, पेपर कहता है: "आइए पासा पहले फेंकते हैं, और फिर AI को बताते हैं कि परिणाम क्या था।"

सेटअप: AI के टाइप करना शुरू करने से पहले, हम रैंडम नंबरों की एक सूची बनाते हैं (जैसे 0.45, 0.82, 0.11)।
हैंडऑफ: हम इन नंबरों को AI को ऐसे देते हैं जैसे कि वे कहानी का हिस्सा हों।
अनुमान (Prediction): AI अब तक की कहानी + रैंडम नंबरों को देखता है और कहता है, "आह! यदि अगला रैंडम नंबर 0.45 है, और पिछला शब्द 'The' था, तो अगला शब्द निश्चित रूप से 'cat' होना चाहिए।"
परिणाम: क्योंकि AI को पहले से पता है कि "पासा कब गिरा है", उसे अनुमान लगाने की ज़रूरत नहीं है। वह एक ही स्टेप में अगले 5, 10, या यहाँ तक कि 20 शब्दों की गणना कर सकता है।

उपमा: GPS बनाम ड्राइवर (The GPS vs. The Driver)

मानक AI (ड्राइवर): आप कार चला रहे हैं। आप सड़क देखते हैं, बाएं मुड़ने का निर्णय लेते हैं, स्टीयरिंग घुमाते हैं, और फिर अगला कदम उठाने के लिए सड़क देखते हैं। आप एक समय में केवल एक ही निर्णय ले सकते हैं।
PTP (GPS): कल्पना कीजिए कि आपके पास एक GPS है जो जानता है कि अगले 10 मील में आप कौन से मोड़ लेंगे क्योंकि आपने मार्ग को पहले ही प्रोग्राम कर दिया है। GPS पूरे मार्ग को मानचित्र पर तुरंत दिखा सकता है। आपको यह जानने के लिए इंतज़ार नहीं करना पड़ता कि आप कहाँ जा रहे हैं; मार्ग पहले से ही मैप (रैंडम नंबरों) द्वारा निर्धारित है।

यह एक बड़ी बात क्यों है?

पेपर दो अद्भुत चीजें साबित करता है:

यह उतना ही स्मार्ट है: भले ही AI एक साथ कई शब्दों का अनुमान लगा रहा है, यह धीमे, एक-एक करके काम करने वाले टाइपिस्ट जितना ही सटीक है। यह गुणवत्ता नहीं खोता है।
यह बहुत तेज़ है: क्योंकि AI एक स्टेप में 5 या 10 स्टेप्स कर सकता है, इसलिए इसकी गति में भारी उछाल आता है।

वास्तविक दुनिया में परिणाम

शोधकर्ताओं ने इसे कंप्यूटर पर टेस्ट किया:

गति (Speed): उन्होंने 2.4x की स्पीडअप हासिल किया। इसका मतलब है कि AI ने वह कार्य सामान्य से आधे से भी कम समय में पूरा कर लिया।
गुणवत्ता (Quality): जनरेट किया गया टेक्स्ट बिल्कुल वैसा ही था जैसा कि धीमे AI ने बनाया होता।
बहुमुखी प्रतिभा (Versatility): यह कोडिंग, कहानी लिखने, गणित के सवाल हल करने और अनुवाद पर काम करता है।

"एरर करेक्शन" सेफ्टी नेट (The "Error Correction" Safety Net)

आप पूछ सकते हैं: "क्या होगा अगर AI रैंडम नंबरों का गलत अनुमान लगा ले?"
पेपर में एक सुरक्षा प्रणाली शामिल है जिसे पार्शियल क्वाड्रेटिक डिकोडिंग (Partial Quadratic Decoding) कहा जाता है। इसे बैकग्राउंड में चलने वाले स्पेल-चेकर की तरह समझें।

तेज़ AI (छात्र) एक साथ 10 शब्दों का अनुमान लगाता है।
धीमा, सुपर-स्मार्ट AI (शिक्षक) जल्दी से जाँच करता है कि क्या वे 10 शब्द सही हैं।
यदि पहले 8 सही हैं और 9वाँ गलत है, तो सिस्टम पहले 8 को रखता है और केवल अंतिम 2 को फिर से जनरेट करता है। उसे शुरुआत से शुरू करने की आवश्यकता नहीं होती।

सारांश

पैरलेल टोकन प्रेडिक्शन एक सुपर-इंटेलिजेंट लेखक को रैंडम नंबरों की एक "चीट शीट" देने जैसा है जो यह निर्धारित करती है कि वे आगे क्या लिखेंगे। यह उन्हें "सोचने और प्रतीक्षा करने" के चरण को छोड़ने और एक ही सांस में पूरे वाक्य लिखने की अनुमति देता है, जिससे AI को बुद्धिमानी खोए बिना काफी तेज़ बना दिया जाता है।

संक्षेप में: उन्होंने रैंडमनेस (randomness) के कब होने को बदलकर, एक धीमी, क्रमिक प्रक्रिया को एक तेज़, समानांतर प्रक्रिया में बदल दिया।

यहाँ शोध पत्र "Parallel Token Prediction for Language Models" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) ऑटोरिग्रेसिव डिकोडिंग (autoregressive decoding) पर निर्भर करते हैं, जहाँ एक मॉडल एक समय में एक टोकन की भविष्यवाणी करता है। $T$ लंबाई वाली एक अनुक्रम (sequence) उत्पन्न करने के लिए, मॉडल को $T$ क्रमिक फॉरवर्ड पास (forward passes) करने होते हैं। यह एक महत्वपूर्ण इन्फरेंस लेटेंसी (inference latency) बाधा उत्पन्न करता है, क्योंकि प्रत्येक चरण पिछले चरण के आउटपुट पर निर्भर करता है, जो आधुनिक हार्डवेयर पर कुशल समानांतरकरण (parallelization) को रोकता है।

मौजूदा त्वरण विधियाँ (acceleration methods) सीमाओं का सामना करती हैं:

स्पेक्टिवल डिकोडिंग (Speculative Decoding): यह टोकन प्रस्तावित करने के लिए एक छोटे "ड्राफ्ट" मॉडल का उपयोग करता है, जिन्हें बाद में बड़े लक्ष्य मॉडल द्वारा सत्यापित किया जाता है। प्रभावी होने के बावजूद, ड्राफ्ट मॉडल अभी भी ऑटोरिग्रेसिव है और प्रति चरण केवल एक टोकन की भविष्यवाणी करने तक सीमित है।
स्वतंत्र मल्टी-टोकन प्रेडिक्शन (Independent Multi-Token Prediction): जो मॉडल एक साथ कई टोकन की भविष्यवाणी करते हैं, वे अक्सर यह मान लेते हैं कि टोकन सशर्त रूप से स्वतंत्र (conditionally independent) हैं। इससे असंगत अनुक्रम (जैसे कि def numpy जैसे सिंटैक्टिक एरर) उत्पन्न होते हैं क्योंकि मॉडल अनुमानित टोकनों के बीच निर्भरता को समन्वित नहीं कर पाता है।
डिस्क्रीट डिफ्यूजन (Discrete Diffusion): यह अनुक्रमों को बार-बार परिष्कृत (refine) करता है लेकिन इसमें एक अपरिहार्य क्रमिक घटक बना रहता है।

मुख्य चुनौती यह है कि ऑटोरिग्रेसिव मॉडल्स की प्रतिनिधि शक्ति (representational power) से समझौता किए बिना, एक ही मॉडल कॉल में कई परस्पर निर्भर टोकन कैसे उत्पन्न किए जाएं।

2. कार्यप्रणाली: पैरेलल टोकन प्रेडिक्शन (PTP)

लेखक पैरेलल टोकन प्रेडिक्शन (PTP) का प्रस्ताव करते हैं, एक ऐसा फ्रेमवर्क जो रैंडमनेस (randomness) के स्रोत को सैंपलिंग प्रक्रिया (post-hoc) से बदलकर इनपुट वेरिएबल्स में स्थानांतरित कर देता है।

मुख्य अवधारणा: सहायक वेरिएबल्स के माध्यम से नियत सैंपलिंग (Deterministic Sampling via Auxiliary Variables)

मानक ऑटोरिग्रेसिव जनरेशन में, एक टोकन $t_i$ को एक सहायक रैंडम वेरिएबल $u_i \sim U[0, 1]$ का उपयोग करके वितरण $P(t_i | t_{<i})$ से सैंपल किया जाता है। $u_i$ दिए जाने पर चयन नियत (deterministic) होता है:
$t_i = \text{Pick}(u_i, P(\cdot | t_{<i}))$
जहाँ $\text{Pick}$ इनवर्स क्यूम्युलेटिव डिस्ट्रीब्यूशन फंक्शन है।

PTP का नवाचार: $u_i$ को मॉडल द्वारा वितरण की भविष्यवाणी करने के बाद सैंपल करने के बजाय, PTP सहायक वेरिएबल्स $u_i, \dots, u_k$ को संदर्भ टोकन (context tokens) के साथ स्पष्ट इनपुट के रूप में मॉडल में फीड करता है।

थ्योरम 1: यदि मॉडल के पास सहायक वेरिएबल्स $u_i, \dots, u_k$ तक पहुँच है, तो भविष्य के टोकन $t_i, \dots, t_k$ इन इनपुट्स के नियतात्मक फलन (deterministic functions) बन जाते हैं। मॉडल प्रदान किए गए रैंडम सीड के अनुरूप विशिष्ट टोकन की भविष्यवाणी करके "सैंपल" करना सीखता है।
परिणाम: मॉडल एक सिंगल फॉरवर्ड पास में टोकन का एक अनुक्रम $t_i, \dots, t_k$ की भविष्यवाणी कर सकता है क्योंकि उन्हें चुनने के लिए आवश्यक रैंडमनेस पहले से ही इनपुट के रूप में उपलब्ध है।

दो वेरिएंट्स (Variants of PTP)

वन-हॉट PTP (O-PTP):
- मॉडल संदर्भ $t_{<i}$ और सहायक वेरिएबल्स $u_i, \dots, u_k$ का एक अनुक्रम लेता है।
- यह प्रत्येक स्थिति $k$ के लिए एक वन-हॉट डिस्ट्रीब्यूशन (एक एकल टोकन) आउटपुट करता है।
- प्रशिक्षण (Training): इसे एक टीचर मॉडल से डिस्टिल (distill) किया जाता है। टीचर के जनरेशन पाथ को "रिवर्स-इंजीनियर" किया जाता है ताकि विशिष्ट $u$ मानों को खोजा जा सके जिन्होंने प्रशिक्षण अनुक्रम को निर्मित किया था। स्टूडेंट को इन वन-हॉट लक्ष्यों से मेल खाने के लिए प्रशिक्षित किया जाता है।
- उपयोग का मामला: तेज़ इन्फरेंस जहाँ गति, सटीक वितरण की तुलना में अधिक महत्वपूर्ण है।
कैटेगोरिकल PTP (C-PTP):
- पूर्ण संभाव्यता वितरण (अनिश्चितता मात्रा निर्धारण या बिना टीचर के प्रशिक्षण के लिए) को बनाए रखने के लिए, यह $P(t_k | t_{<i}, u_i, \dots, u_{k-1})$ की भविष्यवाणी करता है।
- महत्वपूर्ण रूप से, यह $t_k$ की भविष्यवाणी के लिए विशिष्ट सहायक वेरिएबल $u_k$ को रोक (withhold) देता है।
- थ्योरम 2: अतीत के सहायकों (जो इतिहास को एनकोड करते हैं) पर आधारित होने के बावजूद वर्तमान $u_k$ को बाहर रखकर, यह मॉडल बिल्कुल वही कंडीशनल डिस्ट्रीब्यूशन प्राप्त करता है जो एक मानक ऑटोरिग्रेसिव मॉडल $P(t_k | t_{<k})$ करता है।
- उपयोग का मामला: यह इनवर्स ऑटोरिग्रेसिव ट्रेनिंग (बिना टीचर के स्क्रैच से प्रशिक्षण) और टेम्परेचर स्केलिंग की अनुमति देता है।

त्रुटि सुधार: पार्शियल क्वाड्रेटिक डिकोडिंग (Partial Quadratic Decoding)

चूंकि सीमित मॉडल क्षमता एक बार में पूरी तरह से सुसंगत अनुक्रम उत्पन्न करने की लंबाई को सीमित करती है, इसलिए PTP को एक वेरिफिकेशन स्कीम के साथ जोड़ा जाता है:

मानक स्पेक्टिवल डिकोडिंग: क्रमिक प्रस्ताव और सत्यापन।
क्वाड्रेटिक डिकोडिंग: सभी संभावित ब्रांच लेंथ का समानांतर सत्यापन (कंप्यूटेशनल रूप से महंगा)।
पार्शियल क्वाड्रेटिक डिकोडिंग (प्रस्तावित): PTP मॉडल कॉन्फिडेंस स्कोर (O-PTP प्रोबेबिलिटी से प्राप्त) के साथ टोकन का एक अनुक्रम उत्पन्न करता है। सिस्टम विभिन्न संख्या में टोकन सही होने के अनुमान के आधार पर समानांतर शाखाएँ (branches) बनाता है।
- यह सिस्टम कंप्यूटेशनल बजट को सही होने की संभावना (कॉन्फिडेंस स्कोर के माध्यम से अनुमानित) के आधार पर आवंटित करता है।
- यह फुल क्वाड्रेटिक डिकोडिंग की तुलना में काफी कम कंप्यूटेशनल ओवरहेड के साथ लंबे अनुक्रमों के समानांतर सत्यापन की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

अभिव्यक्ति क्षमता का सैद्धांतिक प्रमाण (Theoretical Proof of Expressivity): लेखक सिद्ध करते हैं कि PTP ऑटोरिग्रेसिव मॉडल्स जितना ही अभिव्यंजक (expressive) है। यह एक ही कॉल में टोकनों के बीच मनमाने संबंधों को दर्शा सकता है, जिससे पिछले मल्टी-टोकन तरीकों की स्वतंत्रता संबंधी धारणाओं (independence assumptions) पर विजय मिलती है।
नवीन प्रशिक्षण प्रतिमान (Novel Training Paradigms):
- डिस्टिलेशन (Distillation): मौजूदा ऑटोरिग्रेसिव मॉडल्स को कुशलतापूर्वक PTP मॉडल्स (O-PTP और C-PTP) में डिस्टिल करना।
- इनवर्स ऑटोरिग्रेसिव ट्रेनिंग: यह प्रदर्शित करना कि C-PTP को केवल डेटा का उपयोग करके (बिना किसी टीचर मॉडल के) संगत सहायक वेरिएबल्स को पुनरावृत्ति से हल करके स्क्रैच से प्रशिक्षित किया जा सकता है।
कुशल डिकोडिंग स्कीम: कॉन्फिडेंस एस्टीमेट्स का लाभ उठाकर सत्यापन को कुशलतापूर्वक समानांतर करने के लिए पार्शियल क्वाड्रेटिक डिकोडिंग का परिचय।
आर्किटेक्चर अनुकूलन (Architecture Adaptation): निरंतर सहायक वेरिएबल्स (float32 $u$ को बाइनरी रिप्रजेंटेशन में मैप करना) के लिए एक विशिष्ट एम्बेडिंग स्कीम के साथ मानक ट्रांसफार्मर बैकबोन का उपयोग करके PTP का कार्यान्वयन।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर कोड जनरेशन और विविध प्राकृतिक भाषा कार्यों (SpecBench) पर PTP का मूल्यांकन करता है।

स्पीडअप (Speedup):
- एक विविध-कार्य स्पेक्टिवल डिकोडिंग बेंचमार्क पर, PTP ने मानक ऑटोरिग्रेसिव डिकोडिंग की तुलना में 2.4× वॉल-क्लॉक स्पीडअप प्राप्त किया।
- इसने प्रति स्पेक्टिवल डिकोडिंग स्टेप औसतन 4.2 टोकन स्वीकार किए, जो ऑटोरिग्रेसिव ड्राफ्ट मॉडल्स (जो ~1 टोकन प्रति स्टेप स्वीकार करते हैं) से काफी बेहतर प्रदर्शन करता है।
बेसलाइन के साथ तुलना:
- ऑटोरिग्रेसिव ड्राफ्ट्स के विरुद्ध: PTP ड्राफ्ट मॉडल्स ने समान आकार के ऑटोरिग्रेसिव ड्राफ्ट मॉडल्स की तुलना में बेहतर प्रदर्शन किया, जिससे अनुकूल मॉडल आकार बड़े मॉडल्स की ओर स्थानांतरित हो गया।
- स्वतंत्र भविष्यवाणी के विरुद्ध: PTP ने काफी अधिक सुसंगत अनुक्रम उत्पन्न किए। इंडिपेंडेंट प्रेडिक्शन मॉडल्स ने ~60% असंगत टोकन जोड़े (जैसे def sys) उत्पन्न किए, जबकि PTP ने >99% मामलों में सार्थक जोड़े बनाए।
स्क्रैच से प्रशिक्षण:
- NYC टैक्सी डेटा पर प्रशिक्षित C-PTP ने 19.88 की पर्प्लेक्सिटी (perplexity) प्राप्त की, जो एक ऑटोरिग्रेसिव बेसलाइन (19.81) के लगभग समान है, जो सिद्ध करता है कि यह एक स्टैंडअलोन जेनेरेटिव मॉडल के रूप में कार्य कर सकता है।
स्केलेबिलिटी (Scalability):
- 66k से 1.1B पैरामीटर्स तक के मॉडल्स पर प्रयोगों ने दिखाया कि PTP ड्राफ्ट्स ने ऑटोरिग्रेसिव ड्राफ्ट्स की तुलना में लगातार उच्च स्पीडअप प्राप्त किया।
- 7B-पैरामीटर वाले मॉडल (Vicuna-7B) को PTP के साथ फाइन-ट्यून करने पर मल्टी-टर्न कन्वर्सेशन, ट्रांसलेशन और मैथ जैसे कार्यों में सर्वश्रेष्ठ परिणाम मिले।

5. महत्व और भविष्य के निहितार्थ (Significance and Future Implications)

क्रमिक बाधा को तोड़ना (Breaking the Sequential Bottleneck): PTP यह प्रदर्शित करता है कि ऑटोरिग्रेसिव ट्रांसफॉर्मर्स की क्रमिक प्रकृति एक अंतर्निहित सीमा नहीं बल्कि एक डिज़ाइन विकल्प है। रैंडमनेस को इनपुट में स्थानांतरित करके, निर्भर टोकन का वास्तविक समानांतर जनरेशन संभव है।
रियल-टाइम अनुप्रयोग: 2.4× स्पीडअप LLMs को बिना भारी हार्डवेयर अपग्रेड के रियल-टाइम अनुप्रयोगों (जैसे लाइव कोडिंग असिस्टेंट, इंटरैक्टिव चैटबॉट्स) के लिए काफी व्यवहार्य बनाता है।
नया डिज़ाइन स्पेस: यह फ्रेमवर्क "लॉन्ग सीक्वेंस में सोचने" (thinking in long sequences) के द्वार खोलता है, जहाँ मॉडल एक ही स्टेप में पूरे टेक्स्ट या कोड ब्लॉक की योजना बना सकते हैं और उत्पन्न कर सकते हैं, जिससे प्लानिंग कार्यों में डाउनस्ट्रीम प्रदर्शन में सुधार हो सकता है।
पूरकता (Complementarity): PTP मौजूदा त्वरण रणनीतियों (जैसे स्पेक्टिवल डिकोडिंग) के साथ संगत है और अधिक लाभ के लिए उन्हें जोड़ा जा सकता है।

निष्कर्षतः, पैरेलल टोकन प्रेडिक्शन सैंपलिंग प्रक्रिया को एक नियतात्मक, समानांतर योग्य फलन में बदलकर LLM इन्फरेंस को तेज करने का एक सैद्धांतिक रूप से सुदृढ़ और अनुभवजन्य रूप से मान्य तरीका प्रदान करता है, जो ऑटोरिग्रेसिव मॉडल्स की उच्च गुणवत्ता और सुसंगतता को बनाए रखते हुए महत्वपूर्ण स्पीडअप प्राप्त करता है।