🤖 machine learning

Trees from Marginals: Autoregressive drafting with factorized priors

यह शोधपत्र Weaver को प्रस्तुत करता है, जो एक हल्का ऑटोरेग्रेसिव एडैप्टर (autoregressive adapter) है जो कुशल ट्री-आधारित स्पेकुलेटिव डिकोडिंग को सक्षम करने के लिए फैक्टराइज्ड ड्राफ्ट मार्जिनल्स (factorized draft marginals) से कंडीशनल डिपेंडेंसीज़ को पुनर्गठित करता है, जो एक नवीन रोलबैक-मुक्त सत्यापन एल्गोरिदम और अनुकूलित CUDA कर्नेल के माध्यम से मानक ऑटोरेग्रेसिव डिकोडिंग की तुलना में 4.37-गुना गति वृद्धि प्राप्त करता है।

मूल लेखक: Yuma Oda, Ryan Mathieu, Roman Knyazhitskiy, Artur Chakhvadze

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuma Oda, Ryan Mathieu, Roman Knyazhitskiy, Artur Chakhvadze

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी कहानी लिखने की कोशिश कर रहे हैं जिसमें एक बहुत ही बुद्धिमान, लेकिन धीमी गति वाला लाइब्रेरियन (AI मॉडल) है। हर बार जब आप उससे कहानी का अगला शब्द पूछते हैं, तो लाइब्रेरियन को रुकना पड़ता है, गहराई से सोचना पड़ता है, अपनी विशाल लाइब्रेरी की सभी किताबों की जाँच करनी पड़ती है, और फिर वह आपको अगला शब्द फुसफुसाकर बताता है। यह वर्तमान AI के काम करने का तरीका है: एक बार में एक शब्द, एक समय में एक कदम। यह सटीक है, लेकिन धीमा है।

यह शोध पत्र एक नया तरीका पेश करता है जिससे इस लाइब्रेरियन को सटीकता खोए बिना बहुत तेज़ बनाया जा सकता है। वे अपने इस तरीके को "ट्रीज़ फ्रॉम मार्जिनल्स" (या DFlash-TfM) कहते हैं। यह यहाँ कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: "अनुमान लगाने वाले खेल" की सीमा

गति बढ़ाने के लिए, शोधकर्ताओं ने एक ट्रिक ईजाद की जिसे स्पेक्युलेटिव डिकोडिंग (Speculative Decoding) कहा जाता है।

पुराना तरीका: एक तेज़, कनिष्ठ सहायक (ड्राफ्टर) अगले कुछ शब्दों का अनुमान लगाता है। फिर, धीमा लाइब्रेरियन (वेरिफायर) यह जाँचता है कि क्या वे अनुमान सही हैं। यदि वे सही हैं, तो लाइब्रेरियन उन सभी को एक साथ स्वीकार कर लेता है। यदि नहीं, तो लाइब्रेरियन गलती सुधारता है और फिर से शुरू करता है।
"फैक्टराइज्ड" ड्राफ्टर्स के साथ समस्या: कुछ सहायक इसलिए बहुत तेज़ होते हैं क्योंकि वे अगले सभी शब्दों का अनुमान एक साथ लगा लेते हैं, यह नज़रअंदाज़ करते हुए कि वे आपस में कैसे जुड़ते हैं। यह एक ऐसे शेफ की तरह है जो पिछले स्वादों को चखे बिना सूप की अगली तीन सामग्रियों का अनुमान लगाता है।
- नुकसान: जैसे-जैसे अनुमानों की सूची लंबी होती जाती है, शेफ क्रम (सीक्वेंस) का अनुमान लगाने में खराब होता जाता है। पहला अनुमान सही हो सकता है, लेकिन तीसरा अनुमान आमतौर पर गलत होता है क्योंकि उसने पहले दो शब्दों को ध्यान में नहीं रखा था। यह एक बार में स्वीकार किए जाने वाले शब्दों की संख्या को सीमित कर देता है।

समाधान: "वीवर" (Weaver) सहायक

लेखकों ने एक नया सिस्टम बनाया जो तेज़ शेफ की गति को एक सावधान संपादक के तर्क के साथ जोड़ता है। वे नए संपादक को Weaver कहते हैं।

"टॉप-के" (Top-K) शॉर्टलिस्ट: सबसे पहले, तेज़ सहायक (DFlash) एक त्वरित, मोटा अनुमान लगाता है और अगले स्थान के लिए सबसे संभावित 512 शब्दों की एक शॉर्टलिस्ट प्रदान करता है। यह एक शेफ की तरह है जो कहता है, "मुझे लगता है कि अगली सामग्री इन 512 मसालों में से एक है।"
वीवर का काम: अंधे होकर अनुमान लगाने के बजाय, Weaver उस शॉर्टलिस्ट को देखता है। यह एक स्मार्ट संपादक की तरह कार्य करता है जो कहता है, "ठीक है, अगर पहला शब्द 'नमक' था, तो अगला शब्द निश्चित रूप से 'काली मिर्च' होगा, 'चीनी' नहीं।"
पेड़ (Tree) बनाना: वीवर केवल अनुमानों की एक सीधी रेखा नहीं बनाता। यह एक पेड़ (Tree) बनाता है।
- एक फैमिली ट्री की कल्पना करें। इसकी जड़ (Root) वर्तमान वाक्य है।
- वीवर अलग-अलग शाखाएं बनाता है, जिससे कहानी के विभिन्न संभावित मार्ग बनते हैं (जैसे, "बिल्ली मैट पर बैठी थी" बनाम "बिल्ली फर्श पर बैठी थी")।
- क्योंकि वीवर छोटा है और केवल तेज़ सहायक द्वारा दी गई शॉर्टलिस्ट को देखता है, इसलिए यह संभावनाओं का यह पेड़ बनाने में अविश्वसनीय रूप से तेज़ है।

सत्यापन (Verification): पेड़ की जाँच करना

अब धीमे लाइब्रेरियन को इस अनुमानों के पेड़ की जाँच करनी होती है।

पुरानी समस्या: यदि लाइब्रेरियन एक मानक "रिकरेंट" मेमोरी सिस्टम (जैसे आधुनिक AI में गेटेड डेल्टा नेट लेयर्स) का उपयोग करता है, तो एक पेड़ की जाँच करना आमतौर पर एक दुस्वप्न जैसा होता है। यह एक पेड़ की हर एक शाखा पर एक-एक करके चलने जैसा है ताकि यह देखा जा सके कि कौन सा रास्ता वास्तविक है। यह धीमा है।
नया ट्रिक: लेखकों ने एक विशेष गणितीय शॉर्टकट (एक "रोलबैक-फ्री" एल्गोरिदम) का आविष्कार किया है।
- हर शाखा पर चलने के बजाय, वे एक मास्क्ड ट्राइएंगुलर सॉल्व (masked triangular solve) का उपयोग करते हैं। इसे एक जादुई मानचित्र की तरह समझें जो लाइब्रेरियन को एक ही बार में पूरे पेड़ की संरचना देखने देता है और तुरंत पता लगा लेता है कि कौन सा रास्ता सही है, बिना प्रत्येक शाखा के लिए मेमोरी स्टेट की पुन: गणना किए।
- यह एक GPS होने जैसा है जो आपको हर गलत रास्ते पर गाड़ी चलाने के बजाय, एक जटिल मानचित्र पर तुरंत सही मार्ग को हाइलाइट कर देता है।

परिणाम: गति और दक्षता

इन विचारों को जोड़कर, यह सिस्टम दो बड़ी जीत हासिल करता है:

अधिक स्वीकृत शब्द: क्योंकि वीवर तेज़ सहायक की तार्किक त्रुटियों को ठीक करता है, लाइब्रेरियन शब्दों की लंबी श्रृंखलाओं को स्वीकार करता है (पिछले सर्वोत्तम तरीके की तुलना में 77% अधिक)।
भारी गति वृद्धि: पूरी प्रक्रिया इतनी कुशल है कि यह AI मानक धीमी विधि की तुलना में 4.37 गुना तेज़ी से टेक्स्ट जेनरेट करता है। यह पिछले "सबसे तेज़" तरीके को भी लगभग 25% से पछाड़ देता है।

सारांश उपमा

मानक AI: एक घोंघा जो एक बार में एक अक्षर लिखते हुए कहानी लिख रहा है, और हर अक्षर को डिक्शनरी से जाँच रहा है।
पुराना तेज़ तरीका: एक तेज़ पाठक जो अगले पैराग्राफ का पूरा अनुमान लगाता है, लेकिन अक्सर पैराग्राफ के बीच में गलती कर देता है क्योंकि उसने शुरुआत पर ध्यान नहीं दिया था।
यह नया तरीका (Weaver): एक तेज़ पाठक जो उन शीर्ष 500 शब्दों को जल्दी से चुनता है जो फिट हो सकते हैं, और एक छोटा, सुपर-स्मार्ट संपादक (Weer) जो तुरंत उन शब्दों को सबसे तार्किक वाक्यों के एक ब्रांचिंग ट्री में व्यवस्थित करता है। एक विशेष "जादुई मानचित्र" (नया कर्नेल) फिर पूरे पेड़ की जांच करता है कि कौन सा रास्ता वास्तविक है।

परिणामस्वरूप, एक ऐसा AI मिलता है जो एक तेज़ पाठक की तरह लिखता है लेकिन एक सावधान संपादक की सटीकता के साथ, जिससे बातचीत बहुत अधिक तत्काल और रिस्पॉन्सिव महसूस होती है।

तकनीकी सारांश: मार्जिनल्स से ट्रीज़ (DFlash-TfM)

समस्या विवरण

ऑटो-रिग्रेसिव लार्ज लैंग्वेज मॉडल्स (LLMs) स्वाभाविक रूप से क्रमिक (sequential) होते हैं, जो प्रत्येक चरण में एक टोकन जनरेट करते हैं। यह क्रमिक प्रकृति एक मेमोरी-बाउंड बॉटलनेक (memory-bound bottleneck) बनाती है जहाँ लेटेंसी (latency) कंप्यूट के बजाय DRAM बैंडविड्थ द्वारा नियंत्रित होती है, जिससे ऊर्जा दक्षता कम हो जाती है और इंटरैक्टिविटी (प्रति अनुक्रम डिकोड किए गए टोकन) सीमित हो जाती है। जबकि स्पेक्युलेटिव डिकोडिंग (speculative decoding) एक समाधान प्रदान करती है, जिसमें एक तेज़ "ड्राफ्टर" मॉडल का उपयोग कई टोकन प्रस्तावित करने के लिए किया जाता है जिन्हें मुख्य "वेरिफायर" मॉडल द्वारा समानांतर में सत्यापित किया जा सकता है, मौजूदा दृष्टिकोणों में ट्रेड-ऑफ (trade-offs) का सामना करना पड़ता है:

फैक्टराइज़्ड ड्राफ्टर्स (Factorized Drafters): DFlash जैसे मॉडल भविष्य के टोकन को समानांतर में सशर्त स्वतंत्र मार्जिनल्स (conditionally independent marginals) के रूप में प्रेडिक्ट करते हैं। हालांकि ये कुशल हैं, लेकिन इनकी स्वतंत्रता की धारणा (independence assumption) के कारण जैसे-जैसे स्पेक्युलेटिव बजट (ड्राफ्ट लंबाई) बढ़ता है, स्वीकृति दर (acceptance rates) तेजी से गिर जाती है, क्योंकि वे प्रस्तावित टोकनों के बीच सशर्त निर्भरताओं (conditional dependencies) को पकड़ने में विफल रहते हैं।
ऑटो-रिग्रेसिव ड्राफ्टर्स (Autoregressive Drafters): ये निर्भरताओं को सही ढंग से कैप्चर करते हैं लेकिन हर स्टेप पर फुल-वोकैबुलरी प्रोजेक्शन के कारण उच्च ओवरहेड का सामना करते हैं, जिससे गति का लाभ समाप्त हो जाता है।
रिकरेंट मॉडल्स पर वेरिफिकेशन (Verification on Recurrent Models): मानक ट्री-वेरिफिकेशन एल्गोरिदम अटेंशन मास्क पर निर्भर करते हैं। हालाँकि, आधुनिक मॉडल जो गेटेड डेल्टा नेट (Gated Delta Net - GDN) लेयर्स (जैसे Qwen3.6) का उपयोग करते हैं, वे नॉन-कम्यूटेटिव स्टेट ट्रांजिशन (non-commutative state transitions) का उपयोग करते हैं जो सरल पूर्वज-प्रतिबंधित (ancestor-restricted) मास्किंग का समर्थन नहीं करते हैं, जिससे कुशल सिंगल-पास ट्री वेरिफिकेशन एक खुली समस्या बन जाती है।

कार्यप्रणाली: DFlash-TfM

लेखक DFlash-TfM (Trees from Marginals) का प्रस्ताव करते हैं, जो एक हाइब्रिड आर्किटेक्चर है जो फैक्टराइज़्ड ड्राफ्टर्स की समानांतर दक्षता को ऑटो-रिग्रेसिव मॉडल्स की सशर्त सटीकता के साथ जोड़ता है, और इसके साथ ही एक नया सिस्टम-लेवल वेरिफिकेशन कर्नेल भी प्रदान करता है।

1. वीवर एडॉप्टर (The Weaver Adapter)

मुख्य नवाचार Weaver है, जो एक हल्का ऑटो-रिग्रेसिव एडॉप्टर (56.7M पैरामीटर्स) है जो एक सीमित वोकैबुलरी पर काम करता है।

इनपुट: Weaver, एक प्री-ट्रेंड फैक्टराइज़्ड ड्राफ्टर (DFlash) और वेरिफायर से प्राप्त हिडन स्टेट्स को लेता है।
तंत्र (Mechanism): फुल-वोकैबुलरी प्रोजेक्शन करने के बजाय, Weaver, DFlash द्वारा प्रेडिक्ट किए गए Top- $K$ मार्जिनल टोकन्स को निकालता है। फिर यह इस छोटे कैंडिडेट सेट ( $K=512$ ) पर रेसिडुअल डिस्ट्रीब्यूशन (residual distribution) को ऑटो-रिग्रेसिव रूप से प्रेडिक्ट करता है।
लाभ: यह टोकनों के बीच सशर्त निर्भरताओं (जैसे, टोकन $t+1$ वास्तविक टोकन $t$ पर निर्भर करता है) को बहाल करता है, बिना फुल-वोकैबुलरी प्रोजेक्शन की मेमोरी-बैंडविड्थ लागत के। मॉडल एक प्रस्ताव वृक्ष (proposal tree) का निर्माण करता है जहाँ शाखाएं इन कंडिशनड रेसिड्यूल्स से सैंपल की जाती हैं।

2. ट्री कंस्ट्रक्शन (Tree Construction)

लेखक थ्रूपुट में सुधार के लिए DySpec ट्री-कंस्ट्रक्शन एल्गोरिदम को संशोधित करते हैं। स्ट्रिक्टली सीक्वेंशियल बेस्ट-फर्स्ट एक्सपेंशन के बजाय, वे कैंडिडेट हीप (candidate heap) से टॉप- $w$ नोड्स निकालते हैं और $w$ एक्सपेंशन को समानांतर में करते हैं। यह मेमोरी बैंडविड्थ और कंप्यूट प्रेशर के बीच संतुलन बनाता है, जिससे पूरे ड्राफ्ट ट्री का निर्माण $\lceil B/w \rceil$ सीक्वेंशियल ऑपरेशन्स में संभव हो पाता है।

3. GDN के लिए रोलबैक-फ्री ट्री वेरिफिकेशन (Rollback-Free Tree Verification for GDN)

गेटेड डेल्टा नेट लेयर्स वाले मॉडल्स को सपोर्ट करने के लिए, लेखक एक रोलबैक-फ्री ट्री-वेरिफिकेशन एल्गोरिदम विकसित करते हैं:

चुनौती: GDN लेयर्स स्टेट को $S_t = \alpha_t(I - \beta_t k_t k_t^\top)S_{t-1} + \beta_t k_t v_t^\top$ के माध्यम से अपडेट करती हैं। मैट्रिक्स अपडेट की नॉन-कम्यूटेटिव प्रकृति डायगोनल स्टेट-स्पेस मॉडल्स में उपयोग किए जाने वाले मानक संचयी-उत्पाद (cumulative-product) अनुकूलन को रोकती है।
समाधान: लेखक लीनियर रिकरेंस के चंक्ड फॉर्म (chunked form) का उपयोग करते हैं। वे ट्री स्ट्रक्चर पर मास्क्ड ट्राइएंगुलर सॉल्व (masked triangular solve) के रूप में वेरिफिकेशन को फॉर्म्युलेट करते हैं।
- ट्री को टोपोलॉजिकल रूप से सॉर्ट किया जाता है।
- एल्गोरिदम इंटरैक्शन मैट्रिसेस ( $X$ और $Y$ ) की गणना करता है जो पूर्वज संबंधों (ancestor relationships) का प्रतिनिधित्व करते हैं।
- यह रिकरेंट स्टेट को स्पेकुलेटिव रूप से अपडेट किए बिना आउटपुट कंप्यूट करने के लिए एक लीनियर सिस्टम $(I+X)U = \beta V$ को हल करता है।
- स्टेट कमिटमेंट (State commitment) को अगले डिकोडिंग इटरेशन तक विलंबित किया जाता है, जब स्वीकृत ब्रांच ज्ञात हो जाती है। यह स्टेट रोलबैक की आवश्यकता को समाप्त करता है।
कार्यान्वयन: इसे SGLang में एक फ्यूज्ड CUDA कर्नेल के रूप में लागू किया गया है, जो ग्राम मैट्रिक्स (Gram matrix) की गणना करता है, टाइल्ड फॉरवर्ड सब्स्टीट्यूशन के माध्यम से सिस्टम को हल करता है, और सिंगल पास में आउटपुट स्टेज को लागू करता है।

मुख्य योगदान

हाइब्रिड आर्किटेक्चर: DFlash-TfM का परिचय, जो एक छोटा ऑटो-रिग्रेसिव एडॉप्टर (Weaver) का उपयोग करता है जो फैक्टराइज़्ड मार्जिनल्स को कंडिशन करता है, जिससे लंबे डेप्थ पर शुद्ध फैक्टराइज़्ड ड्राफ्टर्स की स्वीकृति दर की सीमा बढ़ जाती है।
सैद्धांतिक अंतर्दृष्टि: विश्लेषण दिखाता है कि फैक्टराइज़्ड ड्राफ्टर्स की स्वीकृति दर मार्जिनल और कंडिशनल डिस्ट्रीब्यूशन के बीच टोटल वेरिएशन (TV) डिस्टेंस द्वारा सीमित है, और यह कि मार्जिनल्स को (Weaver के माध्यम से) वास्तविक टोकन्स पर कंडिशन करने से हाइब्रिड मॉडल किसी भी मार्जिनल-ओनली ड्राफ्टर की सैद्धांतिक सीमाओं को पार कर सकता है।
सिस्टम ऑप्टिमाइज़ेशन: नॉन-डायगोनल रिकरेंट लेयर्स (GDN) वाले मॉडल्स के लिए एक नया, रोलबैक-फ्री ट्री-वेरिफिकेशन एल्गोरिदम का व्युत्पत्ति, जो Qwen3.6 जैसे मॉडल्स के लिए कुशल स्पेक्युलेटिव डिकोडिंग सक्षम करता है जो पहले ट्री-बेस्ड मेथड्स के लिए कठिन थे।
कार्यान्वयन: SGLang के लिए ऑप्टिमाइज्ड CUDA कर्नेल्स जो वेरिफिकेशन स्टेप्स को फ्यूज करते हैं, जो प्रति-ब्रांच रिकरेंट बेसलाइन्स की तुलना में लेटेंसी को काफी कम करते हैं।

प्रयोगात्मक परिणाम

NVIDIA B200 GPU पर चैट, मैथ और कोड बेंचमार्क पर Qwen3.6-27B (bfloat16) का मूल्यांकन किया गया:

स्पीडअप: DFlash-TfM स्टैंडर्ड ऑटो-रिग्रेसिव डिकोडिंग की तुलना में 4.37× स्पीडअप प्राप्त करता है।
बेसलाइन तुलना: यह अत्यधिक अनुकूलित DFlash बेसलाइन से 24.7% और डेटासेट के आधार पर DDTree बेसलाइन से 10–30% बेहतर प्रदर्शन करता है।
एक्सेप्टेंस लेंथ: यह चेन DFlash बेसलाइन के सापेक्ष मीन एक्सेप्टेंस लेंथ (MAL) को 77% और समान ट्री साइज पर DDTree के सापेक्ष 32% बढ़ाता है।
वेरिफिकेशन एफिशिएंसी: फ्यूज्ड कर्नेल, प्रति-ब्रांच रिकरेंट वेरिफिकेशन की तुलना में काफी बेहतर स्केल करता है। 128 टोकन के ट्री साइज पर, फ्यूज्ड कर्नेल रिकरेंट बेसलाइन से 7.1× तेज़ है। वेरिफिकेशन स्टेप कुल डिकोड समय का केवल ~12% हिस्सा है।

महत्व और दावे

पेपर का दावा है कि फैक्टराइज़्ड ड्राफ्टर्स की प्राथमिक सीमा संरचनात्मक (स्वतंत्रता की धारणा) है, न कि मॉडल क्षमता की कमी। एक सीमित वोकैबुलरी पर काम करने वाले हल्के ऑटो-रिग्रेसिव एडॉप्टर को पेश करके, लेखक प्रदर्शित करते हैं कि यह संभव है कि कंडीशनल डिपेंडेंसीज़ को बहाल किया जाए और फुल-वोकैबुलरी प्रोजेक्शन के ओवरहेड के बिना उच्च स्वीकृति दर प्राप्त की जाए।

इसके अलावा, यह कार्य एक महत्वपूर्ण सिस्टम गैप को संबोधित करता है: नॉन-डायगोनल रिकरेंट लेयर्स (GDN) वाले मॉडल्स के लिए कुशल स्पेक्युलेटिव डिकोडिंग को सक्षम बनाना। प्रस्तावित रोलबैक-फ्री वेरिफिकेशन कर्नेल स्टेट रोलबैक की आवश्यकता को हटा देता है, जिससे ट्री-बेस्ड स्पेक्युलेटिव डिकोडिंग आधुनिक आर्किटेक्चर के एक व्यापक वर्ग के लिए व्यवहार्य हो जाती है। लेखक निष्कर्ष निकालते हैं कि ये संयुक्त मॉडल और सिस्टम योगदान लोकल और सर्वर-साइड LLM इन्फरेंस के लिए स्टेट-ऑफ-द-आर्ट सुधार का प्रतिनिधित्व करते हैं।