💬 NLP

TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs

TokenTiming एक सार्वभौमिक स्पेक्युलेटिव डिकोडिंग विधि है जो अलग-अलग शब्दावलियों वाले मिसमैच्ड ड्राफ्ट और टारगेट मॉडल्स को संरेखित करने के लिए डायनेमिक टाइम वार्पिंग का लाभ उठाती है, जिससे बिना किसी मॉडल रिट्रेनिंग के कुशल LLM इन्फरेंस त्वरण सक्षम होता है।

मूल लेखक: Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: दो लोग अलग-अलग बोलियाँ बोल रहे हैं

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन धीमा शिक्षक (Target Model) है जो निबंध लिखता है। आपके पास एक तेज़, ऊर्जावान छात्र (Draft Model) भी है जो यह अनुमान लगाने की कोशिश करता है कि शिक्षक आगे क्या लिखेगा।

AI की दुनिया में, एक तकनीक llamada Speculative Decoding है। यह इस प्रकार काम करती है:

छात्र तेज़ी से अगले कुछ शब्दों का अनुमान लगाता है।
शिक्षक उन अनुमानों की जाँच करता है।
यदि शिक्षक सहमत होता है, तो वे सभी शब्दों को एक साथ स्वीकार कर लेते हैं (बहुत तेज़!)।
यदि शिक्षक असहमत होता है, तो वह अनुमान को खारिज कर देता है और स्वयं सही शब्द लिखता है।

चुनौती: इसके काम करने के लिए, छात्र और शिक्षक को बिल्कुल एक ही भाषा बोलनी चाहिए। उन्हें ठीक उसी शब्दकोश (dictionary) का उपयोग करना चाहिए। यदि छात्र कहता है "Scal-ing" (दो शब्द) और शिक्षक केवल "Scaling" (एक शब्द) को जानता है, तो सिस्टम टूट जाता है। शिक्षक छात्र के काम की जाँच नहीं कर सकता क्योंकि वे पहेली के अलग-अलग टुकड़ों को देख रहे हैं।

वर्तमान में, इसे ठीक करने के लिए, आपको छात्र को शिक्षक के विशिष्ट शब्दकोश को सीखने के लिए फिर से प्रशिक्षित (retrain) करना पड़ता है। यह एक फ्रांसीसी वक्ता को अंग्रेजी बोलने वाले के साथ खेल खेलने के लिए केवल अंग्रेजी फिर से सीखने के लिए मजबूर करने जैसा है। यह धीमा, महंगा है और आपको केवल उन्हीं छात्रों का उपयोग करने तक सीमित करता है जो पहले से ही उस विशिष्ट बोली को बोलते हैं।

समाधान: TokenTiming (एक सार्वभौमिक अनुवादक)

इस शोध पत्र के लेखक TokenTiming नामक एक नई विधि प्रस्तावित करते हैं। छात्र को शब्दकोश फिर से सीखने के लिए मजबूर करने के बजाय, उन्होंने एक स्मार्ट "अनुवादक" बनाया है जो चलते समय (on the fly) काम करता है।

यह कैसे काम करता है, इसे दो अलग-अलग मूवी सबटाइटल को संरेखित (align) करने के उदाहरण से समझते हैं:

1. "री-एनकोडिंग" (Re-encoding) का तरीका

कल्पना कीजिए कि छात्र एक वाक्य लिखता है: "Scal-ing law".
शिक्षक का शब्दकोश इसे देखता है: "Scaling" और "law".
सिस्टम छात्र के शब्दों को लेता है, उन्हें वापस सादे टेक्स्ट में बदल देता है ("Scaling law"), और फिर तुरंत शिक्षक के शब्दकोश का उपयोग करके उन्हें फिर से विभाजित करता है। अब, दोनों पक्ष एक ही टेक्स्ट को देख रहे हैं, बस वे अलग-अलग आकार के टुकड़ों में बँटे हुए हैं।

2. "डायनेमिक टाइम वार्पिंग" (Dynamic Time Warping - DTW)

यही असली जादू है। लेखकों ने संगीत और भाषण विश्लेषण से एक एल्गोरिदम लिया है जिसे Dynamic Time Warping (DTW) कहा जाता है।

उपमा: कल्पना कीजिए कि आपके पास एक ही गाने की दो रिकॉर्डिंग हैं। एक तेज़ ड्रमर द्वारा बजाई गई है, और दूसरी धीमी ड्रमर द्वारा। भले ही बीट्स (beats) पूरी तरह से मेल न खाएं (एक बीट बनाम दो बीट), फिर भी आप तेज़ गाने के "कोरस" को धीमी गति वाले गाने के "कोरस" से मिला सकते हैं।
शोध पत्र में: एल्गोरिदम छात्र के टुकड़ों और शिक्षक के टुकड़ों के बीच एक मानचित्र (map) बनाता है। यह समझता है कि छात्र का "Scal" + "ing" शिक्षक के "Scaling" से मेल खाता है। यह एक लचीला, many-to-many मैप बनाता है।

3. "प्रोबेबिलिटी हैंडऑफ" (Probability Handoff)

एक बार जब मैप बन जाता है, तो सिस्टम छात्र के आत्मविश्वास (जैसे, "मुझे 90% यकीन है कि 'Scaling' अगला शब्द है") को शिक्षक के शब्द के संस्करण में स्थानांतरित कर देता है। शिक्षक फिर जाँच करता है: "क्या मेरा गणित इससे सहमत है?" यदि हाँ, तो शब्दों को स्वीकार कर लिया जाता है। यदि नहीं, तो सिस्टम खुद को सुधारता है।

यह क्यों एक बड़ी बात है

शोध पत्र तीन मुख्य जीत का दावा करता है:

अब फिर से प्रशिक्षण की आवश्यकता नहीं: अब आप किसी भी छोटे, तेज़ मॉडल को किसी भी बड़े, धीमे शिक्षक के लिए छात्र के रूप में उपयोग कर सकते हैं, भले ही उनके शब्दकोश पूरी तरह से अलग हों। यह "प्लग-एंड-प्ले" है।
गति: उनके परीक्षणों में, इस विधि ने टेक्स्ट लिखने के मानक तरीके की तुलना में AI को 1.57 गुना तेज़ बना दिया। इसने उन पिछले तरीकों (जैसे TLI) को भी मात दी जो इस समस्या को हल करने की कोशिश कर रहे थे, क्योंकि वे तरीके बहुत कठोर थे और जब शब्दकोश पूरी तरह से मेल नहीं खाते थे, तो वे जानकारी को नष्ट कर देते थे।
बहुमुखी प्रतिभा (Versatility): उन्होंने गणित, कोडिंग, अनुवाद और सारांश (summarization) पर इसका परीक्षण किया। यह हर जगह अच्छी तरह से काम किया, यहाँ तक कि जब "छात्र" बहुत छोटा (68 मिलियन पैरामीटर) और "शिक्षक" बहुत बड़ा (70 बिलियन पैरामीटर) था।

निष्कर्ष (The Bottom Line)

TokenTiming AI के लिए एक सार्वभौमिक एडाप्टर (universal adapter) की तरह है। पहले, आपको एक विशिष्ट सॉकेट में फिट होने के लिए एक विशिष्ट प्लग की आवश्यकता होती थी। अब, आपके पास एक स्मार्ट एडाप्टर है जो किसी भी सॉकेट में फिट होने के लिए प्लग को तुरंत नया आकार दे देता है। यह हमें सबसे बड़े, सबसे स्मार्ट AI को तेज़ करने के लिए सबसे तेज़, सबसे छोटे AI मॉडल का उपयोग करने की अनुमति देता है, बिना उन्हें फिर से बनाए (rebuild) किए।

शोध पत्र क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह AI को अधिक बुद्धिमान बनाता है (लेखन की गुणवत्ता शिक्षक के समान ही रहती है)।
यह दावा नहीं करता कि यह चिकित्सा निदान या क्लिनिकल उपयोग के लिए काम करता है (यह पूरी तरह से टेक्स्ट जनरेशन को तेज़ बनाने के बारे में है)।
यह दावा नहीं करता कि यह सभी त्रुटियों को समाप्त कर देता है; यह केवल अनुमान लगाने की प्रक्रिया को जाँचने के तरीके को बहुत अधिक लचीला बनाता है।

तकनीकी सारांश: TokenTiming

समस्या विवरण

स्पेक्युलेटिव डिकोडिंग (SD) लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस को तेज करने के लिए एक प्रमुख तकनीक है, जो एक छोटे "ड्राफ्ट" मॉडल का उपयोग करती है जो प्रस्तावित टोकन (tokens) देता है जिन्हें एक बड़े "टारगेट" मॉडल द्वारा सत्यापित किया जाता है। हालांकि, वर्तमान SD विधियों के सामने एक मौलिक बाधा है: ड्राफ्ट और टारगेट मॉडल को एक ही समान शब्दावली ( $V_d = V_t$ ) साझा करनी चाहिए। यह आवश्यकता उपलब्ध ड्राफ्ट मॉडल्स के चयन को गंभीर रूप से सीमित करती है, जिससे अक्सर नए ड्राफ्ट मॉडल्स को शुरू से प्रशिक्षित करना पड़ता है या उन विशिष्ट मॉडल परिवारों का उपयोग करना पड़ता है जहाँ छोटे वेरिएंट भी कुशल त्वरण (acceleration) के लिए बहुत बड़े होते हैं।

"विषम शब्दावलियों" (heterogeneous vocabularies, जहाँ $V_d \neq V_t$ ) को संबोधित करने के मौजूदा प्रयास सीमित सफलता दिखाते हैं। टोकन-लेवल इंटरसेक्शन (TLI) जैसी विधियाँ शब्दावलियों के प्रतिच्छेदन (intersection) पर निर्भर करती हैं, जो आउट-ऑफ-वोकैबुलरी टोकन के लिए प्रोबेबिलिटी मास को त्याग देती हैं, जो डिकोडिंग प्रक्रिया की लॉसलेस (lossless) प्रकृति का उल्लंघन करता है। अन्य दृष्टिकोण, जैसे स्ट्रिंग-लेवल एक्जैक्ट मैच (SLEM), संभाव्य सैंपलिंग (probabilistic sampling) नहीं कर सकते हैं। फलस्वरूप, एक सार्वभौमिक, लॉसलेस SD फ्रेमवर्क की कमी है जो बिना री-ट्रेनिंग के किसी भी ऑफ-द-शेल्फ ड्राफ्ट मॉडल का उपयोग कर सके।

कार्यप्रणाली: TokenTiming

लेखक TokenTiming का प्रस्ताव करते हैं, जो एक डायनेमिक अलाइनमेंट विधि है जो टारगेट या ड्राफ्ट मॉडल को संशोधित किए बिना विषम शब्दावलियों के बीच लॉसलेस स्पेक्युलेटिव डिकोडिंग को सक्षम बनाती है। मुख्य नवाचार डायनेमिक टोकन वार्पिंग (DTW) एल्गोरिदम है, जिसे टाइम सीरीज़ विश्लेषण में उपयोग होने वाले डायनेमिक टाइम वार्पिंग (DTW) से अनुकूलित किया गया है।

TokenTiming पाइपलाइन इस प्रकार कार्य करती है:

री-टोकनाइजेशन (स्ट्रिंग-लेवल ब्रिज):
प्रत्येक डिकोडिंग स्टेप पर, ड्राफ्ट मॉडल टोकन का एक अनुक्रम $D = (d_1, \dots, d_k)$ उत्पन्न करता है। इन टोकन की सीधे टारगेट शब्दावली से तुलना करने के बजाय, TokenTiming पहले ड्राफ्ट टोकनाइज़र का उपयोग करके $D$ को एक मध्यवर्ती स्ट्रिंग प्रतिनिधित्व $S$ में डिकोड करता है। इस स्ट्रिंग को फिर टारगेट टोकनाइज़र का उपयोग करके री-एनकोड किया जाता है ताकि एक "प्रॉक्सी टारगेट टोकन अनुक्रम" $T = (t_1, \dots, t_m)$ प्राप्त हो सके। यह चरण सुनिश्चित करता है कि अंतर्निहित कैरेक्टर स्ट्रीम समान है, जो विभिन्न टोकनाइजेशन ग्रेनुलैरिटी (granularities) के बीच के अंतर को पाटता है।
डायनेमिक टोकन वार्पिंग (DTW) अलाइनमेंट:
चूंकि टोकनाइज़र की भिन्नताओं के कारण ड्राफ्ट टोकन ( $k$ ) और प्रॉक्सी टारगेट टोकन ( $m$ ) की संख्या अक्सर भिन्न होती है, इसलिए एक सरल एक-से-एक मैपिंग असंभव है। TokenTiming, $D$ और $T$ के बीच एक इष्टतम मेनी-टू-मेनी (many-to-many) अलाइनमेंट पथ $\pi^*$ बनाने के लिए DTW का उपयोग करता है।
- डिस्टेंस मेट्रिक: एल्गोरिदम टोकन के बीच असामान्यता को मापने के लिए लेवेनश्टीन डिस्टेंस (एडिट डिस्टेंस) का उपयोग करता है।
- बाधाएं (Constraints): कम्प्यूटेशनल दक्षता सुनिश्चित करने के लिए, एक साको-चिबा बैंड (Sakoe-Chiba Band) बाधा लागू की जाती है, जो खोज क्षेत्र को चौड़ाई $w$ के डायगोनल बैंड तक सीमित करती है। यह जटिलता को $O(k \cdot m)$ से घटाकर $O(w \cdot \max(k, m))$ कर देता है।
- आउटपुट: परिणाम एक मैपिंग $\pi^*$ है जो ड्राफ्ट टोकन को प्रॉक्सी टारगेट टोकन के साथ अलाइन करता है, जो उन मामलों को संभालता है जहाँ एक ड्राफ्ट टोकन कई टारगेट टोकन से मैप होता है (जैसे, "Scaling" $\to$ "Scale", "ing") या इसके विपरीत।
प्रोबेबिलिटी ट्रांसफर और वेरिफिकेशन:
अलाइनमेंट पथ $\pi^*$ का उपयोग करते हुए, ड्राफ्ट मॉडल के प्रोबेबिलिटी डिस्ट्रीब्यूशन को टारगेट शब्दावली में स्थानांतरित किया जाता है।
- मेनी-टू-वन (Many-to-One): यदि कई ड्राफ्ट टोकन एक एकल टारगेट टोकन से मैप होते हैं, तो टर्मिनल ड्राफ्ट टोकन की प्रोबेबिलिटी टारगेट टोकन को असाइन की जाती है।
- वन-टू-मेनी (One-to-Many): यदि एक ड्राफ्ट टोकन कई टारगेट टोकन से मैप होता है, तो ड्राफ्ट की प्रोबेबिलिटी सभी संबंधित टारगेट टोकन में कॉपी की जाती है।
  टारगेट मॉडल फिर समानांतर में प्रॉक्सी अनुक्रम $T$ को सत्यापित करता है। टोकन को मानक स्पेक्युलेटिव सैंपलिंग मानदंड के आधार पर स्वीकार किया जाता है: $r < \min(1, q(t_j)/p(t_j))$ , जहाँ $q$ टारगेट प्रोबेबिलिटी है और $p$ ट्रांसफर की गई ड्राफ्ट प्रोबेबिलिटी है। यह गारंटी देता है कि अंतिम आउटपुट डिस्ट्रीब्यूशन टारगेट मॉडल के डिस्ट्रीब्यूशन के समान रहता है (लॉसलेस)।

मुख्य योगदान

सार्वभौमिक अनुकूलता (Universal Compatibility): TokenTiming साझा शब्दावली की बाधा को हटा देता है, जिससे किसी भी ऑफ-द-शेल्फ ड्राफ्ट मॉडल (चाहे उसकी आर्किटेक्चर या टोकनाइज़र कुछ भी हो) को बिना री-ट्रेनिंग या मॉडल संशोधन के टारगेट मॉडल में प्लग किया जा सकता है।
लॉसलेस त्वरण (Lossless Acceleration): DTW के माध्यम से एक अखंड टोकन मैपिंग बनाकर, यह विधि सुनिश्चित करती है कि स्पेक्युलेटिव सैंपलिंग लॉसलेस बनी रहे, जिससे शब्दावलियों के बेमेल होने पर भी टारगेट मॉडल के आउटपुट डिस्ट्रीब्यूशन की अखंडता सुरक्षित रहती है।
डायनेमिक अलाइनमेंट: यह विधि प्रत्येक डिकोडिंग स्टेप के दौरान ऑन-द-फ्लाई (on-the-fly) संचालित होती है, जो DTW तंत्र के माध्यम से परिवर्तनशील टोकन काउंट और ग्रेनुलैरिटी को गतिशील रूप से संभालती है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न मॉडल पेयर्स का उपयोग करके विविध कार्यों (समराइजेशन, ट्रांसलेशन, कोड जनरेशन, मैथ, और QA) पर TokenTiming का मूल्यांकन किया, जिसमें 7B से 70B पैरामीटर वाले टारगेट और 68M से 350M पैरामीटर वाले ड्राफ्ट मॉडल्स शामिल हैं।

स्पीडअप प्रदर्शन: TokenTiming ने विभिन्न कार्यों में ऑटोरेग्रेसिव बेसलाइन्स पर 1.57× तक की स्पीडअप हासिल की। उदाहरण के लिए, Qwen3-32B टारगेट के साथ Qwen3-0.6B ड्राफ्ट पर, इसने 1.57× की स्पीडअप प्राप्त की, जो TLI बेसलाइन (1.21×) से काफी बेहतर है।
SOTA के साथ तुलना: 7B और 33B टारगेट मॉडल्स पर, TokenTiming ने EAGLE-3 जैसे होमोजेनियस-वोकैबुलरी स्टेट-ऑफ-द-आर्ट (SOTA) तरीकों के साथ प्रदर्शन के अंतर को कम किया। विशेष रूप से, 33B टारगेट पर, TokenTiming ने 2.27× की स्पीडअप प्राप्त की, जो Medusa (1.71×) और EAGLE-1 (2.21×) से अधिक है, जबकि विषम ड्राफ्ट्स का उपयोग करने की लचीलापन बनाए रखा।
कार्य सुदृढ़ता (Task Robustness): विधि ने सभी पांच मूल्यांकित टास्क श्रेणियों में TLI को लगातार पछाड़ दिया। मैथ और समराइजेशन कार्यों में, स्पीडअप विशेष रूप से स्पष्ट था (जैसे, मैथ कार्यों पर 2.53×)।
ओवरहेड: DTW अलाइनमेंट और री-टोकनाइजेशन द्वारा पेश किया गया कम्प्यूटेशनल ओवरहेड नगण्य है, जो कुल रनटाइम का केवल 0.1% से 0.5% है, क्योंकि प्रति डिकोडिंग साइकिल ब्लॉकिंग टाइम लगभग 663µs है।

महत्व और दावे

पेपर का दावा है कि TokenTiming LLM त्वरण के लिए स्पेक्युलेटिव डिकोडिंग को एक बहुमुखी और व्यावहारिक उपकरण बनाने की दिशा में एक महत्वपूर्ण कदम है। शब्दावली बेमेल (vocabulary mismatch) की मौलिक बाधा को समाप्त करके, यह "ड्राफ्ट मॉडल चयन के लिए एक सार्वभौमिक दृष्टिकोण" को सक्षम बनाता है। यह अभ्यासकर्ताओं को विशिष्ट टारगेट शब्दावलियों के लिए नए ड्राफ्ट हेड्स को प्रशिक्षित करने या मॉडल्स को री-ट्रेन करने की लागत और अक्षमता के बिना, मौजूदा, छोटे, विषम मॉडल्स के विशाल संग्रह का लाभ उठाने की अनुमति देता है। यह कार्य प्रदर्शित करता है कि उच्च-गति इन्फरेंस "प्लग-एंड-प्ले" अनुकूलता के साथ प्राप्त किया जा सकता है, जो SD की सैद्धांतिक दक्षता और विविध मॉडल इकोसिस्टम की व्यावहारिक बाधाओं के बीच के अंतर को पाटता है।