💬 NLP

Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple

यह शोध पत्र स्पेकुलेटिव डिकोडिंग स्केलिंग लॉज़ (SDSL) प्रस्तुत करता है, जो एक सैद्धांतिक ढांचा है कि यह विश्लेषणात्मक रूप से प्री-ट्रेन्ड LLM हाइपरपैरामीटर्स को इन्फरेंस थ्रूपुट से जोड़ता है, जिससे महंगी प्रयोगात्मक ट्रेनिंग के बिना इष्टतम सिस्टम कॉन्फ़िगरेशन की भविष्यवाणी करना सक्षम होता है।

मूल लेखक: Amirhossein Bozorgkhoo, Igor Molybog

प्रकाशित 2026-03-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Amirhossein Bozorgkhoo, Igor Molybog

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी, जटिल कहानी लिखने की कोशिश कर रहे हैं। आपके पास एक मास्टर स्टोरीटेलर (बड़ा AI मॉडल) है जो अविश्वसनीय रूप से बुद्धिमान है, सब कुछ जानता है, और सटीक वाक्य लिखता है। हालाँकि, मास्टर धीमा है। वे हर एक शब्द लिखने से पहले गहराई से सोचते हैं। यदि आप उनसे एक उपन्यास लिखने के लिए कहते हैं, तो इसमें उन्हें पूरा दिन लग सकता है।

अब, कल्पना कीजिए कि आपके पास एक स्पीडी अप्रेंटिस (छोटा AI मॉडल) है। यह प्रशिक्षु तेज़ और ऊर्जावान है लेकिन थोड़ा कम समझदार है। वे लगभग तुरंत अगले शब्द का अनुमान लगा सकते हैं, हालांकि उनसे कभी-कभी गलतियाँ भी हो जाती हैं।

स्पेक्टिव डिकोडिंग (Speculative Decoding) वह तकनीक है जिसमें स्पीडी अप्रेंटिस को आपकी कहानी के अगले 10 शब्दों का अनुमान लगाने दिया जाता है, और फिर मास्टर स्टोरीटेलर उन अनुमानों की तेज़ी से जाँच करता है।

यदि मास्टर अप्रेंटिस से सहमत है, तो बहुत अच्छा! आपने एक शब्द लिखने के समय में 10 शब्द लिख लिए।
यदि मास्टर असहमत है, तो वे अप्रेंटिस को सुधारते हैं, और आपको केवल वही एक शब्द मिलता है।

समस्या यह है कि सही अप्रेंटिस चुनना कठिन है।
यदि अप्रेंटिस बहुत धीमा है, तो वे समय बर्बाद करते हैं। यदि वे बहुत मूर्ख हैं, तो मास्टर उनके लगभग सभी अनुमानों को खारिज कर देता है, और आपको कोई गति नहीं मिलती। यदि वे बहुत बुद्धिमान हैं (मास्टर के लगभग जितने बड़े), तो वे इतने धीमे हैं कि उनका उपयोग करने का कोई लाभ नहीं है।

अब तक, एक आदर्श अप्रेंटिस खोजना एक विशाल, महंगी परीक्षण-और-त्रुटि (trial-and-error) प्रक्रिया थी: सैकड़ों अलग-अलग मॉडलों को प्रशिक्षित करना, उनका परीक्षण करना, और उम्मीद करना।

इस पेपर का बड़ा विचार: "नियम का सूत्र" (The "Rule of Thumb")

यह पेपर, जिसका शीर्षक "स्पेक्टिव डिकोडिंग स्केलिंग लॉज़" है, कहता है: "अनुमान लगाना बंद करें! हमने एक गणितीय सूत्र खोज लिया है जो आपको बताता है कि आपके अप्रेंटिस को कितना बड़ा होना चाहिए, इससे पहले कि आप उन्हें प्रशिक्षित भी करें।"

यहाँ उनकी खोज का सरल उपमाओं का उपयोग करके विवरण दिया गया है:

1. "एलाइनमेंट" स्कोर (हाथ मिलाना)

लेखकों ने महसूस किया कि इस प्रणाली की गति इस बात पर निर्भर करती है कि अप्रेंटिस के अनुमान मास्टर के विचारों से कितनी अच्छी तरह मेल खाते हैं। वे इसे एक्सेप्टेंस रेट (स्वीकृति दर या $\alpha$ ) कहते हैं।

उपमा: कल्पना कीजिए कि मास्टर और अप्रेंटिस "टेलीफोन" का खेल खेल रहे हैं। यदि अप्रेंटिस एक वाक्यांश फुसफुसाता है जिसे मास्टर तुरंत समझ जाता है और स्वीकार कर लेता है, तो खेल तेज़ चलता है। यदि अप्रेंटिस बकवास फुसफुसाता है, तो मास्टर को रुकना पड़ता है और उन्हें सुधारना पड़ता है, जिससे सब कुछ धीमा हो जाता है।
खोज: उन्होंने एक सरल गणितीय नियम पाया: अप्रेंटिस द्वारा शब्दों की भविष्यवाणी करने में जितना बेहतर (कम "परप्लेक्सिटी") होगा, मास्टर उतनी ही बार उनके अनुमानों को स्वीकार करेगा। आश्चर्यजनक रूप से, मास्टर कितना बुद्धिमान है, इससे अधिक महत्व इस बात का है कि अप्रेंटिस मास्टर की नकल करने में कितना अच्छा है।

2. "गोल्डिलॉक्स" आकार (न बहुत बड़ा, न बहुत छोटा)

पेपर की सबसे रोमांचक खोज मास्टर के सापेक्ष अप्रेंटिस के आकार के लिए एक विशिष्ट नियम है।

नियम: एक आदर्श अप्रेंटिस मास्टर से लगभग 200 गुना छोटा होना चाहिए।
रूपक: एक फेरारी (मास्टर) और एक गो-कार्ट (अप्रेंटिस) के बारे में सोचें।
- यदि आप फेरारी को एक टैंक (एक मॉडल जो बहुत बड़ा है) के साथ जोड़ते हैं, तो गो-कार्ट तालमेल बिठाने के लिए बहुत धीमा हो जाता है, और पूरी प्रणाली धीमी पड़ जाती है।
- यदि आप फेरारी को एक खिलौना कार (एक मॉडल जो बहुत छोटा है) के साथ जोड़ते हैं, तो खिलौना कार लगातार गलत अनुमान लगाती है, और फेरारी अपना सारा समय उसे सुधारने में बिता देती है।
- गो-कार्ट (200 गुना छोटा) बिल्कुल सही है। यह आगे बढ़ने के लिए पर्याप्त तेज़ है, लेकिन इतना समझदार भी है कि फेरारी उसके अधिकांश अनुमानों से सहमत हो जाता है।

3. "ट्रेनिंग डेटा" का मिथक

शोधकर्ताओं ने यह भी जाँच की कि मॉडलों को प्रशिक्षित करने के लिए उपयोग किए गए डेटा की मात्रा से कितना फर्क पड़ता है।

निष्कर्ष: इससे बहुत कम फर्क पड़ता है!
उपमा: इससे कोई फर्क नहीं पड़ता कि अप्रेंटिस ने 1,000 किताबें पढ़ीं या 10,000 किताबें। जो मायने रखता है वह है मास्टर के सापेक्ष उनका आकार। जब तक वे समान विषयों पर प्रशिक्षित हैं, "200 गुना छोटा" का नियम लागू होता है। यह शोधकर्ताओं को डेटा के आकार को बदलने के लिए मॉडलों को फिर से प्रशिक्षित करने की आवश्यकता से बचाता है।

यह क्यों महत्वपूर्ण है

इस पेपर से पहले, एक तेज़ AI सिस्टम बनाना अंधेरे में रेडियो का ट्यूनर घुमाने जैसा था, जबकि हर घुमाव के लिए किसी को नया रेडियो बनाने के लिए भुगतान करना पड़ता था। यह महंगा और धीमा था।

अब, इस "स्केलिंग लॉ" की मदद से, यदि आपके पास 100 बिलियन पैरामीटर्स वाला एक मास्टर AI है, तो आप बस गणित कर सकते हैं ( $100 \div 200$ ) और तुरंत जान सकते हैं कि आपको अपनी गति बढ़ाने के लिए 500 मिलियन पैरामीटर वाला मॉडल चाहिए।

संक्षेप में: यह पेपर हमें एक सरल, विश्वसनीय रेसिपी देता है जिससे हम महंगे प्रयोग किए बिना AI को तेज़ बना सकते हैं। यह हमें बताता है कि हर विशाल मस्तिष्क के लिए, एक छोटा, बिल्कुल सही आकार का साथी होता है जो इसे 200 गुना तेज़ बना सकता है।

यहाँ शोध पत्र "Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple" (बोज़ोर्गखू और मोलीबोग द्वारा) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पेक्युलेटिव डिकोडिंग (Speculative decoding) एक ऐसी तकनीक है जिसका उपयोग लार्ज लैंग्वेज मॉडल (LLM) के इन्फरेंस (inference) को तेज करने के लिए किया जाता है। इसमें एक छोटे "ड्राफ्ट" मॉडल ( $M_q$ ) का उपयोग कई संभावित टोकन उत्पन्न करने के लिए किया जाता है, जिन्हें फिर एक बड़े "टारगेट" मॉडल ( $M_p$ ) द्वारा समानांतर रूप से सत्यापित (verify) किया जाता है। हालांकि यह प्रभावी है, लेकिन इसकी प्रदर्शन वृद्धि (performance gain) ड्राफ्ट मॉडल के चयन के प्रति अत्यधिक संवेदनशील होती है।

वर्तमान सीमा: एक इष्टतम (optimal) ड्राफ्ट मॉडल का चयन वर्तमान में विभिन्न आर्किटेक्चरों पर अनुभवजन्य खोज और बेंचमार्किंग (empirical search and benchmarking) पर निर्भर करता है। यह प्रक्रिया कम्प्यूटेशनल रूप से महंगी, समय लेने वाली और व्यापक संसाधनों की मांग करने वाली है।
अंतराल (The Gap): एक ऐसे सैद्धांतिक ढांचे (theoretical framework) का अभाव है जो प्री-ट्रेंड मॉडल्स के हाइपरपैरामीटर्स (आकार, डेटासेट) को स्पेक्युलेटिव डिकोडिंग सिस्टम की थ्रूपुट दक्षता (throughput efficiency) से विश्लेषणात्मक रूप से जोड़ सके। अभ्यासकर्ता (practitioners) प्रशिक्षण या परिनियोजन (deployment) से पहले इष्टतम ड्राफ्ट मॉडल के आकार की भविष्यवाणी नहीं कर सकते।

2. कार्यप्रणाली (Methodology)

लेखक Speculative Decoding Scaling Laws (SDSL) का प्रस्ताव करते हैं, जो प्री-ट्रेनिंग स्केलिंग लॉज़ और मॉडल अलाइनमेंट मेट्रिक्स के आधार पर इष्टतम ड्राफ्ट मॉडल के आकार को व्युत्पन्न (derive) करने वाला एक विश्लेषणात्मक ढांचा है।

A. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

थ्रूपुट परिभाषा (Throughput Definition): शोध पत्र थ्रूपुट ( $T$ $T$ ) को टोकन प्रति FLOP (फ्लोटिंग-पॉइंट ऑपरेशंस) के संदर्भ में परिभाषित करता है, जो विशिष्ट हार्डवेयर कॉन्फ़िगरेशन को हटा देता है।
- एक स्पेक्युलेटिव इटरेशन की लागत में ड्राफ्ट मॉडल द्वारा $\gamma$ टोकन उत्पन्न करना ( $2N\gamma$ FLOPs) और टारगेट मॉडल द्वारा उन्हें सत्यापित करना ( $2M$ FLOPs) शामिल है।
- थ्रूपुट, टारगेट साइज ( $M$ ), ड्राफ्ट साइज ( $N$ ), लुकअहेड लेंथ ( $\gamma$ ), और अपेक्षित टोकन स्वीकृति दर (expected token acceptance rate - $\alpha$ ) का एक फलन (function) है।
इष्टतम लुकअहेड ( $\gamma$ ): लेखक दिए गए $\alpha, M,$ और $N$ के लिए थ्रूपुट को अधिकतम करने हेतु लैम्बर्ट $W$ फंक्शन (Lambert $W$ function) का उपयोग करके एक इष्टतम $\gamma$ व्युत्पन्न करते हैं।
स्वीकृति दर ( $\alpha$ ) का मॉडलिंग:
- मुख्य नवाचार मॉडल्स की पर्प्लेक्सिटी (perplexity) ( $x$ ड्राफ्ट के लिए, $y$ टारगेट के लिए) के रूप में $\alpha$ (ड्राफ्ट और टारगेट वितरण के बीच अलाइनमेंट) को एक एफाइन फंक्शन (affine function) के रूप में मॉडल करना है:
  $\alpha = Ax + By + C$
- प्रयोगात्मक परिणाम दर्शाते हैं कि $\alpha$ मॉडल की पर्प्लेक्सिटी (कम पर्प्लेक्सिटी $\rightarrow$ उच्च $\alpha$ ) पर दृढ़ता से निर्भर है, लेकिन टारगेट मॉडल की पर्प्लेक्सिटी पर इसका प्रभाव बहुत कम है।

B. प्री-ट्रेनिंग स्केलिंग लॉज़ के साथ एकीकरण (Integration with Pre-training Scaling Laws)

लेखक पर्प्लेक्सिटी-आधारित $\alpha$ मॉडल को स्थापित प्री-ट्रेनिंग स्केलिंग लॉज़ (जैसे, हॉफमैन एट अल., 2022) के साथ एकीकृत करते हैं, जो पर्प्लेक्सिटी को मॉडल साइज ( $N, M$ ) और ट्रेनिंग डेटासेट साइज ( $D, D'$ ) से जोड़ते हैं।

पर्प्लेक्सिटी समीकरणों को थ्रूपुट फॉर्मूला में प्रतिस्थापित करके, वे केवल $M, N, D,$ और $D'$ के पदों में थ्रूपुट ( $T$ ) के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन (closed-form expression) प्राप्त करते हैं।

C. संख्यात्मक अनुकूलन (Numerical Optimization)

चूंकि परिणामी थ्रूपुट समीकरण जटिल और गैर-रैखिक (non-linear) है, इसलिए लेखक विभिन्न मॉडल आकारों और डेटासेट स्केल्स के विस्तृत रेंज पर एक संख्यात्मक ग्रिड सर्च (numerical grid search) करते हैं ताकि विभिन्न टारगेट मॉडल्स ( $M$ ) के लिए थ्रूपुट-इष्टतम ड्राफ्ट साइज ( $N^*$ ) पाया जा सके।

3. प्रमुख योगदान (Key Contributions)

स्वीकृति दर के लिए विश्लेषणात्मक संबंध:
- एक सरल रैखिक संबंध स्थापित किया: $\alpha = Ax + By + C$ , जहाँ $x$ और $y$ पर्प्लेक्सिटी हैं। यह ड्राफ्ट मॉडल की गुणवत्ता (टारगेट के सापेक्ष) के आधार पर स्वीकृति दर की भविष्यवाणी करने की अनुमति देता है।
"200x" स्केलिंग लॉ (The "200x" Scaling Law):
- टारगेट मॉडल साइज ( $M$ ) के सापेक्ष इष्टतम ड्राफ्ट साइज ( $N^*$ ) के लिए एक मजबूत संख्यात्मक संबंध व्युत्पन्न किया:
  $N^* \approx \mu M + M_0$
- मुख्य निष्कर्ष: इष्टतम ड्राफ्ट मॉडल, टारगेट मॉडल से लगभग 200 गुना छोटा होना चाहिए (अनुपात $\approx 1/200$ या $0.5\%$ ) ।
- यह संबंध विविध मॉडल परिवारों (LLaMA, OPT, Qwen, Seed) और डेटासेट स्केल्स में लागू होता है।
डेटासेट साइज की असंवेदनशीलता (Dataset Size Insensitivity):
- पाया गया कि जबकि डेटासेट साइज ( $D$ ) का मामूली प्रभाव पड़ता है, टारगेट मॉडल साइज ( $M$ ) सबसे प्रमुख कारक है जो इष्टतम ड्राफ्ट साइज को नियंत्रित करता है। थ्रूपुट ऑप्टिमाइजेशन पर ट्रेनिंग डेटासेट साइज का प्रभाव हल्का (सेकंड-ऑर्डर सुधार) है।
वैधीकरण (Validation):
- लेखक ने A100 GPU पर वॉल-क्लॉक लेटेंसी (wall-clock latency) मापों के विरुद्ध सैद्धांतिक भविष्यवाणियों को मान्य किया। विश्लेषणात्मक रूप से अनुमानित $N^*$ ने लगातार टाइम-टू-फर्स्ट-टोकन (TTFT) और टोटल जनरेशन टाइम (TTOT) को न्यूनतम किया।

4. मुख्य परिणाम (Key Results)

पर्प्लेक्सिटी बनाम स्वीकृति: एक मोनोटोनिक (monotonic), मजबूत सहसंबंध है जहाँ कम ड्राफ्ट पर्प्लेक्सिटी उच्च टोकन स्वीकृति दरों ( $\alpha$ ) की ओर ले जाती है। जब ड्राफ्ट फिक्स्ड होता है, तो टारगेट मॉडल की पर्प्लेक्सिटी का $\alpha$ पर नगण्य प्रभाव पड़ता है।
थ्रूपुट कर्व्स (Throughput Curves): थ्रूपुट शुरुआत में ड्राफ्ट साइज के साथ बढ़ता है (उच्च स्वीकृति के कारण), लेकिन जैसे ही ड्राफ्ट टारगेट के करीब पहुँचता है, यह अंततः घटने लगता है (घटते हुए कंप्यूटेशनल बचत के कारण)। शिखर (peak) वहां होता है जहां ड्राफ्ट टारगेट से लगभग 200 गुना छोटा होता है।
सामान्यीकरण (Generalizability): व्युत्पन्न स्केलिंग लॉ ( $N^* \approx 0.0027M + \text{constant}$ ) परीक्षण किए गए सभी परिवारों (OPT, Qwen 1.5/2.5, LLaMA 3/3.1, Seed-OSS) में सार्वभौमिक रूप से लागू होता है।
प्रायोगिक सत्यापन: OPT-13B टारगेट के लिए, अनुमानित इष्टतम ड्राफ्ट साइज ~117M पैरामीटर्स था। प्रयोगों ने पुष्टि की कि इस आकार के आसपास के ड्राफ्ट मॉडल्स ने सबसे कम लेटेंसी प्राप्त की, जबकि काफी छोटे या बड़े ड्राफ्ट्स खराब प्रदर्शन करते रहे।

5. महत्व और प्रभाव (Significance and Impact)

अनुभवजन्य खोज को समाप्त करता है: अभ्यासकर्ता अब केवल टारगेट मॉडल साइज को जानकर, ट्रेनिंग से पहले ही इष्टतम ड्राफ्ट मॉडल आर्किटेक्चर निर्धारित कर सकते हैं। यह उन संसाधनों को बचाता है जो पहलेм ट्रायल-एंड-एरर बेंचमार्किंग में खर्च होते थे।
डिज़ाइन गाइडलाइन: सिस्टम आर्किटेक्ट्स के लिए एक स्पष्ट "रूल ऑफ थंब" प्रदान करता है: $M$ आकार के टारगेट मॉडल के लिए, थ्रूपुट को अधिकतम करने के लिए एक तुलनीय डेटासेट पर $\approx M/200$ आकार का ड्राफ्ट मॉडल ट्रेन करें।
सैद्धांतिक आधार: यह प्री-ट्रेनिंग स्केलिंग लॉ (जो मॉडल की गुणवत्ता की भविष्यवाणी करते हैं) और इन्फरेंस स्केलिंग लॉ (जो सिस्टम दक्षता की भविष्यवाणी करते हैं) के बीच के अंतर को पाटता है, जिससे LLM लाइफसाइकिल ऑप्टिमाइजेशन का एक एकीकृत दृश्य मिलता है।
हार्डवेयर एग्नोस्टिक (Hardware Agnostic): FLOPs को प्राथमिक मीट्रिक के रूप में उपयोग करके, इसके निष्कर्ष तीव्र हार्डवेयर प्रगति के बावजूद प्रासंगिक रहते हैं, हालांकि इन्हें वास्तविक दुनिया की लेटेंसी पर मान्य किया गया है।

निष्कर्ष (Conclusion)

यह शोध पत्र सफलतापूर्वक स्पेक्युलेटिव डिकोडिंग को एक अनुभवजन्य कला (empirical art) से एक सिद्धांत आधारित इंजीनियरिंग अनुशासन (principled engineering discipline) में बदल देता है। यह स्थापित करके कि इष्टतम ड्राफ्ट मॉडल का आकार टारगेट मॉडल के आकार के साथ रैखिक रूप से (लगभग 1:200 के अनुपात में) स्केल होता है, लेखक बिना किसी महंगी, पुनरावृत्ति वाली प्रयोगों के LLM इन्फरेंस पाइपलाइनों को अनुकूलित करने के लिए एक शक्तिशाली उपकरण प्रदान करते हैं।