💬 NLP

$\texttt{SPECS}$ : Faster Test-Time Scaling through Speculative Drafts

यह शोध पत्र $\texttt{SPECS}$ को प्रस्तुत करता है, जो एक लेटेंसी-अवेयर (latency-aware) टेस्ट-टाइम स्केलिंग विधि है जो बीम सर्च-स्तर की सटीकता प्राप्त करने के लिए स्पेकुलेटिव ड्राफ्टिंग (speculative drafting) हेतु एक छोटे मॉडल और रिवॉर्ड-गाइडेड वेरिफिकेशन (reward-guided verification) का लाभ उठाता है, जिससे लेटेंसी में 19.1% तक की कमी आती है।

मूल लेखक: Mert Cemri, Nived Rajaraman, Rishabh Tiwari, Xiaoxuan Liu, Kurt Keutzer, Ion Stoica, Kannan Ramchandran, Ahmad Beirami, Ziteng Sun

प्रकाशित 2026-02-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mert Cemri, Nived Rajaraman, Rishabh Tiwari, Xiaoxuan Liu, Kurt Keutzer, Ion Stoica, Kannan Ramchandran, Ahmad Beirami, Ziteng Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं। आपके पास दो सहायक हैं:

प्रोफेसर: एक प्रतिभाशाली, धीरे सोचने वाला विशेषज्ञ जो लगभग सब कुछ सही करता है लेकिन हर एक कदम को लिखने में बहुत समय लेता है।
स्पीडी इंटर्न: एक तेज़, ऊर्जावान कार्यकर्ता जो तेज़ी से लिखता है लेकिन गलतियाँ करता है।

समस्या: "सोचने" की बाधा (The "Thinking" Bottleneck)

AI की दुनिया में, हम चाहते हैं कि लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल समस्याओं को हल करने के लिए अधिक "गहराई से सोचें"। इसका अर्थ आमतौर पर यह होता है कि "प्रोफेसर" को कई संभावित समाधान उत्पन्न करने के लिए कहना (जैसे किसी समीकरण को हल करने के 10 अलग-अलग तरीके सोचना) और उनमें से सबसे अच्छे को चुनना।

लेकिन यहाँ एक पेंच है: प्रोफेसर को वह सारा चिंतन करने के लिए कहने में बहुत समय लगता है। यदि आप उन्हें 10 रास्ते जांचने के लिए कहते हैं, तो आपको 10 गुना अधिक प्रतीक्षा करनी पड़ती है। उपयोगकर्ता इंतज़ार करना पसंद नहीं करते। वे उत्तर अभी चाहते हैं।

पुराना समाधान: क्या बस इंटर्न का उपयोग करें?

कुछ लोगों ने समय बचाने के लिए केवल स्पीडी इंटर्न का उपयोग करने की कोशिश की। लेकिन इंटर्न बहुत अधिक त्रुटिपूर्ण है। यदि आप उन्हें एक कठिन समस्या हल करने के लिए कहते हैं, तो वे अक्सर शुरुआती चरणों में ही भटक जाते हैं, और पूरा उत्तर बेकार हो जाता है।

नया समाधान: SPECS (द स्मार्ट स्विच)

यह पेपर SPECS नामक एक चतुर नए तरीके को पेश करता है जो आपके समस्या-समाधान की प्रक्रिया में प्रोफेसर और इंटर्न दोनों का एक साथ उपयोग करता है। इसे एक स्मार्ट ट्रैफिक कंट्रोलर की तरह समझें जो आपकी समस्या को नियंत्रित करता है।

SPECS इस प्रकार काम करता है, चरण-दर-चरण, एक सरल उपमा का उपयोग करते हुए:

1. "सुरक्षा पहले" की शुरुआत

जब आप पहली बार AI को कोई समस्या हल करने के लिए कहते हैं, तो सिस्टम प्रोफेसर के साथ शुरू होता है। क्यों? क्योंकि समस्या का शुरुआती हिस्सा सबसे महत्वपूर्ण होता है। यदि आप गलत आधार के साथ शुरुआत करते हैं, तो पूरा उत्तर गलत होगा। प्रोफेसर एक ठोस नींव रखता है।

2. "कॉन्फिडेंस चेक" (विश्वास की जाँच)

जैसे ही प्रोफेसर अपने पहले कुछ कदम लिखता है, एक विशेष स्कोरकीपर (जिसे रिवॉर्ड मॉडल कहा जाता है) बारीकी से नज़र रखता है।

यदि प्रोफेसर संघर्ष कर रहा है (कम स्कोर): सिस्टम प्रोफेसर को काम जारी रखने के लिए कहता है। अभी इंटर्न को कमान संभालने देना बहुत जोखिम भरा है।
यदि प्रोफेसर शानदार प्रदर्शन कर रहा है (उच्च स्कोर): स्कोरकीपर कहता है, "अरे, यह रास्ता बहुत अच्छा लग रहा है! हम सही दिशा में हैं।"

3. डायनेमिक स्विच (जादुई क्षण)

एक बार जब स्कोरकीपर पुष्टि कर देता है कि रास्ता मजबूत है, तो SPECS एक स्विच बदल देता है। यह अगले कदम लिखने के लिए धीमे प्रोफेसर को रोकना बंद कर देता है और पेन स्पीडी इंटर्न को थमा देता है।

चूंकि रास्ता पहले से ही सिद्ध हो चुका है कि वह सही है, इसलिए इंटर्न बाकी के समाधान को बहुत तेज़ी से पूरा करने के लिए दौड़ सकता है बिना किसी गड़बड़ी के।

4. "ड्राफ्ट एंड वेरीफाई" लूप

कभी-कभी, इंटर्न थोड़ा अधिक उत्साहित हो सकता है और कुछ अलग अंत सुझा सकता है। सिस्टम उनके सुझावों को आँख मूंदकर स्वीकार नहीं करता है। यह जल्दी से इंटर्न के सुझावों की प्रोफेसर के तर्क के विरुद्ध जाँच करता है (जिसे "सॉफ्ट वेरिफिकेशन" कहा जाता है)। यदि इंटर्न का विचार अच्छा है, तो उसे स्वीकार कर लिया जाता है। यदि नहीं, तो उसे हटा दिया जाता है।

यह एक बड़ी बात क्यों है?

गति: "आसान" हिस्सों पर भारी काम करने के लिए तेज़ इंटर्न को काम सौंपने से, कुल समय में 18% तक की कमी आती है। यह 3 मिनट के इंतज़ार में से 30 सेकंड कम करने जैसा है।
सटीकता: चूंकि सिस्टम केवल तभी इंटर्न पर स्विच करता है जब उसे पक्का यकीन होता है कि रास्ता सही है, इसलिए अंतिम उत्तर उतना ही सटीक होता है जितना कि यदि प्रोफेसर ने अकेले पूरा काम किया होता।
स्मार्ट संसाधन उपयोग: यह एक प्रोजेक्ट शुरू करने के लिए एक CEO को काम पर रखने और योजना ठोस होने के बाद कागजी कार्रवाई पूरी करने के लिए एक जूनियर कर्मचारी को नियुक्त करने जैसा है। आपको दोनों का सर्वश्रेष्ठ मिलता है: उच्च गुणवत्ता और कम लागत।

निष्कर्ष

SPECS एक ऐसी विधि है जो AI को तब समय बर्बाद करने से रोकती है जब उसे कठिन सोच की आवश्यकता नहीं होती। यह यात्रा शुरू करने के लिए एक "धीमे लेकिन स्मार्ट" मॉडल का उपयोग करता है, जाँचता है कि रास्ता सुरक्षित है या नहीं, और फिर एक "तेज़ लेकिन कम स्मार्ट" मॉडल को फिनिश लाइन की ओर तेज़ी से बढ़ने देता है।

यह पूरी यात्रा में 20 मील प्रति घंटे की रफ्तार से एक लग्जरी कार चलाने बनाम हाईवे के प्रवेश द्वार तक कार चलाने, ट्रैफ़िक की जाँच करने और फिर घर के बाकी रास्ते के लिए एक स्पोर्ट्स कार में स्विच करने के बीच का अंतर है। आप वहां तेज़ी से पहुँचते हैं, लेकिन आप सुरक्षित रूप से पहुँचे भी हैं।

यहाँ शोध पत्र "SPECS: Faster Test-Time Scaling through Speculative Drafts and Dynamic Switching" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

हाल के उन्नत लार्ज लैंग्वेज मॉडल्स (LLMs) ने तर्क करने की क्षमताओं (reasoning capabilities) को बेहतर बनाने के लिए टेस्ट-टाइम स्केलिंग (इन्फरेंस के समय कंप्यूट बढ़ाना) का लाभ उठाया है। हालाँकि, पारंपरिक स्केलिंग विधियाँ जैसे बीम सर्च (Beam Search) या ट्री सर्च (Tree Search) अक्सर सटीकता (accuracy) की कीमत पर लेटेंसी (latency) को प्राथमिकता देती हैं।

बाधा (The Bottleneck): ऑटोरेग्रेसिव जनरेशन में, लेटेंसी अक्सर कुल FLOPs के बजाय मेमोरी लोडिंग (बैंडविड्थ) द्वारा सीमित होती है। एक बड़े, सक्षम टार्गेट मॉडल का उपयोग करके कई संभावित रीजनिंग ट्रेसेस (बीम्स) उत्पन्न करना कम्प्यूटेशनल रूप से महंगा और धीमा होता है।
अंतराल (The Gap): मौजूदा स्पेक्युलेटिव डिकोडिंग विधियाँ (एक छोटे ड्राफ्ट मॉडल का उपयोग करके जनरेशन को गति देना) आमतौर पर ड्राफ्ट मॉडल से शुरू होती हैं और केवल तभी टार्गेट मॉडल पर स्विच करती हैं जब रिवॉर्ड सिग्नल कम होता है। यह दृष्टिकोण अक्सर कम गुणवत्ता वाले ड्राफ्ट्स पर लेटेंसी बर्बाद करता है या सटीकता से समझौता करता है।
लक्ष्य (The Goal): एक ऐसा टेस्ट-टाइम स्केलिंग मेथड डिजाइन करना जो जटिल रीजनिंग कार्यों के लिए सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए, इन्फरेंस लेटेंसी को अनुकूलित (optimize) करे।

2. कार्यप्रणाली (Methodology): SPECS

लेखक SPECS (SPECulative drafting for faster test-time Scaling) प्रस्तावित करते हैं, जो एक लेटेंसी-जागरूक एल्गोरिदम है जो रिवॉर्ड सिग्नल्स के आधार पर डायनेमिक मॉडल स्विचिंग के साथ स्पेक्युलेटिव डिकोडिंग को जोड़ता है।

मुख्य घटक (Core Components)

हाइब्रिड जनरेशन रणनीति (Hybrid Generation Strategy):
- मानक स्पेक्युलेटिव डिकोडिंग (Draft $\to$ Target) के विपरीत, SPECS जनरेशन की शुरुआत बड़े टार्गेट मॉडल ( $\pi_{target}$ ) के साथ करता है।
- यह केवल तब एक छोटे, तेज़ ड्राफ्ट मॉडल ( $\pi_{draft}$ ) में डायनेमिक रूप से स्विच करता है जब रीजनिंग ट्रेस एक उच्च रिवॉर्ड स्कोर प्राप्त करता है।
- तर्क (Rationale): अनुभवजन्य अवलोकन (Empirical observations) बताते हैं कि "उच्च-रिवॉर्ड" ट्रेसेस (जो एक सही रीजनिंग पथ का संकेत देते) के लिए, छोटे और बड़े मॉडल्स के बीच सटीकता का अंतर नगण्य होता है। इस प्रकार, छोटा मॉडल सटीकता को नुकसान पहुँचाए बिना इन स्टेप्स को तेज़ी से पूरा कर सकता है। इसके विपरीत, "कम-रिवॉर्ड" ट्रेसेस के लिए, सिस्टम त्रुटियों से बचने के लिए बड़े मॉडल पर निर्भर रहता है।
रिवॉर्ड-गाइडेड सॉफ्ट वेरिफिकेशन (SUBSAMPLE):
- हार्ड रिजेक्शन (accept/reject) के बजाय, SPECS $n$ उम्मीदवारों के सेट में से सबसे अच्छे कैंडिडेट ब्लॉक को चुनने के लिए एक स्कोरिंग फंक्शन का उपयोग करता है।
- स्कोर फंक्शन ( $S_i$ ):
  $S_i = \log \left( \frac{\pi_{target}(Y_i | tr)}{\pi_{gen}(Y_i | tr)} \right) + \beta r(Y_i | tr)$
  - $\pi_{target}$ : बड़ा टार्गेट मॉडल।
  - $\pi_{gen}$ : वर्तमान जनरेटर (या तो टार्गेट या ड्राफ्ट)।
  - $r$ : प्रोसेस रिवॉर्ड मॉडल (PRM) स्कोर।
  - $\beta$ : इनवर्स टेम्परेचर पैरामीटर।
- यह स्कोर लाइकलीहुड रेशियो (यह सुनिश्चित करता है कि ड्राफ्ट टार्गेट डिस्ट्रीब्यूशन के अनुरूप है) और रिवॉर्ड सिग्नल (यह सुनिश्चित करता है कि रीजनिंग की गुणवत्ता बनी रहे) को एकीकृत करता है।
डायनेमिक स्विचिंग मैकेनिज्म (Dynamic Switching Mechanism):
- एल्गोरिदम वर्तमान बीम उम्मीदवारों के बीच अधिकतम रिवॉर्ड ( $\max r(Y_i|tr)$ ) की निगरानी करता है।
- यदि अधिकतम रिवॉर्ड एक थ्रेशोल्ड $\tau$ से अधिक हो जाता है, तो जनरेशन मोड अगले स्टेप्स के लिए ड्राफ्ट मॉडल में बदल जाता है।
- यदि रिवॉर्ड कम है, तो यह टार्गेट मॉडल के साथ ही रहता है या उस पर वापस लौट आता है।

एल्गोरिदम प्रवाह (Algorithm Flow)

इनिशियलाइज़ (Initialize): टार्गेट मॉडल के साथ शुरू करें।
जनरेट (Generate): $n$ कैंडिडेट ब्लॉक्स (बीम्स) उत्पन्न करें।
स्कोर (Score): टार्गेट मॉडल (लॉग-लाइक्लीहुड के लिए) और PRM (रिवॉर्ड के लिए) का उपयोग करके उम्मीदवारों का मूल्यांकन करें।
सेलेक्ट (Select): स्कोर $S_i$ के आधार पर संभाव्यता के साथ सबसे अच्छे ब्लॉक को चुनने के लिए SUBSAMPLE रूटीन का उपयोग करें।
स्विच (Switch): यदि चयनित ब्लॉक का रिवॉर्ड उच्च है ( $> \tau$ ), तो अगले इटरेशन के लिए जनरेटर को ड्राफ्ट मॉडल में बदल दें।
रिपीट (Repeat): अनुक्रम (sequence) पूरा होने तक जारी रखें।

3. प्रमुख योगदान (Key Contributions)

नया एल्गोरिदम (SPECS): एक टेस्ट-टाइम स्केलिंग मेथड जो लेटेंसी-सटीकता के बीच एक अनुकूलतम संतुलन प्राप्त करने के लिए स्पेकलेटिव ड्राफ्टिंग का उपयोग करता है। यह अनूठे रूप से बड़े मॉडल के साथ शुरू होता है और उच्च-रिवॉर्ड ट्रेसेस के लिए छोटे मॉडल में स्विच करता है, जो पिछले कार्यों (जो छोटे से बड़े की ओर जाते थे) के विपरीत है।
सैद्धांतिक आधार (Theoretical Grounding):
- लेखक सिद्ध करते हैं कि जैसे-जैसे बीम विड्थ ( $n$ ) बढ़ता है, SPECS पॉलिसी एक KL-रेगुलराइज्ड रीइन्फोर्समेंट लर्निंग ऑब्जेक्टिव के इष्टतम समाधान की ओर अभिसरित (converge) होती है।
- वे सैद्धांतिक सीमाएँ (bounds) प्रदान करते हैं जो दिखाते हैं कि SPECS पॉलिसी और इष्टतम पॉलिसी के बीच KL डाइवर्जेंस $O(1/n^{3/2})$ के रूप में घटता है।
- यह विश्लेषण शोर वाले (noisy) प्रोसेस रिवॉर्ड मॉडल्स (PRMs) के मामलों तक विस्तारित है, जो क्रमिक गिरावट (graceful degradation) दिखाता है।
अनुभवजन्य प्रदर्शन (Empirical Performance):
- MATH500, AMC23, OlympiadBench, और GPQA पर व्यापक मूल्यांकन।
- यह प्रदर्शित करता है कि SPECS मानक बीम सर्च की तुलना में लेटेंसी को ~18% तक कम करते हुए सटीकता के बराबर या उससे अधिक प्राप्त करता है।
- एब्लेशन अध्ययन (Ablation studies) पुष्टि करते हैं कि डायनेमिक स्विचिंग और लॉग-लाइक्लीहुड आधारित स्कोरिंग दोनों ही प्रदर्शन के लिए महत्वपूर्ण हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट्स: गणितीय तर्क (AMC23, MATH500, OlympiadBench) और सामान्य QA (GPQA)।
मॉडेल्स:
- Draft/Target Pairs: Qwen2.5-1.5B / Qwen2.5-7B और Llama3.2-1B / Llama3.1-8B।
- Reward Model: Skywork-o1-Open-PRM-Qwen-2.5-7B।
मुख्य निष्कर्ष:
- लेटेंसी-एकरेसी पारेटो फ्रंटियर (Latency-Accuracy Pareto Frontier): SPECS पारेटो फ्रंटियर पर हावी है। एक निश्चित सटीकता के लिए, यह बड़े मॉडल के साथ बीम सर्च की तुलना में काफी तेज़ है। एक निश्चित लेटेंसी के लिए, यह छोटे मॉडल के साथ बीम सर्च की तुलना में अधिक सटीक है।
- अनुकूलन क्षमता (Adaptivity): कठिन डेटासेट्स (जैसे OlympiadBench) पर, SPECS स्वचालित रूप से अधिक स्टेप्स के लिए बड़े मॉडल का उपयोग करता है, जबकि आसान कार्यों पर, यह ड्राफ्ट मॉडल पर अधिक निर्भर रहता है।
- मजबूती (Robustness): विधि तब भी मजबूत रहती है जब PRM शोर वाला (Gaussian noise के साथ सिम्युलेटेड) होता है, जो बिना हाइपरपैरामीटर ट्यूनिंग के बेसलाइन से बेहतर प्रदर्शन करती है।

5. महत्व (Significance)

रीजनिंग में दक्षता: SPECS रीजनिंग कार्यों के लिए LLMs को तैनात करने में एक महत्वपूर्ण बाधा को संबोधित करता है: मल्टी-स्टेप इन्फरेंस की उच्च लेटेंसी। यह सिद्ध करता है कि "सोचना" (टेस्ट-टाइम कंप्यूट) धीमा होना आवश्यक नहीं है।
प्रतिमान परिवर्तन (Paradigm Shift): यह मानक स्पेक्युलेटिव डिकोडिंग वर्कफ़्लो (Small $\to$ Large) को एक Large $\to$ Small स्विचिंग रणनीति पेश करके चुनौती देता है। यह अंतर्दृष्टि—कि छोटे मॉडल "आसान" (उच्च-रिवॉर्ड) रीजनिंग स्टेप्स के लिए पर्याप्त हैं—एक नवीन योगदान है।
सैद्धांतिक कठोरता (Theoretical Rigor): एल्गोरिदम को KL-रेगुलराइज्ड RL से जोड़कर और अभिसरण गारंटी (convergence guarantees) प्रदान करके, यह शोध पत्र केवल ह्यूरिस्टिक इंजीनियरिंग से आगे बढ़कर एक सैद्धांतिक रूप से सुदृढ़ ढांचा प्रदान करता है।
व्यावहारिक प्रभाव: यह विधि मौजूदा इन्फरेंस इंफ्रास्ट्रक्चर (जैसे vLLM) के साथ संगत है और उन अनुप्रयोगों के लिए तत्काल लेटेंसी कमी प्रदान करती है जिन्हें उच्च-गुणवत्ता वाली रीजनिंग की आवश्यकता होती है, जैसे कि मैथ सॉल्वर और वैज्ञानिक QA।