💬 NLP

SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents

यह शोध पत्र SpecHop पेश करता है, जो एक निरंतर स्पेक्यूलेशन (speculation) फ्रेमवर्क है जो मल्टी-हॉप रिट्रीवल कार्यों में टूल आउटपुट का अनुमान लगाने और उसे सत्यापित करने के लिए कई एसिंक्रोनस थ्रेड्स का उपयोग करता है, जिससे सटीकता से समझौता किए बिना वॉल-क्लॉक लेटेंसी (wall-clock latency) को 40% तक कम किया जा सकता है।

मूल लेखक: Mehrdad Saberi, Keivan Rezaei, Soheil Feizi

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehrdad Saberi, Keivan Rezaei, Soheil Feizi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SPECHOP पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विभाजित किया गया है।

समस्या: "इंतज़ार का खेल" (The "Waiting Game")

कल्पना कीजिए कि आप एक जटिल रहस्य (जैसे कि एक मल्टी-हॉप प्रश्न) सुलझाने की कोशिश कर रहे एक जासूस हैं। आप केवल अंदाज़ा नहीं लगा सकते; आपको प्रश्नों की एक श्रृंखला पूछनी होगी और पुलिस विभाग (External Tool, जैसे कि वेब सर्च) के वापस कॉल करने का इंतज़ार करना होगा ताकि वे आपको तथ्य बता सकें, इससे पहले कि आप अपना अगला प्रश्न पूछ सकें।

पुराना तरीका: आप प्रश्न 1 पूछते हैं $\rightarrow$ आप उत्तर मिलने तक फोन पर इंतज़ार करते हैं $\rightarrow$ आपको उत्तर मिलता है $\rightarrow$ आप प्रश्न 2 पूछते हैं $\rightarrow$ और फिर से इंतज़ार करते हैं।
बाधा (Bottleneck): आपका अधिकांश समय खाली बैठकर फोन बजने का इंतज़ार करने में बीत जाता है। वास्तविक सोच (AI द्वारा) तेज़ है, लेकिन "फोन कॉल्स" (वेब या डेटाबेस खोजना) धीमे हैं।

समाधान: SPECHOP (एक "सक्रिय जासूस")

शोधकर्ताओं ने SPECHOP नामक एक सिस्टम बनाया है। खाली बैठने के बजाय, SPECHOP एक Speculator (एक तेज़, लेकिन थोड़ी कम विश्वसनीय सहायक) का उपयोग करता है जो यह अंदाज़ा लगाता है कि उत्तर क्या हो सकता है, जबकि मुख्य "धीमा" टूल अभी भी काम कर रहा होता है।

इसे इस तरह समझें:

मुख्य जासूस (Target Tool): यह धीमा, सटीक और आधिकारिक स्रोत है। इसे सच खोजने में 10 सेकंड लगते हैं।
इंटर्न (Speculator): यह एक तेज़, स्मार्ट इंटर्न है जो 1 सेकंड में उत्तर का अंदाज़ा लगा सकता है। इंटर्न आमतौर पर सही होता है, लेकिन कभी-कभी गलतियाँ भी करता है।

SPECHOP कैसे काम करता है:
मुख्य जासूस के खत्म होने का इंतज़ार करने के बजाय, सिस्टम उस अंदाज़े के आधार पर अगले प्रश्न पर काम शुरू करने के लिए इंटर्न को आगे भेज देता है।

परिदृश्य A (यदि इंटर्न सही है): मुख्य जासूस सच्चाई के साथ वापस आता है। सिस्टम जाँच करता है: "अरे, इंटर्न ने इसका सही अंदाज़ा लगाया!" बहुत बढ़िया! सिस्टम इंटर्न द्वारा किए गए काम को स्वीकार कर लेता है और तुरंत आगे बढ़ जाता है। कोई समय बर्बाद नहीं हुआ।
परिदृश्य B (यदि इंटर्न गलत है): मुख्य जासूस सच्चाई के साथ वापस आता है। सिस्टम जाँच करता है: "ओह, इंटरल का अंदाज़ा गलत था।" कोई बात नहीं। सिस्टम तुरंत इंटर्न के काम को हटा देता है, मुख्य जासूस के सही उत्तर को चुनता है, और वहीं से नए सिरे से शुरुआत करता है।

"निरंतर पाइपलाइन" (कारखाने को चालू रखना)

पेपर एक चतुर मोड़ पेश करता है: Continuous Speculation (निरंतर अनुमान)।

पुराने तरीकों में, सिस्टम शायद एक कदम आगे का अंदाज़ा लगाता और फिर रुक जाता। SPECHOP अंदाज़ों की एक पाइपलाइन को चालू रखता है। कल्पना कीजिए कि एक फैक्ट्री असेंबली लाइन है जहाँ:

थ्रेड 1 मुख्य जासूस का इंतज़ार कर रहा है।
थ्रेड 2 स्टेप 2 के अंदाज़े पर काम कर रहा है।
थ्रेड 3 स्टेप 3 के अंदाज़े पर काम कर रहा है।

जैसे ही मुख्य जासूस स्टेप 1 पूरा करता है और अंदाज़े की पुष्टि करता है, सिस्टम तुरंत थ्रेड 2 और थ्रेड 3 द्वारा किए गए काम को "कमिट" (स्वीकार) कर लेता है। यदि अंदाज़ा गलत था, तो सिस्टम बस लाइन को आखिरी पुष्ट स्टेप पर वापस ले जाता है और अंदाज़ों की एक नई लाइन शुरू करता है।

यह सुनिश्चित करता है कि कंप्यूटर (फैक्ट्री) 100% समय व्यस्त रहे, न कि धीमे टूल के जवाब देने का इंतज़ार करते हुए खाली बैठा रहे।

परिणाम: सटीकता से समझौता किए बिना गति

पेपर का दावा है कि SPECHOP दो मुख्य चीजें हासिल करता है:

भारी गति लाभ: पाइपलाइन को भरा रखकर, उन्होंने इन जटिल प्रश्नों को हल करने में लगने वाले कुल समय को 40% तक कम कर दिया। कुछ मामलों में, यह लगभग उतना ही तेज़ था जितना कि यदि उत्तर पहले से ही ज्ञात होते (यानी "Oracle" की गति)।
शून्य सटीकता हानि: क्योंकि सिस्टम अंतिम उत्तर को अंतिम रूप देने से पहले हमेशा धीमे, विश्वसनीय टूल के साथ अंदाज़े को सत्यापित करता है, इसलिए अंतिम परिणाम उतना ही सटीक होता है जितना कि यदि उन्होंने तेज़ गेसर (guesser) का उपयोग ही न किया होता। यह एक सुरक्षा जाल की तरह है: आप तेज़ दौड़ सकते हैं, लेकिन आप कभी गिरते नहीं हैं।

ट्रेड-ऑफ: "अधिक दिमाग, कम इंतज़ार"

पेपर नोट करता है कि इसे चलाने के लिए एक शर्त है: आपको एक साथ कई "थ्रेड्स" (अंदाज़ों) को चलाना होगा।

उदाहरण: यह तीन इंटर्न को काम पर रखने जैसा है जो मुख्य जासूस का इंतज़ार करते समय उत्तरों का अंदाज़ा लगाते हैं। आप "क्लॉक टाइम" बचाने के लिए अधिक "ब्रेन पावर" (कंप्यूटिंग संसाधन) का उपयोग कर रहे हैं।
निष्कर्ष: यदि आपका लक्ष्य उपयोगकर्ता को उत्तर जितनी जल्दी हो सके प्राप्त कराना है (कम लेटेंसी), तो यह ट्रेड-ऑफ सार्थक है। पेपर दिखाता है कि सक्रिय थ्रेड्स की एक छोटी संख्या (जैसे 3 या 6) के साथ भी, आप अधिकांश गति लाभ प्राप्त कर लेते हैं।

सारांश

SPECHOP एआई एजेंटों के लिए इंतज़ार करना बंद करने का एक तरीका है। यह एक तेज़ "अनुमान लगाने वाले" सहायक का उपयोग करता है ताकि जब तक धीमा "आधिकारिक" टूल अपना काम कर रहा हो, तब तक भविष्य के चरणों पर काम जारी रखा जा सके। यदि अंदाज़ा सही है, तो बहुत अच्छा—समय बचता है। यदि अंदाज़ा गलत है, तो सिस्टम उसे हटा देता है और फिर से प्रयास करता है, जिससे यह सुनिश्चित होता है कि अंतिम उत्तर हमेशा 100% सही हो। परिणाम एक बहुत तेज़ AI है जो अपनी बुद्धिमत्ता नहीं खोता।

तकनीकी सारांश: SPECHOP – मल्टी-हॉप रिट्रीवल एजेंटों को त्वरित करने के लिए निरंतर सट्टेबाजी (Continuous Speculation)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल, सूचना-गहन कार्यों को हल करने के लिए बाहरी उपकरणों (जैसे वेब सर्च, डॉक्यूमेंट रिट्रीवल) पर तेजी से निर्भर हो रहे हैं। हालांकि, मल्टी-हॉप टूल का उपयोग करने से निष्पादन विलंबता (execution latency) काफी बढ़ जाती है। एक मानक अनुक्रमिक प्रक्षेपवक्र (sequential trajectory) में, मॉडल को एक तर्क चरण (reasoning step) उत्पन्न करना होता है, फिर टूल ऑब्जर्वेशन की प्रतीक्षा करनी होती है, अगला चरण उत्पन्न करना होता है, फिर अगले ऑब्जर्वेशन की प्रतीक्षा करनी होती है, और इसी तरह। हालिया प्रोफाइलिंग इंगित करती है कि डीप-रिसर्च एजेंटों में, बाहरी टूल कॉल (विशेष रूप से वेब सर्च) कुल एंड-टू-एंड विलंबता का 91% तक हिस्सा हो सकते हैं।

मुख्य चुनौती इन मल्टी-हॉप प्रक्षेप पथों को बिना उस अंतिम प्रक्षेप पथ को बदले त्वरित करना है जो मॉडल ने त्वरण के बिना लिया होता। मौजूदा सट्टेबाजी (speculation) विधियाँ अक्सर या तो एकल-हॉप सट्टेबाजी मानती हैं या उनके लिए एक 'ओरेकल वेरीफायर' (oracle verifier) की आवश्यकता होती है जिसे टारगेट टूल के वापस आने से पहले ही भविष्यवाणी की शुद्धता का पता हो। लक्ष्य एक ऐसा ढांचा विकसित करना है जो गणना की विलंबता के साथ ओवरलैप करने के लिए तेज़ लेकिन कम विश्वसनीय "सट्टेबाज" (speculator) टूल्स का लाभ उठा सके, जबकि सत्यापन के माध्यम से लॉसलेस (lossless) सटीकता सुनिश्चित कर सके।

2. कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक मल्टी-हॉप सेटिंग्स में लॉसलेस सट्टेबाजी के लिए एक सैद्धांतिक ढांचा स्थापित करते हैं। वे परिभाषित करते हैं:

टारगेट टूल ( $T$ ): विश्वसनीय, धीमा बाहरी टूल (जैसे, वेब सर्च)।
सट्टेबाज (Speculator - $S$ ): एक तेज़, अनुमानित टूल जो $p > 0$ की संभावना के साथ अगली स्थिति को प्रेरित करने वाले ऑब्जर्वेशन की भविष्यवाणी करता है।
वेरिफायर (Verifier - $V$ ): यह निर्धारित करने का तंत्र कि क्या एक काल्पनिक (speculative) ऑब्जर्वेशन, मॉडल की अगली स्थिति के उद्देश्य के लिए टारगेट ऑब्जर्वेशन के समान है।

लेखक एक "ओरेकल-वेरिफिकेशन" सेटिंग का उपयोग करके विलंबता लाभ का ऊपरी स्तर (upper bound) प्राप्त करते हैं, जहाँ शुद्धता तुरंत ज्ञात होती है। वे दिखाते हैं कि सापेक्ष विलंबता लाभ सट्टेबाज की सफलता की संभावना ( $p$ ), इसकी सापेक्ष विलंबता ( $\alpha = E[T_{spec}]/E[T_{target}]$ ), और डिकोडिंग समय और टूल समय के अनुपात ( $\beta = E[T_{seg}]/E[T_{target}]$ ) पर निर्भर करता है।

SPECHOP एल्गोरिदम

पेपर SPECHOP प्रस्तावित करता है, जो एक निरंतर सट्टेबाजी ढांचा है जो ओरेकल विलंबता सीमा के करीब पहुँचने के लिए कई समानांतर थ्रेड्स (parallel threads) बनाए रखता है।

निरंतर सट्टेबाजी निष्पादन (Continuous Speculative Execution): फिक्स्ड-विंडो सट्टेबाजी के विपरीत, SPECHOP पूरे प्रक्षेप पथ के दौरान $k$ $k$ सक्रिय थ्रेड्स बनाए रखता है।
- थ्रेड निर्माण: जब एक थ्रेड $T_i$ एक्शन $a_i$ के लिए टारगेट टूल को कॉल करता है, तो तुरंत एक नया थ्रेड $T_{i+1}$ बनाया जाता है। $T_{i+1}$ ऑब्जर्वेशन $\hat{o}_i$ की भविष्यवाणी करने के लिए सट्टेबाज का उपयोग करता है, काल्पनिक अवस्था में संक्रमण करता है, अगला एक्शन $a_{i+1}$ उत्पन्न करता है, और $a_{i+1}$ के लिए टारगेट टूल को कॉल करता है।
- अतुल्यकालिक सत्यापन (Asynchronous Verification): जैसे-जैसे टारगेट टूल के परिणाम ( $o_i$ ) वापस आते हैं, वेरिफायर यह जांचता है कि क्या वे $\hat{o}_i$ के विरुद्ध सही हैं, जिसका उपयोग बाद के थ्रेड्स बनाने के लिए किया गया था।
- कमिट और रोलबैक (Commit and Rollback):
  - सफलता: यदि $V(o_i, \hat{o}_i)$ सफल होता है, तो काल्पनिक शाखा को कमिट कर दिया जाता है। सिस्टम सत्यापित थ्रेड को हटा देता है और नए सट्टेबाज थ्रेड्स के साथ फ्रंटियर का विस्तार करना जारी रखता है।
  - विफलता: यदि सत्यापन विफल हो जाता है, तो सभी डाउनस्ट्रीम सट्टेबाज थ्रेड्स को हटा दिया जाता है। सिस्टम वास्तविक टारगेट टूल आउटपुट का उपयोग करके अंतिम सत्यापित अवस्था से निष्पादन फिर से शुरू करता है।
थ्रेड प्रबंधन: सिस्टम गतिशील रूप से विंडो आकार $k$ का प्रबंधन करता है। सैद्धांतिक विश्लेषण (थ्योरम 4) $k, \alpha, \beta$ और सिस्टम की अस्थिरता के आधार पर "पाइपलाइन स्टार्वेशन" (जहाँ सिस्टम टारगेट टूल के वापस आने से पहले सट्टेबाज थ्रेड्स समाप्त कर देता है) की संभावना पर सीमा प्रदान करता है।

3. मुख्य योगदान

सैद्धांतिक ढांचा: पेपर मल्टी-हॉप सट्टेबाजी के लिए इष्टतम प्राप्त करने योग्य विलंबता लाभ को स्पष्ट करता है और बाउंडेड-विंडो और निरंतर सट्टेबाजी रणनीतियों के लिए अपेक्षित रनटाइम को व्युत्पन्न करता है।
SPECHOP ढांचा: एक अभिनव एल्गोरिदम जो निरंतर सट्टेबाजी निष्पादन बनाए रखता है, जिसमें कई सक्रिय थ्रेड्स होते हैं, और जैसे-जैसे टारगेट आउटपुट आते हैं, भविष्यवाणियों को अतुल्यकालिक रूप से सत्यापित करता है। यह सिस्टम को केवल प्रतीक्षा करने के बजाय सट्टेबाजी को "आगे बढ़ाने" की अनुमति देता है।
लॉसलेस गारंटी: टारगेट टूल आउटपुट के विरुद्ध काल्पनिक ऑब्जर्वेशन को सख्ती से सत्यापित करके, SPECHOW सटीक प्रक्षेप पथ और सटीकता को सुरक्षित रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): रिट्रीवल-ऑगमेंटेड मल्टी-हॉप QA कार्यों (2WikiMultihopQA, MuSiQue, DeepResearch-9K) पर व्यापक प्रयोगों से पता चलता है कि SPECHOP सैद्धांतिक भविष्यवाणियों के करीब पहुँचता है और महत्वपूर्ण विलंबता कमी प्राप्त करता है।

4. प्रायोगिक परिणाम

लेखकों ने विभिन्न जनरेटर मॉडल्स (CoRAG-Llama3.1-8B, GPT-5), टारगेट टूल्स (E5 Retrieval, Web Search), और सट्टेबाजों (Llama 3.1 8B, Qwen 3 8B, GPT-4o mini, GPT-4o, और एक कैश-आधारित रिट्रीवर) का उपयोग करके SPECHOP का मूल्यांकन किया।

विलंबता में कमी: उच्च टूल विलंबता (जैसे, वेब सर्च) वाले सेटिंग्स में SPECHOP ने वॉल-क्लॉक विलंबता को 40% तक कम कर दिया। उदाहरण के लिए, वेब सर्च और GPT-4o सट्टेबाज के साथ 2WikiMultihopQA पर, सापेक्ष विलंबता घटकर 0.60 रह गई, जो 0.50 के सैद्धांतिक इष्टतम के करीब है।
सटीकता का संरक्षण: सभी डेटासेट और कॉन्फ़िगरेशन में, SPECHOP ने मानक अनुक्रमिक बेसलाइन के एक्जैक्ट मैच (EM) और F1 स्कोर को सुरक्षित रखा। विचलन मामूली (<1%) थे, जो केवल वेरिफायर द्वारा स्वीकृत सौम्य विविधताओं के कारण थे। इसके विपरीत, "फुल सट्टेबाजी" (बिना सत्यापन के केवल सट्टेबाज का उपयोग करना) ने गंभीर सटीकता गिरावट (जैसे, 2WikiMultihopQA पर EM 68.7 से गिरकर 38.7 होना) का कारण डाला।
ट्रेड-ऑफ: ढांचा सक्रिय थ्रेड सीमा $k$ के माध्यम से विलंबता कमी और कम्प्यूटेशनल लागत के बीच संतुलन (trade-off) की अनुमति देता है। $k$ को छोटे मानों (जैसे, 3–6) तक सीमित करने पर भी पर्याप्त समानांतर टूल/मॉडल कॉल को नियंत्रित करते हुए इष्टतम विलंबता लाभ प्राप्त होता है।
कैश सट्टेबाजी (Cache Speculation): सट्टेबाज के रूप में एक तेज़, छोटे-इंडेक्स कैश (25% इंडेक्स के साथ) का उपयोग करने से उच्च सफलता दर (>E5 के लिए >60%, >Web Search के लिए >50%) और पर्याप्त स्पीडअप प्राप्त हुआ, जो LLM-आधारित सट्टेबाजों से परे इसकी प्रयोज्यता को प्रदर्शित करता है।

5. महत्व और दावे

पेपर का दावा है कि SPECHOP मल्टी-हॉप एजेंट सिस्टम में सैद्धांतिक ओरेकल विलंबता लाभ और व्यावहारिक कार्यान्वयन के बीच के अंतर को प्रभावी ढंग से पाटता है। एकल-हॉप सट्टेबाजी से निरंतर, मल्टी-थ्रेडेड पाइपलाइन में जाकर, SPECHOP अनुक्रमिक टूल उपयोग में निहित "स्टॉप-एंड-वेट" (रुकें और प्रतीक्षा करें) बाधा को दूर करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण लॉसलेस है: यह अंतर्निहित मॉडल की तर्क गुणवत्ता या अंतिम उत्तर की सटीकता से समझौता नहीं करता है। इसके बजाय, यह धीमे बाहरी टूल्स की विलंबता को तेज़ सट्टेबाज चरणों के उत्पादन के साथ ओवरलैप करके उत्तर तक पहुँचने की प्रक्रिया को तेज करता है। यह कार्य बताता है कि सक्रिय थ्रेड्स की एक छोटी संख्या (अक्सर $k < 10$ ) के साथ, एजेंट वास्तविक स्टोकेस्टिक वातावरण में इष्टतम गति प्राप्त कर सकते हैं, जिससे जटिल, मल्टी-हॉप रीजनिंग समय-संवेदनशील अनुप्रयोगों के लिए अधिक व्यावहारिक हो जाती है।

पेपर निष्कर्ष निकालता है कि हालांकि SPECHOP अधिक कम्प्यूटेशनल लागत (समानांतर निष्पादन के कारण) पेश करता है, यह उन परिदृश्यों के लिए एक अत्यधिक व्यावहारिक समाधान है जहाँ वॉल-क्लॉक विलंबता को कम करना महत्वपूर्ण है और कम्प्यूटेशनल ओवरहेड एक स्वीकार्य ट्रेड-ऑफ है।