💬 NLP

SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning

SpecEyes एक एजेंटिक-स्तर का स्पेक्युलेटिव एक्सेलेरेशन फ्रेमवर्क है जो एक कॉग्निटिव गेटिंग मैकेनिज्म और एक हेटेरोजेनियस पैरेलल फनल के साथ एक लाइटवेट मॉडल को स्पेक्युलेटिव प्लानर के रूप में उपयोग करता है ताकि सटीकता को बनाए रखते हुए या उसे बढ़ाते हुए मल्टीमॉडल LLMs की लेटेंसी को महत्वपूर्ण रूप से कम किया जा सके और थ्रूपुट में सुधार किया जा सके।

मूल लेखक: Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

प्रकाशित 2026-03-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अति-बुद्धिमान लेकिन बहुत धीमा जासूस (Agentic Multimodal LLM) है। यह जासूस जटिल दृश्य रहस्यों को सुलझाने में माहिर है, जैसे कि 4K फोटो में एक छोटा सा टाइपो (लिखने की गलती) ढूंढना या यह पता लगाना कि भीड़ भरे कमरे में बिल्ली ठीक कहाँ छिपी है। इसे करने के लिए, इस जासूस के पास एक विशेष टूलकिट है: वे ज़ूम इन कर सकते हैं, इमेज को क्रॉप कर सकते हैं, टेक्स्ट पढ़ सकते हैं और चीजों को अलग-अलग कोणों से देख सकते हैं।

हालाँकि, एक बड़ी समस्या है: जासूस बेहद धीमा है।

क्यों? क्योंकि वे एक सख्त, चरण-दर-चरण प्रक्रिया के साथ काम करते हैं।

वे पूरी तस्वीर देखते हैं।
वे तय करते हैं, "मुझे बाईं ओर ज़ूम करने की आवश्यकता है।"
वे ज़ूम पूरा होने का इंतज़ार करते हैं।
वे ज़muş किए हुए हिस्से को देखते हैं।
वे तय करते हैं, "अब मुझे यहाँ टेक्स्ट पढ़ना चाहिए।"
वे टेक्स्ट पढ़े जाने का इंतज़ार करते हैं।
...और इसी तरह।

यदि आप 100 लोगों को इस जासूस को काम पर रखने के लिए कहते हैं, तो उन सभी को एक कतार में खड़ा होना होगा। जासूस एक समय में एक व्यक्ति के लिए एक ही चरण कर सकता है। इसे "स्टेटफुल बॉटलनेक" (Stateful Bottleneck) कहा जाता है। यह एक सिंगल-लेन ब्रिज की तरह है जहाँ हर कार को एक-एक करके गुजरना पड़ता है, भले ही आगे का रास्ता खाली क्यों न हो।

पेश है: SpecEyes (एक "तेज़ अंतर्ज्ञान" प्रणाली)

SpecEyes के पीछे के शोधकर्ताओं ने महसूस किया कि कुछ भी सवाल वास्तव में जासूस के धीमे, चरण-दर-चरण टूलकिट की आवश्यकता नहीं होती है।

कभी-कभी, आप बस पूछते हैं, "कार का रंग क्या है?" इसका उत्तर मुख्य फोटो से ही स्पष्ट है। आपको ज़ूम करने या साइन पढ़ने की आवश्यकता नहीं है। लेकिन धीमा जासूस यह अभी तक नहीं जानता; वे बिना सोचे-समझे अपनी लंबी, महंगी प्रक्रिया शुरू कर देते हैं।

SpecEyes एक "फास्ट इंट्यूशनिस्ट" (एक छोटा, हल्का AI मॉडल) को दरवाजे पर खड़ा करता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

1. "फास्ट इंट्यूशनिस्ट" बनाम "स्लो डिटेक्टिव"

एक व्यस्त एयरपोर्ट सुरक्षा लाइन की कल्पना करें।

धीमा जासूस (The Slow Detective) फुल-बॉडी स्कैनर और बैग की मैन्युअल जांच है। यह गहन है लेकिन प्रति व्यक्ति 10 मिनट लेता है।
फास्ट इंट्यूशनिस्ट (The Fast Intuitionist) एक सुरक्षा गार्ड है जो एक त्वरित नज़र डालता है। वे यात्री को देखकर कह सकते हैं, "आप ठीक लग रहे हैं, स्कैनर की ज़रूरत नहीं है," या "आप संदिग्ध लग रहे हैं, स्कैनर के पास जाएँ।"

SpecEyes में:

फास्त इंट्यूशनिस्ट इमेज और सवाल को देखता है। यदि यह एक आसान सवाल है (जैसे "कार का रंग क्या है?"), तो इंट्यूशनिस्ट तुरंत उत्तर देता है। किसी टूल की आवश्यकता नहीं। इंतज़ार करने की कोई ज़रूरत नहीं।
यदि इंट्यूशनिस्ट अनिश्चित है, या यदि सवाल स्पष्ट रूप से कठिन है (जैसे "कोने में रखे छोटे बॉक्स पर सीरियल नंबर ढूंढें"), तो वे कहते हैं, "मैं पक्का नहीं हूँ, उन्हें धीमे जासूस के पास भेजें।"

2. "कॉन्फिडेंस गेट" (संज्ञानात्मक गेटिंग)

फास्ट इंट्यूशनिस्ट को कैसे पता चलता है कि उसे खुद पर कब भरोसा करना चाहिए?
आमतौर पर, AI मॉडल यह जानने में खराब होते हैं कि वे कब केवल अनुमान लगा रहे हैं। वे गलत होने पर भी कह सकते हैं कि वे "99% सुनिश्चित" हैं।

SpecEyes "आंसर सेपरेबिलिटी" (Answer Separability) नामक एक चतुर तकनीक का उपयोग करता है।

कल्पना करें कि इंट्यूशनिस्ट उत्तर का अनुमान लगा रहा है।
खराब अनुमान (Bad Guess): मॉडल सोचता है कि उत्तर "लाल" है, लेकिन वह यह भी काफी आश्वस्त है कि यह "नारंगी" या "गुलाबी" भी हो सकता है। इनके स्कोर एक-दूसरे के बहुत करीब हैं। यह कम सेपरेबिलिटी (low separability) है। सिस्टम कहता है, "इस पर भरोसा न करें; इसे धीमे जासूस के पास भेजें।"
अच्छा अनुमान (Good Guess): मॉडल सोचता है कि "लाल" के साथ बहुत अधिक स्कोर है, और "नारंगी" को लगभग शून्य अंक मिलते हैं। अंतर बहुत बड़ा है। यह उच्च सेपरेबिलिटी (high separability) है। सिस्टम कहता है, "यह एक स्पष्ट जीत है! चलिए धीमे जासूस को स्किप करते हैं।"

यह गेट यह सुनिश्चित करता है कि हम केवल तभी धीमे प्रोसेस को स्किप करें जब हम वाकई आश्वस्त हों, ताकि हम अपनी सटीकता न खो दें।

3. "पैरेलल फनल" (गति का जादू)

यहाँ असली जादू है।

धीमा जासूस "स्टेटफुल" (stateful) है। वे व्यक्ति B पर जाने से पहले व्यक्ति A के लिए किए गए कार्यों को याद रखते हैं। इसका मतलब है कि वे व्यक्ति A और व्यक्ति B पर एक साथ काम नहीं कर सकते। वे एक सिंगल लेन में फंसे हुए हैं।
फास्ट इंट्यूशनिस्ट "स्टेटलेस" (stateless) है। उन्हें अतीत की परवाह नहीं है। वे एक ही समय में 100 लोगों को देख सकते हैं और तुरंत 100 उत्तर दे सकते हैं।

SpecEyes एक फनल (कीप) सेट करता है:

100 लोग आते हैं।
फास्ट इंट्यूशनिस्ट उन सभी को एक साथ देखता है (समानांतर/Parallel!)।
मान लीजिए उनमें से 80 आसान सवाल हैं। इंट्यूशनिस्ट उन्हें तुरंत हल कर देता है।
केवल शेष 20 कठिन सवाल धीमे जासूस के पास जाते हैं।
धीमे जासूस को अब 100 के बजाय केवल 20 लोगों को संभालना पड़ता है।

चूंकि धीमा जासूस अब केवल "कठिन" मामलों को संभाल रहा है, इसलिए पूरा सिस्टम 1.7 से 3.3 गुना तेज़ हो जाता है।

परिणाम

इस पेपर ने तीन अलग-अलग प्रकार के विजुअल पहेलियों पर इसका परीक्षण किया:

आसान चीजें (V Bench):* सिस्टम बहुत तेज़ था और वास्तव में इसने अधिक सवालों के सही उत्तर दिए क्योंकि इसने उन "हैलुसिनेशन" (गलतियों) से बचा जो धीमे जासूस के अत्यधिक सोचने (over-thinking) से होते हैं।
कठिन चीजें (HR-Bench): यहाँ भी, जहाँ कई सवालों के लिए धीमे जासूस की आवश्यकता होती है, सिस्टम ने आसान सवालों को पहले ही फिल्टर करके गति बढ़ा दी।
तुलना: अन्य तरीकों ने धीमे जासूस को टोकन तेजी से अनुमान लगाने के लिए प्रेरित करने की कोशिश की, लेकिन उन्हें फिर भी पूरी लंबी प्रक्रिया करनी पड़ती थी। SpecEyes आसान सवालों के लिए पूरी प्रक्रिया को ही छोड़ देता है।

सारांश

SpecEyes एक चतुर सहायक को नियुक्त करने जैसा है जो आपके व्यस्त बॉस तक पहुँचने से पहले आपकी डाक को छाँटता है।

पहले: बॉस हर एक पत्र पढ़ता है, यहाँ तक कि स्पैम और "हैप्पी बर्थडे" नोट्स भी, एक-एक करके।
अब: सहायक जल्दी से डाक को छाँटता है। वे "हैप्पी बर्थडे" नोट्स को तुरंत संभाल लेते हैं। वे केवल जटिल कानूनी दस्तावेजों को ही बॉस के पास भेजते हैं।
परिणाम: बॉस का काम कम हो जाता है, डाक तेजी से प्रोसेस होती है, और बॉस अभी भी कठिन चीजों को पूरी तरह से संभालता है।

यह AI सिस्टम को उनकी बुद्धिमत्ता से समझौता किए बिना तेज़, सस्ता और अधिक कुशल बनाता है।

यहाँ शोध पत्र "SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: एजेंटिक गहराई की बाधा (The Agentic Depth Bottleneck)

एजेंटिक मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) (जैसे, OpenAI o3, Gemini Agentic Vision) अपनी समझ को परिष्कृत करने के लिए बाहरी विज़ुअल टूल्स (ज़ूम, क्रॉप, OCR) को बार-बार बुलाकर (iteratively invoking) श्रेष्ठ तर्क क्षमता प्राप्त करते हैं। हालाँकि, यह प्रतिमान (paradigm) एक गंभीर दक्षता संकट पैदा करता है जो दो मुख्य समस्याओं द्वारा चिह्नित है:

क्रमिक विलंबता विस्फोट (Sequential Latency Explosion): तर्क प्रक्रिया एक मार्कोवियन श्रृंखला (Markovian chain) है जहाँ चरण $d+1$ पूरी तरह से चरण $d$ के आउटपुट पर निर्भर करता है। एंड-टू-एंड विलंबता "एजेंटिक गहराई" ( $D$ ), यानी टूल-उपयोग चरणों की संख्या के साथ रैखिक रूप से बढ़ती है।
समानांतरता पतन (Concurrency Collapse): क्योंकि प्रत्येक क्वेरी एक अद्वितीय स्टेट ट्राजेक्टरी (state trajectory) बनाए रखती है, इसलिए GPU बैचिंग प्रभावी रूप से शून्य हो जाती है। सिस्टम एक समय में एक ही क्वेरी के लिए एक चरण को प्रोसेस कर सकता है, जिससे भारी हार्डवेयर पैरेललिज्म खाली पड़ा रहता है।

मौजूदा अनुकूलन विधियाँ (टोकन-लेवल स्पेक्युलेटिव डिकोडिंग, टोकन प्रूनिंग) विफल रहती हैं क्योंकि वे फिक्स्ड एजेंटिक लूप के भीतर कार्य करती हैं, जिससे टूल इनवोकेशन की क्रमिक निर्भरता यथावत बनी रहती है।

2. कार्यप्रणाली: SpecEyes फ्रेमवर्क

लेखक SpecEyes प्रस्तावित करते हैं, जो स्पेक्युलेटिव त्वरण (speculative acceleration) को टोकन स्तर से उठाकर एजेंटिक स्तर पर ले जाता है। मुख्य अंतर्दृष्टि यह है कि कई क्वेरीज़ को गहरे टूल-सहायता वाले तर्क की आवश्यकता नहीं होती है और उन्हें केवल मूल छवि का उपयोग करके एक हल्के, टूल-मुक्त मॉडल द्वारा सही ढंग से हल किया जा सकता है।

SpecEyes एक चार-चरणीय विषम पाइपलाइन (four-phase heterogeneous pipeline) का उपयोग करता है:

चरण I: ह्यूरिस्टिक टूल-उपयोग निर्णय (Heuristic Tool-Use Judgment)

एक बड़ा एजेंटिक मॉडल ( $M_L$ ) एक हल्का बाइनरी वर्गीकरण करता है ताकि यह निर्धारित किया जा सके कि क्या किसी क्वेरी को टूल इनवोकेशन की आवश्यकता है।

यदि टूल-मुक्त ( $g=0$ ): क्वेरी चरण II में जाती है।
यदि टूल-आवश्यक ( $g=1$ ): क्वेरी स्पेक्यूलेशन को छोड़कर सीधे चरण IV (एजेंटिक फॉलबैक) पर चली जाती है।
नोट: यह चरण नगण्य ओवरहेड रखता है क्योंकि यह केवल एक बाइनरी टोकन उत्पन्न करता है, बिना टूल निष्पादन के।

चरण II: स्पेक्युलेटिव प्रेडिक्शन (Speculative Prediction)

टूल-मुक्त उम्मीदवारों के लिए, एक छोटा, स्टेटलेस, नॉन-एजेंटिक मॉडल ( $M_S$ ) सीधे छवि से एक स्पेक्युलेटिव उत्तर ( $\hat{y}_S$ ) और उसका पूर्ण लॉजिट वितरण (logit distribution) उत्पन्न करता है।

यह चरण क्वेरीज़ के बैच के लिए पूरी तरह से समानांतर (parallelizable) है क्योंकि $M_S$ स्टेटलेस है।

चरण III: कॉग्निटिव गेटिंग (उत्तर पृथकार्यता)

यह तय करने के लिए कि स्पेक्युलेटिव उत्तर पर भरोसा किया जाए या नहीं, SpecEyes एक नया उत्तर पृथकार्यता स्कोर (Answer Separability Score - $S_{sep}$ ) पेश करता है।

मानक कॉन्फिडेंस की सीमा: पारंपरिक सॉफ्टमैक्स प्रोबेबिलिटी अक्सर मिस-कैलिब्रेटेड होती हैं और शीर्ष भविष्यवाणी और उसके प्रतिस्पर्धियों के बीच के अंतर को नहीं मापती हैं।
समाधान: $S_{sep}$ शीर्ष लॉजिट और शीर्ष- $K$ लॉजिट्स के माध्य (mean) और विचरण (variance) के बीच मानकीकृत दूरी की गणना करता है।
$S^{(n)}_{sep} = \frac{\ell^{(n)}_{[1]} - \mu^{(n)}_K}{\sigma^{(n)}_K + \epsilon}$
एकत्रीकरण (Aggregation): पेपर एक मिन-एग्रीगेशन (Min-Aggregation) रणनीति प्रस्तावित करता है ( $S^{min}_{sep}$ ), जो उत्तर के सभी टोकन में न्यूनतम पृथकार्यता स्कोर लेता है। यह एक "वर्स्ट-केस गार्ड" के रूप में कार्य करता है, यह सुनिश्चित करता है कि उत्तर को स्वीकार करने से पहले उत्तर के प्रत्येक टोकन में पर्याप्त आत्मविश्वास हो।
निर्णय: यदि $S_{sep} \geq \tau$ (थ्रेशोल्ड) है, तो उत्तर स्वीकार कर लिया जाता है। अन्यथा, यह चरण IV में फॉलबैक करता है।

चरण IV: एजेंटिक फॉलबैक (Agentic Fallback)

गेट द्वारा खारिज की गई या चरण I में टूल-आवश्यक के रूप में पहचानी गई क्वेरीज़ को मानक क्रमिक टूल-उपयोग लूप का उपयोग करके पूर्ण एजेंटिक मॉडल ( $M_L$ ) द्वारा प्रोसेस किया जाता है। यह सटीकता सुनिश्चित करने के लिए एक सुरक्षा जाल (safety net) के रूप में कार्य करता है।

सिस्टम आर्किटेक्चर: हेटेरोजेनियस पैरेलल फनल

फ्रेमवर्क स्टेटलेस और स्टेटफुल निष्पादन को अलग करता है:

पैरलल फ्रंट-एंड: स्क्रीनिंग (चरण I) और स्पेक्यूलेशन (चरण II) पूरे बैच के लिए समानांतर में चलते हैं।
सीक्वेंशियल बैक-एंड: शेष क्वेरी सेट (गेट द्वारा खारिज या टूल की आवश्यकता वाली) ही क्रमिक एजेंटिक लूप में प्रवेश करता है।

थ्रूपुट लाभ: सिस्टम एक सैद्धांतिक गति $\approx 1/(1 - \beta\alpha)$ प्राप्त करता है, जहाँ $\beta$ टूल-मुक्त क्वेरीज़ का अंश है और $\alpha$ गेट स्वीकृति दर है।

3. मुख्य योगदान

स्टेटफुल बॉटलनेक का औपचारिकीकरण: पेपर गणितीय रूप से प्रदर्शित करता है कि कैसे टूल-उपयोग श्रृंखलाओं में डेटा डिपेंडेंसी एजेंटिक MLLMs के लिए विलंबता और समानांतरता दोनों पर एक मौलिक बाधा उत्पन्न करती है।
एजेंटिक-लेवल स्पेक्यूलेशन: SpecEyes पहला फ्रेमवर्क है जो व्यक्तिगत टोकन के बजाय संपूर्ण एजेंटिक प्रक्षेपवक्र (trajectory) पर स्पेक्यूलेट करता है, जिससे सरल क्वेरीज़ के लिए टूल-उपयोग लूप को पूरी तरह से बायपास किया जा सके।
कॉग्निटिव गेटिंग मैकेनिज्म: Answer Separability मेट्रिक का परिचय, जो एक लेबल-फ्री, स्केल-इनवेरिएंट मानदंड है जो सही बनाम गलत स्पेक्युलेटिव उत्तरों को पहचानने में पारंपरिक सॉफ्टमैक्स कॉन्फिडेंस से बेहतर प्रदर्शन करता है।
हेटेरोजेनियस पैरेलल फनल: एक सर्विंग आर्किटेक्चर जो बड़े मॉडल्स के क्रमिक निष्पादन को मास्क करने के लिए छोटे मॉडल्स की स्टेटलेस प्रकृति का लाभ उठाता है, जिससे प्रति-क्वेरी विलंबता बचत को सिस्टम-स्तरीय थ्रूपुट लाभ में बदल दिया जाता है।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन V Bench*, HR-Bench, और POPE पर DeepEyes और Thyme को एजेंटिक बैकबोन के रूप में, और Qwen3-VL-2B को स्पेक्युलेटिव मॉडल के रूप में किया गया।

गति (Speedup): SpecEyes एजेंटिक बेसलाइन की तुलना में 1.1× से 3.35× की गति प्राप्त करता है।
- POPE (हैलुसिनेशन प्रोब) पर, DeepEyes के साथ स्पीडअप 2.13×–2.19× तक पहुँचा।
- V Bench* पर, बेहतर सटीकता के साथ 1.90× की गति प्राप्त हुई।
सटीकता (Accuracy): अन्य स्पेक्युलेटिव विधियों के विपरीत, जो प्रदर्शन को कम करती हैं, SpecEyes सटीकता को बनाए रखता है या सुधारता है (POPE पर +6.7% तक सुधार)।
- पाया गया कि "Min-Aggregation" रणनीति सबसे मजबूत है, जो बेसलाइन सटीकता बनाए रखते हुए गति को अधिकतम करती है।
तुलना: प्रतिस्पर्धी विधियाँ जैसे SpecReason (टोकन-लेवल स्पेक्यूलेशन) ने अतिरिक्त टर्न और टोकन जनरेशन के ओवरहेड के कारण वास्तव में इन्फरेंस को धीमा (0.37×–0.61×) कर दिया, जबकि SpecEyes लूप को पूरी तरह से बायपास करके इसे टाल देता है।
थ्रूपुट: समवर्ती वर्कलोड (concurrent workloads) के तहत, हेटेरोजेनियस फनल सिस्टम थ्रूपुट को महत्वपूर्ण रूप से बढ़ाता है, जिससे होने वाला लाभ स्पेक्युलेटिव मॉडल की स्वीकृति दर के समानुपाती होता है।

5. महत्व

SpecEyes एजेंटिक MLLMs को अनुकूलित करने में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। यह पहचानकर कि "एजेंटिक लूप" हमेशा आवश्यक नहीं होता है, यह माइक्रो-ऑप्टिमाइज़ेशन (जैसे टोकन प्रूनिंग) से आगे बढ़कर मैक्रो-ऑप्टिमाइज़ेशन (लूप को स्किप करना) की ओर बढ़ता है।

स्केलेबिलिटी: यह समानांतरता पतन (concurrency collapse) की समस्या को हल करता है, जिससे एजेंटिक MLLMs का वास्तविक दुनिया के उच्च-थ्रूपुट परिनियोजन (deployment) के लिए उपयोग संभव होता है।
दक्षता-सटीकता ट्रेड-ऑफ: यह प्रदर्शित करता है कि एक मजबूत कॉग्निटिव गेट द्वारा नियंत्रित आक्रामक स्पेक्यूलेशन, उच्च तर्क क्षमताओं से समझौता किए बिना विलंबता को कम कर सकता है।
भविष्य की दिशा: पेपर "मल्टी-डेप्थ स्पेक्यूलेशन" (स्पेक्युलेटिव मॉडल में सीमित टूल कॉल की अनुमति देना) तक विस्तार करने का सुझाव देता है, जिससे वर्तमान में उच्च एजेंटिक गहराई द्वारा बाधित जटिल कार्यों को और अधिक गति दी जा सके।