🤖 AI

GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs

GridProbe लंबे वीडियो VLMs के लिए एक प्रशिक्षण-मुक्त (training-free), अनुकूली टेस्ट-टाइम कंप्यूट प्रतिमान पेश करता है जो व्याख्या योग्य महत्व मानचित्र (importance maps) उत्पन्न करने के लिए एक फ्रेम ग्रिड पर पोस्टीरियर प्रोबिंग का उपयोग करता है, जिससे गतिशील फ्रेम चयन सक्षम होता है जो तर्क-प्रधान कार्यों पर सटीकता को बनाए रखते हुए या उसमें सुधार करते हुए कम्प्यूटेशनल लागत को काफी कम कर देता है।

मूल लेखक: Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास 2 घंटे की एक फिल्म है और एक बहुत ही स्मार्ट AI असिस्टेंट है जिसे उस फिल्म के बारे में एक विशिष्ट प्रश्न का उत्तर देना है। इसे करने का पुराना तरीका यह था कि AI को पूरी फिल्म, फ्रेम दर फ्रेम, एक साथ खिला दी जाए। यह वैसा ही है जैसे किसी छात्र को किसी एक प्रश्न का उत्तर देने के लिए केवल पेज 42 पढ़ने के बजाय पूरी 500 पन्नों की पाठ्यपुस्तक एक ही बार में पढ़ने के लिए कहना। यह धीमा, महंगा और थकाऊ है क्योंकि AI अप्रासंगिक विवरणों से अभिभूत हो जाता है।

GridProbe इसे संभालने का एक नया, स्मार्ट तरीका है। पूरी किताब पढ़ने के बजाय, यह एक कुशल लाइब्रेरियन की तरह काम करता है जो जल्दी से विषय-सूची और कुछ मुख्य अध्यायों को स्कैन करता है ताकि यह पता लगाया जा सके कि उत्तर वास्तव में कहाँ छिपा है, और फिर केवल उन्हीं विशिष्ट पन्नों को पढ़ता है।

यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. समस्या: बहुत अधिक शोर (Too Much Noise)

वर्तमान वीडियो AI मॉडल एक ही विशाल "फॉरवर्ड पास" में हजारों फ्रेमों को प्रोसेस करने की कोशिश करते हैं। यह गणनात्मक रूप से भारी है (जैसे एक भारी पत्थर उठाने की कोशिश करना) और अक्सर AI को छवियों को सिकोड़ने (squint) के लिए मजबूर करता है, जिससे वे सभी को फिट करने के चक्कर में बारीकियों को खो देते हैं।

2. समाधान: "ग्रिड" स्कैन (The "Grid" Scan)

पूरे वीडियो को एक साथ देखने के बजाय, GridProbe वीडियो को एक विशाल चेकरबोर्ड (एक $K \times K$ ग्रिड) की तरह मानता है।

द प्रोब (The Probe): यह हर एक वर्ग को नहीं देखता। इसके बजाय, यह दो त्वरित, हल्के "स्कैन" चलाता है:
- रो स्कैन (Row Scan): यह वीडियो के क्षैतिज स्ट्रिप्स (horizontal strips) को देखता है (जैसे टेक्स्ट की कुछ पंक्तियाँ पढ़ना)।
- कॉलम स्कैन (Column Scan): यह ऊर्ध्वाधर स्ट्रिप्स (vertical strips) को देखता है (जैसे नियमित अंतराल पर वीडियो के माध्यम से आगे बढ़ना)।
"कॉन्फिडेंस" टेस्ट: प्रत्येक स्ट्रिप के लिए, यह AI से पूछता है: "यदि मैं तुम्हें केवल यह स्ट्रिप दिखाऊं, तो तुम प्रश्न का उत्तर देने में कितने आश्वस्त रहोगे?"
- यदि AI कहता है, "मैं 100% निश्चित हूँ," तो उस स्ट्रिप को महत्वपूर्ण (Important) के रूप में चिह्नित किया जाता है।
- यदि AI कहता है, "मुझे कोई अंदाजा नहीं है," तो उस स्ट्रिप को महत्वहीन (Unimportant) के रूप में चिह्नित किया जाता है।

3. जादुई मानचित्र: "सोना" खोजना (Finding the "Gold")

रो और कॉलम स्कैन के परिणामों को जोड़कर, GridProbe वीडियो का एक हीट मैप (heat map) बनाता है।

इंटरसेक्शन (The Intersection): एक विशिष्ट फ्रेम को तभी "सुपर महत्वपूर्ण" माना जाता है जब उसकी रो (row) और उसका कॉलम (column) दोनों को महत्वपूर्ण के रूप में चिह्नित किया गया हो।
परिणाम: यह एक ऐसा मानचित्र बनाता है जो ठीक उसी स्थान को उजागर करता है जहाँ उत्तर छिपा है, बिना AI को पूरा वीडियो देखे।

4. "शेप-शिफ्टिंग" बजट (The "Shape-Shifting" Budget)

यह सबसे चतुर हिस्सा है। अधिकांश सिस्टम देखने के लिए फ्रेमों की एक निश्चित संख्या चुनते हैं (जैसे, "हमेशा 50 फ्रेम देखें")।

खामी: कुछ प्रश्न आसान होते हैं जिनमें केवल 5 फ्रेमों की आवश्यकता होती है (जैसे, "कार का रंग क्या है?")। अन्य कठिन होते हैं जिनमें 100 फ्रेमों की आवश्यकता होती है (जैसे, "पूरी फिल्म की कहानी का सारांश दें")। एक निश्चित संख्या आसान प्रश्नों पर समय बर्बाद करती है और कठिन प्रश्नों पर विफल हो जाती है।
GridProbe का समाधान: यह अभी बनाए गए हीट मैप के आकार (shape) को देखता है।
- स्पाइकी मैप (Spiky Map): यदि हीट मैप में कुछ चमकीले, तीखे शिखर (peaks) हैं, तो AI जानता है कि उत्तर बस कुछ ही जगहों पर है। वह कम संख्या में फ्रेम चुनता है।
- फ्लैट मैप (Flat Map): यदि हीट मैप हर जगह समान रूप से फैला हुआ है, तो AI जानता है कि उत्तर हर जगह है। वह अधिक संख्या में फ्रेम चुनता है।
- रिडंडेंट मैप (Redundant Map): यदि मैप हर जगह चमकीला है लेकिन दोहराव वाला दिखता है, तो वह जान जाता है कि वह एक छोटा, प्रतिनिधि नमूना चुन सकता है।

यह सिस्टम को बिना उत्तर देखे, प्रश्न की कठिनाई के आधार पर अपनी मेहनत को अनुकूलित (adapt) करने की अनुमति देता है।

5. "छोटा दिमाग, बड़ा दिमाग" वाला तरीका (The "Small Brain, Big Brain" Trick)

पेपर ने एक और दिलचस्प दक्षता तकनीक (efficiency hack) की भी खोज की है।

आप स्कैनिंग और फ्रेम चुनने (द सेलेक्टर) के लिए एक छोटे, तेज़ AI (2 बिलियन पैरामीटर्स) का उपयोग कर सकते हैं।
फिर, आप उन चुने हुए फ्रेमों को एक बहुत अधिक स्मार्ट, बड़े AI (4 या 8 बिलियन पैरामीटर्स) को अंतिम उत्तर देने के लिए देते हैं।
परिणाम: यह पूरे वीडियो को देखने के लिए बड़े AI का उपयोग करने की तुलना में तेज़ और सस्ता है, फिर भी यह छोटे AI द्वारा पूरे वीडियो को देखने की तुलना में वास्तव में अधिक सटीक है। यह एक जूनियर असिस्टेंट द्वारा सही दस्तावेज़ खोजने और एक सीनियर प्रोफेसर द्वारा अंतिम रिपोर्ट लिखने जैसा है।

लाभों का सारांश

गति (Speed): यह काफी कम कंप्यूटिंग पावर का उपयोग करता है (3 गुना तक कम) क्योंकि यह वीडियो के उबाऊ हिस्सों को छोड़ देता है।
सटीकता (Accuracy): यह सटीकता नहीं खोता; वास्तव में, कुछ परीक्षणों में, यह पुराने "सब कुछ देखने" वाले तरीके से बेहतर प्रदर्शन करता है।
व्याख्यात्मकता (Interpretability): आप वास्तव में हीट मैप को देख सकते हैं और समझ सकते हैं कि AI ने कुछ विशेष फ्रेम क्यों चुने। यह एक 'ब्लैक बॉक्स' नहीं है; यह एक पारदर्शी प्रक्रिया है।

संक्षेप में, GridProbe AI को पढ़ने से पहले सरसरी नज़र (skim) मारना सिखाता है, प्रश्न की कठिनाई के आधार पर अपनी मेहनत को अनुकूलित करता है, और यह सब बिना किसी अतिरिक्त प्रशिक्षण के करता है।

तकनीकी सारांश: GridProbe

समस्या विवरण

विज़न-लैंग्वेज मॉडल्स (VLMs) में लंबी वीडियो समझ वर्तमान में एक एकल मोनोलिथिक फॉरवर्ड पास में हजारों फ्रेमों को प्रोसेस करने की कम्प्यूटेशनल लागत के कारण बाधित है। यह दृष्टिकोण अनुक्रम लंबाई (sequence length) के सापेक्ष द्विघात अटेंशन लागत ( $O(N^2)$ ) उत्पन्न करता है। जबकि मौजूदा शमन रणनीतियों (mitigation strategies) में इन्फरेंस से पहले सूचनात्मक फ्रेमों के एक उपसमूह ( $M \ll N$ ) का चयन करना शामिल है, वर्तमान "एन्कोडर-स्पेस सिलेक्शन" विधियाँ (जैसे MDP3, CLIP-matching) सहायक विजन-टेक्स्ट एन्कोडर्स पर निर्भर करती हैं। ये विधियाँ अपने प्रीट्रेनिंग की रिप्रजेंटेशनल क्षमता से सीमित हैं, और अक्सर निषेध (negation), क्रॉस-फ्रेम काउंटिंग, और समग्र सारांश जैसे तर्क-प्रधान प्रश्नों पर विफल रहती हैं। इसके अतिरिक्त, मौजूदा विधियाँ आमतौर पर एक स्थिर फ्रेम बजट ( $M$ ) लागू करती हैं, जिससे एक ट्रेड-ऑफ पैदा होता है जहाँ स्थानीयकृत प्रश्नों के लिए कंप्यूट बर्बाद होता है या समग्र प्रश्नों के लिए अपर्याप्त होता है।

कार्यप्रणाली: GridProbe

GridProbe एक ट्रेनिंग-फ्री, पोस्टीरियर-प्रोबिंग इन्फरेंस प्रतिमान (paradigm) पेश करता है जो फ्रेम चयन को एन्कोडर स्पेस से बदलकर VLM के अपने उत्तर स्पेस (answer space) में ले जाता है। यह विधि दो चरणों में कार्य करती है:

1. ग्रिड फॉर्मूलेशन और इम्पॉर्टेंस मैपिंग

व्यक्तिगत रूप से या बाहरी एन्कोडर्स के माध्यम से फ्रेमों को स्कोर करने के बजाय, GridProbe कैंडिडेट फ्रेम पूल ( $K^2$ फ्रेम) को एक वैचारिक $K \times K$ ग्रिड के रूप में मानता है।

प्रोब पासेस (Probe Passes): फ्रोजन VLM $2K$ लाइटवेट पासेस करता है: $K$ रो पासेस (स्थानीय टेम्पोरल कवरेज) और $K$ कॉलम पासेस (स्ट्राइडेड, ग्लोबल कवरेज)। प्रत्येक पास केवल $K$ फ्रेम प्रोसेस करता है।
पोस्टीरियर स्कोरिंग: प्रत्येक रो $r$ और कॉलम $c$ के लिए, मॉडल एक "प्रोब कॉन्फिडेंस" $c(S, q)$ की गणना करता है, जिसे सबसेट $S$ और क्वेरी $q$ दिए जाने पर उत्तर स्पेस $Y$ पर पीक पोस्टीरियर प्रोबेबिलिटी के रूप में परिभाषित किया गया है।
इम्पॉर्टेंस मैप: एक प्रश्न-कंडीशन्ड इम्पॉर्टेंस मैप $M$ को रो और कॉलम कॉन्फिडेंस के आउटर प्रोडक्ट के माध्यम से जनरेट किया जाता है: $M[r, c] = c_{row}^r \cdot c_{col}^c$ । यह मैप VLM की आंतरिक साक्ष्य-एकत्रीकरण (evidence-gathering) क्षमता को दर्शाता है, जो इसकी पूर्ण रीजनिंग क्षमता को विरासत में लेता है।

2. शेप-एडाप्टिव सिलेक्शन (Shape-Adaptive Selection)

एक निश्चित फ्रेम बजट का उपयोग करने के बजाय, GridProbe इम्पॉर्टेंस मैप के सांख्यिकीय आकार के आधार पर एक प्रति-प्रश्न प्रभावी फ्रेम संख्या ( $M_{eff}$ ) व्युत्पन्न करता है।

डिस्ट्रीब्यूशन शेप स्टैटिस्टिक्स: विधि इम्पॉर्टेंस मैप डिस्ट्रीब्यूशन के एब्सोल्यूट स्क्यूनेस (skewness) और एक्स्ट्रा सेस कर्टोसिस (excess kurtosis) को संयोजित करने वाला एक सांख्यिकी $\sigma(M)$ $σ (M)$ की गणना करती है।
- पॉजिटिव स्क्यू (Sparse Peaks): यह दर्शाता है कि कुछ निर्णायक फ्रेम उत्तर में निहित हैं।
- नेगेटिव स्क्यू (Redundancy): यह दर्शाता है कि कई फ्रेम सूचनात्मक हैं लेकिन ओवरलैपिंग हैं; एक छोटा उपसमूह पर्याप्त है।
- नियर-यूनिफॉर्म (Near-Uniform): यह दर्शाता है कि साक्ष्य विरल और बिखरे हुए हैं, जिसके लिए पूर्ण कवरेज की आवश्यकता है।
एडाप्टिव नियम: एक क्लोज्ड-फॉर्म नियम $\sigma(M)$ को $M_{eff}$ में मैप करता है। यह सिस्टम को कठिन प्रश्नों (यूनिफॉर्म मैप्स) के लिए अधिक कंप्यूट आवंटित करने और आसान या रेडंडेंट प्रश्नों के लिए कम कंप्यूट आवंटित करने की अनुमति देता है, बिना कभी ग्राउंड-ट्रुथ उत्तर देखे।

3. टू-स्टेज इन्फरेंस पाइपलाइन

स्टेज 1 (प्रोब): इम्पॉर्टेंस मैप और $M_{eff}$ जनरेट करने के लिए $2K$ पासेस निष्पादित करें।
स्टेज 2 (फोकस्ड पास): मैप से शीर्ष $M_{eff}$ फ्रेम चुनें और अंतिम उत्तर उत्पन्न करने के लिए एक सिंगल फुल-रेज़ोल्यूशन फॉरवर्ड पास चलाएं।

मुख्य योगदान

पोस्टीरियर-प्रोबिंग प्रतिमान: GridProbe मानक वन-शॉट फॉरवर्ड पास को एक सेल्फ-प्रोबिंग तंत्र से बदल देता है जो उत्तर स्पेस में संचालित होता है। यह चयन सिग्नल को VLM की अपनी रीजनिंग क्षमताओं का लाभ उठाने की अनुमति देता है, जिससे जटिल प्रश्नों (निषेध, काउंटिंग) को संभालना संभव होता है जिन्हें एन्कोडर-स्पेस विधियाँ मिस कर देती हैं।
इंटरप्रिटेबल इम्पॉर्टेंस मैप्स: विधि एक फ्रेम-लेवल, प्रश्न-कंडीशन्ड इम्पॉर्टेंस मैप प्रदान करती है जो मॉडल की साक्ष्य-एकत्रीकरण प्रक्रिया को उजागर करती है, जिससे फ्रेम-लेवल पर व्याख्यात्मकता (interpretability) मिलती है।
शेप-ड्रिवन एडाप्टिव कंप्यूट: डिस्ट्रीब्यूशन शेप स्टैटिस्टिक्स (स्क्यूनेस और कर्टोसिस) का उपयोग करके, GridProbe स्थिर फ्रेम बजट को एक डायनेमिक $M_{eff}$ से बदल देता है जो प्रश्न की कठिनाई के अनुकूल होता है, जिससे न्यूनतम सटीकता हानि के साथ सब-क्वाड्रेटिक अटेंशन लागत ( $O(N^{1.5})$ ) प्राप्त होती है।
डिकपल्ड सिलेक्टर और QA: यह ढांचा सिलेक्टर (प्रोब) और आंसरर (QA) को डिकपल करने की अनुमति देता है। एक छोटे, कुशल सिलेक्टर (जैसे, 2B) को एक मजबूत QA मॉडल (जैसे, 4B या 8B) के साथ जोड़ने से बिना रिट्रेनिंग के मोनोलिथिक बेसलाइन्स पर स्ट्रिक्ट पारेटो इम्प्रूवमेंट्स प्राप्त होते हैं।

प्रयोगात्मक परिणाम

Qwen3-VL बैकबोन (2B, 4B, 8B) का उपयोग करके Video-MME-v2 और LongVideoBench पर मूल्यांकन किया गया:

सिंगल-मॉडल एफिशिएंसी: Video-MME-v2 पर, GridProbe (2B) औसत सटीकता के 1.6 प्रतिशत अंक (pp) के भीतर मोनोलिथिक 2B बेसलाइन से मेल खाता है, जबकि TFLOPs को 3.36× कम करता है। LongVideoBench पर, यह बेसलाइन पर पारेटो-डोमिनेट करता है, 0.35× कंप्यूट पर +0.9 pp सटीकता प्राप्त करता है।
क्रॉस-मॉडल पारेटो डोमिनेंस: एक 2B सिलेक्टर के साथ 8B QA मॉडल का उपयोग करने से Video-MME-v2 पर मोनोलिथिक 2B बेसलाइन की तुलना में +3.56 pp सटीकता और LongVideoBench पर +3.30 pp सटीकता प्राप्त होती है, जबकि कंप्यूट लागत कम रहती है।
सिलेक्टर श्रेष्ठता: एक निश्चित फ्रेम बजट ( $M=8$ ) पर, GridProbe मजबूत ट्रेनिंग-फ्री सिलेक्टर MDP3 की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से LongVideoBench (+3.6 pp) पर, जो रीजनिंग-हैवी कार्यों पर एन्कोडर-स्पेस सिग्नल्स की विफलता को प्रदर्शित करता है।
एडाप्टिव कंप्यूट: एडाप्टिव $M_{eff}$ सफलतापूर्वक आंतरिक प्रश्न कठिनाई को ट्रैक करता है। "यूनिफॉर्म" रिजीम (कठिन) वाले प्रश्नों को लगभग पूर्ण कवरेज प्राप्त होता है, जबकि "स्क्यूड" रिजीम (आसान) वाले प्रश्नों को काफी कम फ्रेम मिलते हैं। कंप्यूट आवंटन का कोएफिशिएंट ऑफ वेरिएशन फिक्स्ड-इनपुट बेसलाइन्स की तुलना में 44× अधिक है।

महत्व और दावे

पेपर का दावा है कि GridProbe एडैप्टिव कंप्यूट और फ्रेम सिलेक्शन प्राप्त करने के लिए रिट्रेनिंग की आवश्यकता को समाप्त करके लॉन्ग-वीडियो इन्फरेंस में एक स्ट्रक्चरल शिफ्ट प्रदान करता है:

रिट्रेनिंग की आवश्यकता को समाप्त करना: एडैप्टिव कंप्यूट और फ्रेम सिलेक्शन प्राप्त करने के लिए।
रीजनिंग और फ्रेम सिलेक्शन के बीच के अंतर को पाटना: यह सुनिश्चित करना कि चयन सिग्नल मॉडल की स्वयं के प्रश्न का उत्तर देने की क्षमता पर आधारित है।
एक नॉन-इटरेटिव, फिक्स्ड-शेड्यूल तंत्र प्रदान करना: मल्टी-स्टेप एजेंट-आधारित इन्फरेंस सिस्टम के ऑर्केस्ट्रेशन ओवरहेड से बचने के लिए एडैप्टिव टेस्ट-टाइम कंप्यूट के लिए।
यह प्रदर्शित करना कि साक्ष्य का "रूप" (डिस्ट्रीब्यूशन ऑफ इम्पॉर्टेंस) प्रश्न की कठिनाई के लिए एक विश्वसनीय प्रॉक्सी है: जिससे डायनेमिक रिसोर्स एलोकेशन के लिए एक क्लोज्ड-फॉर्म समाधान सक्षम होता है।

लेखक सीमाओं का भी उल्लेख करते हैं, जिसमें प्रोब कॉन्फिडेंस की परिभाषा के लिए सीमित उत्तर स्पेस (मल्टीपल-चॉइस) पर निर्भरता और सिलेक्टर और QA मॉडल्स को डिकपल करने पर बढ़ी हुई होस्ट मेमोरी आवश्यकताएं शामिल हैं। ओपन-एंडेड QA के लिए प्रोबिंग को सामान्य बनाने और विभिन्न वीडियो डेंसिटी के लिए शेप स्टैटिस्टिक्स को रिफाइन करने के लिए भविष्य के कार्य का सुझाव दिया गया है।