💻 computer science

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

EviSelect एक सूक्ष्म-स्तरीय (fine-grained) गतिशील दृश्य चयन ढांचा है जो एक लक्ष्य MLLM के आंतरिक अटेंशन साक्ष्य का स्पार्स प्रीफिलिंग (sparse prefilling) के माध्यम से लाभ उठाता है ताकि एक अनुकूलित स्टोकेस्टिक पॉलिसी को निर्देशित किया जा सके, जिससे अनुकूलन योग्य स्थानिक-कालिक (spatiotemporal) नमूनाकरण सक्षम होता है जो उत्कृष्ट प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल लागत को महत्वपूर्ण रूप से कम करता है और लंबे वीडियो की समझ को त्वरित करता है।

मूल लेखक: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

प्रकाशित 2026-08-07

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को फिल्म देखना और उस पर आधारित सवालों के जवाब देना सिखाने की कोशिश कर रहे हैं। यह रोबोट, जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल (या संक्षेप में MLLM) कहा जाता है, चित्रों और शब्दों को समझने में अविश्वसनीय रूप से प्रतिभाशाली है। हालाँकि, एक समस्या है: फिल्में लंबी होती हैं, और रोबोट की "शॉर्ट-टर्म मेमोरी" (अल्पकालिक स्मृति) सीमित होती है। यदि आप रोबोट को पूरी दो घंटे की फिल्म फ्रेम-दर-फ्रेम खिलाते हैं, तो वह अभिभूत हो जाता है, महत्वपूर्ण हिस्सों को भूल जाता है, और एक स्थिर दीवार के धीमे पैन जैसे उबाऊ, दोहराव वाले दृश्यों को प्रोसेस करने में भारी मात्रा में ऊर्जा बर्बाद करता है। इसे ठीक करने के लिए, वैज्ञानिक रोबोट को एक बेहतर संपादक बनने के लिए सिखाने की कोशिश कर रहे हैं, ताकि वह केवल सबसे महत्वपूर्ण क्षणों को चुन सके। लेकिन पुराने तरीके से संपादन करना एक कठोर, पहले से लिखे गए स्क्रिप्ट की तरह था: यह यह अनुमान लगाने के लिए बाहरी उपकरणों पर निर्भर था कि क्या दिलचस्प है, जिससे अक्सर वे सूक्ष्म संकेत छूट जाते थे जिनकी वास्तव में रहस्य सुलझाने के लिए रोबोट को आवश्यकता होती थी।

यहीं पर EviSelect नामक एक नया दृष्टिकोण आता है। EviSelect को एक कठोर संपादक के रूप में नहीं, बल्कि एक जिज्ञासु जासूस के रूप में सोचें जो रोबोट के अपने मन को पढ़ना सीखता है। यह पूछने के बजाय कि किसी बाहरी विशेषज्ञ को क्या देखना चाहिए, EviSelect रोबोट के आंतरिक "अटेंशन मैप्स" (attention maps)—जो मूल रूप से एक हीट मैप है जो दिखाता है कि रोबोट का मस्तिष्क स्वाभाविक रूप से वीडियो के किन हिस्सों पर ध्यान केंद्रित कर रहा है—पर नज़र डालता है। "स्पार्स प्रीफिलिंग" (sparse prefilling) नामक एक चतुर तकनीक का उपयोग करके (जो पूरी फिल्म का एक सामान्य अहसास प्राप्त करने के लिए एक त्वरित, कम-रिज़ॉल्यूशन वाला स्नैपशॉट लेने जैसा है), EviSelect यह पता लगाता है कि एक्शन कहाँ है, चीजें कितनी तेज़ी से चल रही हैं, और कितने विवरण की आवश्यकता है। इसके बाद यह एक हल्के वजन वाले "सेलेक्टर" (selector) को वीडियो के हर क्षण के लिए तीन स्मार्ट निर्णय लेने के लिए प्रशिक्षित करता है: क्या हमें यह दृश्य रखना चाहिए? हमें यहाँ कितने फ्रेम दिखाने चाहिए? और तस्वीर कितनी स्पष्ट होनी चाहिए?

इसके परिणाम दक्षता के मामले में जादू की तरह हैं। तीन अलग-अलग लंबी-वीडियो चुनौतियों में परीक्षणों में, EviSelect ने मौजूदा तरीकों के समान या उनसे बेहतर प्रदर्शन किया, लेकिन इसने यह सब लगभग 50% कम विजुअल टोकन (वीडियो के डिजिटल निर्माण खंड) का उपयोग करके किया। डेटा में इस भारी कमी ने न केवल मेमोरी बचाई; बल्कि इसने पूरी प्रक्रिया को 3.9 गुना तेज़ बना दिया। पेपर सुझाव देता है कि रोबोट के अपने आंतरिक साक्ष्य को चयन का मार्गदर्शन करने देकर, बजाय कठोर नियमों या बाहरी अनुमान लगाने वालों के, हम वीडियो-समझने वाली ऐसी प्रणालियाँ बना सकते हैं जो अविश्वसनीय रूप से स्मार्ट और आश्चर्यजनक रूप से कुशल दोनों हों।

समस्या: "बहुत अधिक जानकारी" का बॉटलनेक

लंबे वीडियो वर्तमान AI के लिए एक दुःस्वप्न हैं। यदि आप एक रोबोट को 30 मिनट का वीडियो देखने और एक प्रश्न का उत्तर देने के लिए कहते हैं, तो वह एक दुविधा का सामना करता है। वह सब कुछ याद नहीं रख सकता, इसलिए वह "कीफ्रेम्स" (keyframes)—सबसे महत्वपूर्ण क्षणों—को चुनने की कोशिश करता है। लेकिन इन फ्रेमों को चुनने के पुराने तरीके त्रुटिपूर्ण थे। वे एक ऐसे फिल्म संपादक की तरह थे जो केवल संगीत के शोर या रंगों की चमक के आधार पर दृश्यों को काटने का निर्णय लेता है, कहानी को अनदेखा कर देता है। इन तरीकों ने (समानता स्कोर करने वाले एक अलग AI जैसे) बाहरी उपकरणों का उपयोग किया ताकि यह तय किया जा सके कि क्या रखना है। समस्या क्या थी? वह बाहरी उपकरण यह नहीं जानता था कि मुख्य रोबोट क्या सोच रहा है। वह एक चमकदार विस्फोट को हाइलाइट कर सकता है जबकि रोबोट को पहेली सुलझाने के लिए वास्तव में एक शांत बातचीत देखने की आवश्यकता थी।

इसके अलावा, ये पुराने तरीके "कठोर" थे। उन्होंने हर वीडियो के साथ एक जैसा व्यवहार किया, एक निश्चित संख्या में फ्रेम और एक निश्चित आकार में चुने। यह एक किताब को हर शब्द के बीच के स्थान सहित हर अक्षर को देखकर पढ़ने जैसा है, चाहे वाक्य सरल हो या जटिल। यह उबाऊ हिस्सों पर ऊर्जा बर्बाद करता है और रोमांचक हिस्सों की बारीकियों को मिस कर देता है।

समाधान: रोबोट के मन को पढ़ना

इस पेपर के लेखक, बो झांग और उनकी टीम ने EviSelect नामक एक नया ढांचा प्रस्तावित किया है। रोबोट को क्या चाहिए इसका अनुमान लगाने के बजाय, EviSelect सीधे रोबोट से पूछता है।

यह कैसे काम करता है, चरण-दर-चरण:

"स्पार्स प्रीफिल" (Sparse Prefill) ट्रिक: रोबोट को पूरा वीडियो दिखाने से पहले, EviSelect उसे फिल्म का एक छोटा, संकुचित संस्करण देता है। यह रोबोट को पूरी फिल्म के त्वरित, धुंधले थंबनेल दिखाने जैसा है। यह सस्ता और तेज़ है।
2."अटेंशन" (Attention) सुराग: भले ही वीडियो धुंधला और छोटा हो, रोबोट का मस्तिष्क अभी भी विशिष्ट क्षेत्रों में चमकता है। EviSelect इन "अटेंशन मैप्स" को कैप्चर करता है। यह उन्हें तीन प्रकार के सुरागों में तोड़ता है:
- प्रासंगिकता (Relevance): क्या यह क्षण प्रश्न से मेल खाता है?
- समय (Time): यह क्षण पिछले और अगले क्षणों से कैसे जुड़ता है?
- स्थान (Space): क्या यहाँ बहुत अधिक विवरण की आवश्यकता है, या यह एक साधारण बैकग्राउंड है?
स्मार्ट सेलेक्टर (Smart Selector): एक छोटा, हल्का AI ("सेलेक्टर") इन सुरागों को देखता है और वीडियो के प्रत्येक टाइमस्टैम्प के लिए तीन गतिशील निर्णय लेता है:
- रखना या छोड़ना (Keep or Drop): क्या हमें इस सेकंड को बिल्कुल भी देखना चाहिए?
- सैंपलिंग रेट (Sampling Rate): यदि हम इसे देखते हैं, तो क्या हमें प्रति सेकंड 1 फ्रेम, 4 फ्रेम या 8 फ्रेम की आवश्यकता है? (तेज़ एक्शन के लिए अधिक फ्रेम चाहिए; एक धीमी दृश्य के लिए कम फ्रेम)।
- रेज़ोल्यूशन (Resolution): क्या हमें 4K तस्वीर चाहिए, या एक लो-रेज़ स्केच काफी होगा? (एक स्पष्ट चेहरा हाई-रेज़ चाहिए; एक अंधेरा गलियारा शायद लो-रेज़ में भी काम चल जाए)।

प्रशिक्षण: "ग्रुप तुलना" द्वारा सीखना

आप एक रोबोट को इन सेकंड-दर-सेकंड के संपादन निर्णय लेने के लिए कैसे सिखाते हैं? लेखकों ने GRPO (Group Relative Policy Optimization) नामक एक तकनीक का उपयोग किया। एक गेम शो की कल्पना करें जहाँ रोबोट एक ही समय में आठ अलग-अलग तरीकों से एक वीडियो को एडिट करने की कोशिश करता है। फिर सिस्टम चेक करता है कि किस वर्ज़न ने सही उत्तर प्राप्त किया। यदि एक वर्ज़न ने सही उत्तर दिया और कम पिक्सल का उपयोग किया, तो उसे एक बड़ा इनाम मिलता है। यदि उसने सही उत्तर दिया लेकिन बहुत अधिक पיםक्सल का उपयोग किया, तो उसे छोटा इनाम मिलता है। यदि उसने गलत उत्तर दिया, तो उसे कोई इनाम नहीं मिलता, भले ही वह कुशल रहा हो।

यह "ग्रुप तुलना" रोबोट को सही संतुलन खोजने के लिए प्रशिक्षित करती है: सही उत्तर देना और साथ ही न्यूनतम दृश्य डेटा का उपयोग करना।

परिणाम: तेज़, स्मार्ट, लीन

पेपर ने तीन प्रमुख बेंचमार्क पर EviSelect का परीक्षण किया: MLVU, LongVideoBench, और Video-MME। ये लंबी वीडियो समझ के लिए "ओलंपिक्स" की तरह हैं, जिनमें फिल्में, निगरानी फुटेज और जटिल कथाएं शामिल हैं।

निष्कर्ष प्रभावशाली थे:

सटीकता (Accuracy): EviSelect ने स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, जिसने TSPO और Q-Frame जैसे मौजूदा तरीकों को पीछे छोड़ दिया। उदाहरण के लिए, Video-MME बेंचमार्क पर, इसने पिछले सर्वश्रेष्ठ की तुलना में सटीकता में 1.9% का सुधार किया।
दक्षता (Efficiency): इसने औसतन केवल 1,701 विजुअल टोकन का उपयोग किया, जबकि पिछले सर्वश्रेष्ठ तरीकों ने लगभग 3,360 का उपयोग किया था। यह डेटा में 49% की कमी है।
गति (Speed): क्योंकि यह कम डेटा प्रोसेस करता है, एंड-टू-एंड समय लगभग 10 सेकंड से घटकर केवल 2.55 सेकंड रह गया। यह 3.9x की गति वृद्धि है।

इसका क्या अर्थ है (और क्या नहीं है)

पेपर सुझाव देता है कि लंबी वीडियो को समझने की कुंजी केवल समस्या में अधिक कंप्यूटिंग पावर झोंकना नहीं है; बल्कि यह इस बारे में स्मार्ट होना है कि हम क्या देख रहे हैं। रोबोट के अपने आंतरिक "साक्ष्य" का उपयोग करके, बजाय बाहरी अनुमान लगाने वालों के, EviSelect हर वीडियो की अनूठी लय के अनुकूल हो जाता है।

हालाँकि, लेखक इसकी सीमाओं को लेकर भी सावधान हैं। चूंकि EviSelect विशेष रूप से रोबोट के आंतरिक अटेंशन से सीखता है, इसलिए यह पूरी तरह से काम नहीं कर सकता है यदि आप इसे बिना रिट्रेनिंग के किसी पूरी तरह से अलग प्रकार के रोबोट पर स्थानांतरित करते हैं। इसके अलावा, इस पद्धति के लिए रोबोट के आंतरिक "मस्तिष्क" (अटेंशन मैप्स) तक पहुंच की आवश्यकता होती है, इसलिए इसका उपयोग क्लोज्ड-सोर्स "ब्लैक बॉक्स" मॉडल पर नहीं किया जा सकता है जहाँ यह जानकारी छिपी होती है।

संक्षेप में, EviSelect साबित करता है कि यदि आप एक AI को यह सिखाते हैं कि वह जो महत्वपूर्ण है उसके बारे में अपने स्वयं के अंतर्ज्ञान पर भरोसा करे, तो वह आधी मेहनत और चार गुना गति के साथ एक फिल्म देख सकता है, सुराग ढूंढ सकता है और रहस्य सुलझा सकता है।

तकनीकी सारांश: EviSelect – कुशल दीर्घ वीडियो समझ के लिए साक्ष्य-संचालित गतिशील दृश्य चयनकर्ता

समस्या विवरण

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) का उपयोग करके दीर्घ-रूप (long-form) वीडियो को समझना सीमित संदर्भ विंडो (context windows) और अटेंशन डिल्यूशन (attention dilution) के कारण महत्वपूर्ण बाधाओं का सामना करता है। मौजूदा दृष्टिकोण कंप्यूटेशनल लागत और संदर्भ सीमाओं को कम करने के लिए क्वेरी-प्रासंगिक फ्रेम चुनने का प्रयास करते हैं। हालाँकि, वर्तमान विधियाँ तीन महत्वपूर्ण सीमाओं से ग्रस्त हैं:

उद्देश्य संबंधी मिसअलाइनमेंट (Objective Misalignment): वे बाहरी प्रॉक्सी स्कोरर्स (जैसे, CLIP, DINOv2) और कठोर ह्यूरिस्टिक नियमों पर निर्भर करते हैं। ये प्रॉक्सी सिमेंटिक प्रासंगिकता को तो दर्शाते हैं, लेकिन लक्षित MLLM की आंतरिक साक्ष्य आवश्यकताओं (intrinsic evidence requirements) के साथ संरेखित होने में विफल रहते हैं, जिससे सूक्ष्म लेकिन महत्वपूर्ण विज़ुअल क्यूज़ (visual cues) छूट सकते हैं।
स्थिर फ्रेम रिट्रीवल (Static Frame Retrieval): अधिकांश विधियाँ कीफ्रेम चयन को एक निरंतर टेम्पोरल ट्राजेक्टरी पर क्वेरी-कंडीशन्ड बिलीफ डिस्ट्रीब्यूशन (query-conditioned belief distribution) के रूप में मॉडल करने के बजाय, एक अलग समस्या के रूप में देखती हैं। इससे टेम्पोरली मायोपिक (temporally myopic) चयन होता है जो प्रमुख खंडों पर अत्यधिक केंद्रित हो जाता है जबकि विरल (sparse), महत्वपूर्ण घटनाओं को छोड़ देता है।
कठोर स्पैटियोटेम्पोरल कॉन्फ़िगरेशन (Rigid Spatiotemporal Configuration): मौजूदा प्रतिमान आमतौर पर एक "वन-साइज़-फिट्स-ऑल" दृष्टिकोण अपनाते हैं, जिसमें निश्चित संख्या में फ्रेम और एक निश्चित स्थानिक रिज़ॉल्यूशन चुना जाता है। यह दीर्घ वीडियो में निहित गैर-समान स्पैटियोटेम्पोरल सूचना घनत्व (information density) को समायोजित करने में विफल रहता है, जिसके परिणामस्वरूप अक्षम कंप्यूटेशनल आवंटन होता है।

कार्यप्रणाली: EviSelect

लेखक EviSelect का प्रस्ताव करते हैं, जो एक सूक्ष्म-स्तरीय गतिशील विज़ुअल चयन ढांचा (framework) है जो कीफ्रेम चयन को लक्षित MLLM के आंतरिक साक्ष्य द्वारा संचालित वितरण-जागरूक गतिशील नमूनाकरण नीति (distribution-aware dynamic sampling policy) के रूप में पुनर्गठित करता है। यह ढांचा तीन चरणों में कार्य करता है:

1. स्पार्स प्रीफिलिंग के माध्यम से साक्ष्य ग्राउंडिंग (Evidence Grounding via Sparse Prefilling)

बाहरी प्रॉक्सी के बजाय, EviSelect सीधे लक्षित MLLM के अटेंशन मैप्स से अंतर्जात साक्ष्य (endogenous evidence) निकालता है।

स्पार्स प्रीफिलिंग (Sparse Prefilling): वीडियो को एंकर फ्रेम्स के साथ टेम्पोरल सेगमेंट में विभाजित किया जाता है। इन एंकरों को अत्यधिक संकुचित (स्थानिक रूप से डाउनसैंपल) किया जाता है और ब्लॉक-स्पार्स अटेंशन का उपयोग करके लक्षित MLLM के माध्यम से प्रोसेस किया जाता है। यह कम कंप्यूटेशनल लागत पर अटेंशन मैप्स के कुशल सन्निकटन (approximation) की अनुमति देता है।
साक्ष्य अपघटन (Evidence Decomposition): परिणामी अटेंशन मैप्स को बिना किसी रिट्रेनिंग या लर्नबल पैरामीटर्स के तीन पूरक संकेतों में विघटित किया जाता है:
- क्वेरी-फ्रेम प्रासंगिकता ( $A_{qf}$ ): किसी टाइमस्टैम्प को रखने या हटाने के निर्णय का मार्गदर्शन करता है।
- क्रॉस-फ्रेम टेम्पोरल डिपेंडेंसी ( $A_{ff}$ ): स्थानीय सैंपलिंग दर (एक सेगमेंट के भीतर कितने फ्रेम सैंपल किए जाने चाहिए) का मार्गदर्शन करता है।
- इंट्रा-फ्रेम स्पेशियल सैलिएंसी ( $A_{if}$ ): सैंपल किए गए फ्रेम्स के स्थानिक रिज़ॉल्यूशन का मार्गदर्शन करता है।

2. वितरण-जागरूक गतिशील नमूनाकरण (Distribution-Aware Dynamic Sampling)

एक हल्का सेलेक्टर (0.1B पैरामीटर्स) इन विघटित साक्ष्य संकेतों को इनपुट के रूप में लेता है। यह प्रत्येक टाइमस्टैम्प के लिए तीन सूक्ष्म-स्तरीय नीति वितरणों (policy distributions) की भविष्यवाणी करता है:

रिटेंशन निर्णय ( $z_t$ ): टाइमस्टैम्प को रखना है या हटाना है।
लोकल सैंपलिंग रेट ( $\rho_t$ ): संगत टेम्पोरल सेगमेंट से फ्रेम को समान रूप से सैंपल करने की संख्या।
स्पेशियल रिज़ॉल्यूशन ( $\lambda_t$ ): वह रिज़ॉल्यूशन जिस पर सैंपल किए गए फ्रेम्स को रीसाइज किया जाएगा।
संयुक्त नीति को इन कैटेगोरिकल डिस्ट्रीब्यूशन के गुणनफल के रूप में तैयार किया गया है, जो वीडियो के सूचना घनत्व के अनुरूप एक मल्टी-स्केल विज़ुअल इनपुट ( $V_s$ ) उत्पन्न करने में सक्षम बनाता है।

3. GRPO के साथ नीति अनुकूलन (Policy Optimization with GRPO)

सेलेक्टर को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके अनुकूलित किया जाता है।

रिवॉर्ड फंक्शन (Reward Function): रिवॉर्ड एक प्रदर्शन शब्द (MLLM के उत्तर की बाइनरी सटीकता) और एक दक्षता शब्द (रिटेंशन कमी और टोकन लागत में कमी का भारित संयोजन) को जोड़ता है।
अनुकूलन रणनीति (Optimization Strategy): नीति को केवल लागत कम करने के लिए सटीकता की कीमत पर काम करने से रोकने के लिए, दक्षता रिवॉर्ड तभी सक्रिय होता है जब सैंपल किए गए उम्मीदवारों के समूह में कम से कम एक सही उत्तर मौजूद हो। नीति को ग्रुप-रिलेटिव एडवांटेज को अधिकतम करके अपडेट किया जाता है, जो वीडियो के अंतर्निहित सूचना घनत्व के अनुसार गणना को गतिशील रूप से आवंटित करने के लिए प्रोत्साहित करता है।

मुख्य योगदान

EviSelect फ्रेमवर्क: एक अभिनव ढांचा जो कीफ्रेम चयन को बाहरी प्रॉक्सी के बजाय लक्षित MLLM के आंतरिक अटेंशन साक्ष्य द्वारा संचालित वितरण-जागरूक गतिशील नमूनाकरण नीति के रूप में पुनर्गठित करता है।
स्पार्स एविडेंस प्रोबिंग और सेलेक्टर: स्पार्स प्रीफिलिंग के माध्यम से अटेंशन प्रायर्स (priors) का तेजी से सन्निकटन करने के लिए एक तंत्र और एक हल्का सेलेक्टर जो सूक्ष्म-स्तरीय स्पैटियोटेम्पोरल सैंपलिंग नीतियों (रिटेंशन, रेट और रिज़ॉल्यूशन) की भविष्यवाणी करता है।
दक्षता और प्रदर्शन: व्यापक प्रयोग प्रदर्शित करते हैं कि यह विधि उल्लेखनीय कंप्यूटेशनल ओवरहेड को कम करते हुए अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त करती है।

प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन तीन बेंचमार्क: MLVU, LongVideoBench, और Video-MME पर LLaVA-Video-7B और Qwen2.5-VL-7B को लक्षित MLLMs के रूप में उपयोग करके किया गया।

प्रदर्शन: EviSelect ने मौजूदा विधियों (TSPO और Q-Frame सहित) की तुलना में बेहतर प्रदर्शन किया। उदाहरण के लिए, LLaVA-Video-7B पर, इसने TSPO की तुलना में Video-MME पर 1.9%, MLVU पर 0.9%, और LongVideoBench पर 0.7% की सटीकता में सुधार किया।
दक्षता: विधि ने औसत चयनित विज़ुअल टोकन को लगभग 50% कम कर दिया (उदाहरण के लिए, LLaVA-Video-7B के लिए 3,360 से 1,701 टोकन तक) और 3.9× एंड-टू-एंड स्पीडअप प्राप्त किया।
एब्लेशन अध्ययन (Ablation Studies):
- घटक (Components): रिटेंशन, एडेप्टिव फ्रेम सैंपलिंग और एडेप्टिव स्पेशियल रिज़ॉल्यूशन को मिलाने से सर्वोत्तम परिणाम मिले, जो पुष्टि करता है कि ऑर्थोगोनल डायमेंशन रिडक्शन प्रभावी है।
- साक्ष्य स्रोत (Evidence Source): आंतरिक स्पार्स-प्रीफिल प्रायर्स पर प्रशिक्षित सेलेक्टर, CLIP या रैंडम प्रायर्स पर प्रशिक्षित सेलेक्टर की तुलना में काफी बेहतर प्रदर्शन करते हैं, जो MLLM-अंतर्जात साक्ष्य के महत्व को प्रमाणित करता है।
- स्थानांतरणीयता (Transferability): हालांकि सेलेक्टर ने कुछ क्रॉस-बैकबोन स्थानांतरणीयता दिखाई, प्रदर्शन तब सबसे अच्छा था जब सेलेक्टर और MLLM एक ही बैकबोन साझा करते थे, जो आंशिक बैकबोन निर्भरता को दर्शाता है।

महत्व और दावे

पेपर का दावा है कि EviSelect अत्यंत लंबे संदर्भों से निर्णायक साक्ष्य निकालने की महत्वपूर्ण बाधा को संबोधित करता है, जो सैंपलिंग रणनीति को लक्षित MLLM की अंतर्निहित आवश्यकताओं के साथ संरेखित करता है। कठोर ह्यूरिस्टिक और बाहरी प्रॉक्सी से दूर हटकर, यह विधि वीडियो के वास्तविक सूचना घनत्व के आधार पर कंप्यूटेशनल संसाधनों को गतिशील रूप से आवंटित करती है। लेखकों का तर्क है कि यह साक्ष्य-संचालित दृष्टिकोण न केवल दीर्घ-रूप वीडियो समझ में सटीकता में सुधार करता है, बल्कि इन्फरेंस लेटेंसी और टोकन खपत को भी काफी कम करता है, जिससे वर्तमान MLLM आर्किटेक्चर के लिए दीर्घ-वीडियो प्रोसेसिंग अधिक व्यवहार्य हो जाती है।

स्वीकृत सीमाएं (Limitations Acknowledged): लेखक नोट करते हैं कि चूंकि साक्ष्य प्रायर्स (evidence priors) लक्षित MLLM के आंतरिक अटेंशन से निकाले जाते हैं, इसलिए अन्य MLLMs के लिए सामान्यीकरण सीमित है। इसके अलावा, यह विधि उन क्लोज्ड-सोर्स MLLMs के लिए लागू नहीं है जहाँ आंतरिक अटेंशन मैकेनिज्म सुलभ नहीं हैं।