💻 computer science

Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors

यह शोध पत्र DAFS को प्रस्तुत करता है, जो लंबे वीडियो के लिए एक प्रशिक्षण-मुक्त (training-free), गतिशील फ्रेम चयन विधि है, जो ऑटोरिग्रेसिव जनरेशन के बिना प्रासंगिक फ्रेमों को कुशलतापूर्वक पहचानने के लिए MLLMs के भीतर क्वेरी-कंडीशन्ड क्रॉस-मोडल अटेंशन का लाभ उठाता है, और सख्त बजट सीमाओं के तहत यूनिफॉर्म और पूर्व-प्रशिक्षित सैंपलिंग विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yilin Wang, Xiangxi Zheng, Dongxing Mao, Linjie Li, Zhengyuan Yang, Ping Yu, Rui Yan, Yuan Yao, Alex Jinpeng Wang

प्रकाशित 2026-07-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yilin Wang, Xiangxi Zheng, Dongxing Mao, Linjie Li, Zhengyuan Yang, Ping Yu, Rui Yan, Yuan Yao, Alex Jinpeng Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबट को फिल्म समझने के लिए सिखाने की कोशिश कर रहे हैं। यह रोबट, जिसे वैज्ञानिक दुनिया में मल्टीमॉडल लार्ज लैंग्वेज मॉडल (या संक्षेप में MLLM) के रूप में जाना जाता है, एक प्रतिभाशाली छात्र की तरह है जो टेक्स्ट पढ़ सकता है और चित्रों को देखकर सवालों के जवाब दे सकता है। लेकिन इसमें एक पेच है: इस प्रतिभाशाली छात्र का ध्यान बहुत जल्दी भटक जाता है। यदि आप इसे एक पूरी दो घंटे की फिल्म दिखाने की कोशिश करते हैं (जिसमें हजारों फ्रेम होते हैं!), तो रोबट का दिमाग अभिभूत हो जाता है और वह क्रैश हो जाता है। यह सरल रूप से एक साथ इतनी सारी जानकारी को संभाल नहीं सकता।

इसलिए, वैज्ञानिकों के लिए बड़ी चुनौती यह है: हम रोबट को पूरी कहानी समझाने के लिए एक लंबी फिल्म में से केवल कुछ ही महत्वपूर्ण क्षण कैसे चुनें? यह एक पूरी कहानी को अपने दोस्त को समझाने जैसा है, जिसमें आप उन्हें केवल कुछ ही पन्ने दिखाते हैं। यदि आप गलत पन्ने चुनते हैं, तो वे भ्रमित हो जाएंगे। यदि आप सही पन्ने चुनते हैं, तो वे कथानक (प्लॉट) को पूरी तरह समझ लेंगे। समस्या यह है कि बिना पूरी किताब पढ़े, आप कैसे जान सकते हैं कि "सही" पन्ने कौन से हैं? यही वह पेचीदा पहेली है जिसे यह शोध पत्र हल करने की कोशिश कर रहा है।

समस्या: लंबी वीडियो का "कैच-22" (Catch-22)

शोधकर्ताओं ने नोट किया कि कंप्यूटर आमतौर पर लंबी वीडियो को कैसे हैंडल करते हैं, इसमें एक अजीब चक्र होता है। वीडियो से सबसे अच्छे फ्रेम चुनने के लिए, आपको वीडियो को पहले समझना होगा। लेकिन वीडियो को समझने के लिए, आपको पहले सबसे अच्छे फ्रेम चुनने होंगे। यह सूप बनाने से पहले ही उसके सबसे अच्छे अवयवों (ingredients) को खोजने की कोशिश करने जैसा है।

वर्तमान में अधिकांश तरीके इसे या तो:

फ्रेम को रैंडम तरीके से चुनकर: जैसे किसी किताब से रैंडम पन्ने उठाना। यह तेज़ है, लेकिन हो सकता है कि आप सबसे महत्वपूर्ण मोड़ (plot twists) चूक जाएं।
एक "स्मार्ट" लेकिन धीमे रोबट का उपयोग करके: कुछ तरीके एक भारी, जटिल AI का उपयोग करते हैं जो वीडियो को पढ़ता है और तय करता है कि क्या महत्वपूर्ण है। लेकिन इसमें बहुत समय लगता है और बहुत अधिक कंप्यूटर पावर की आवश्यकता होती है, जिससे इसे वास्तव में लंबी वीडियो पर उपयोग करना कठिन हो जाता है।

समाधान: "DAFS" डिटेक्टिव

इस पेपर के लेखक, यिलिन वांग और सहयोगियों के नेतृत्व में, एक चतुर, मुफ्त और तेज़ समाधान लेकर आए जिसे DAFS (डायनेमिक अटेंशन-बेस्ड बजट-अवेयर फ्रेम सिलेक्शन) कहा जाता है।

DAFS को एक छोटे, अत्यंत कुशल जासूस के रूप में सोचें जो एक थोड़े बड़े रोबट के भीतर काम करता है। यह कैसे काम करता है, यहाँ देखें:

1. "ग्लिम्प्स" (झलक) वाली ट्रिक (अटेंशन)
शोधकर्ताओं ने पाया कि इससे पहले कि एक रोबट जवाब के बारे में "सोचना" समाप्त करे, वह पहले से ही छवि के सबसे महत्वपूर्ण हिस्सों पर एक नज़र डाल देता है। रोबट के मस्तिष्क में, प्रोसेसिंग की परतें होती हैं। एक विशिष्ट मध्य परत (middle layer) पर, रोबट का "अटेंशन" (उसका मानसिक फोकस) स्वाभाविक रूप से वीडियो के उन हिस्सों पर चमक उठता है जो प्रश्न से मेल खाते हैं।

उपमा: कल्पना कीजिए कि आप लोगों की भीड़ को देख रहे हैं और कोई आपसे पूछता है, "लाल टोपी वाला व्यक्ति कहाँ है?" आपकी आँखें सभी को समान रूप से स्कैन नहीं करतीं; वे तुरंत लाल टोपी पर कूद जाती हैं। शोध पत्र में पाया गया कि रोबट बिना सिखाए या पूरे वीडियो को "पढ़े" बिना, स्वचालित रूप से यही काम करता है।

2. "नो-ट्रेनिंग" का जादू
आमतौर पर, किसी रोबट को फ्रेम चुनने में कुशल बनाने के लिए, आपको हजारों उदाहरणों के साथ घंटों तक उसे प्रशिक्षित करना पड़ता है। DAFS ऐसा नहीं करता है। यह बस रोबट की प्राकृतिक "झलक" (अटेंशन मैप) को देखता है और कहता है, "आहा! रोबट पहले से ही सही जगह देख रहा है। चलिए बस उन फ्रेम्स को ले लेते हैं।" इसका मतलब है कि यह बिना किसी अतिरिक्त प्रशिक्षण के किसी भी वीडियो पर तुरंत काम करता है।

3. "बजट" का संतुलन
रोबट के पास कितनी जानकारी वह रख सकता है, इसकी एक सख्त सीमा (एक "टोकन बजट") होती है। आप उसे 100 फ्रेम नहीं दिखा सकते यदि वह केवल 32 ही संभाल सकता है।

उपमा: कल्पना कीजिए कि आपके पास एक बैकपैक है जिसमें केवल 32 चीजें आ सकती हैं। यदि आपके पास 10 मिनट का वीडियो है, तो आप 32 फ्रेम चुनना चाह सकते हैं। लेकिन यदि आपके पास 2 घंटे का वीडियो है, तो आप 32 फ्रेम नहीं चुन सकते और फिर भी पूरी कहानी कवर कर सकते; आपको कम फ्रेम चुनने होंगे लेकिन उन्हें प्रभावशाली बनाना होगा।
पेपर एक गणितीय रणनीति का उपयोग करता है जिसे डायनेमिक प्रोग्रामिंग कहा जाता है। यह तय करता है: "एक छोटी वीडियो के लिए, आइए कम फ्रेम चुनें लेकिन उन्हें उच्च विवरण (high detail) के साथ दिखाएं। एक लंबी वीडियो के लिए, आइए अधिक फ्रेम चुनें लेकिन उन्हें थोड़े सरल तरीके से दिखाएं।" यह सुनिश्चित करता है कि रोबट अपने बैकपैक की सीमा के भीतर सर्वोत्तम संभव दृश्य प्राप्त करे।

उन्होंने क्या पाया

टीम ने कई बड़े वीडियो क्विज़ (जैसे Video-MME और MLVU) पर अपने तरीके का परीक्षण किया। यहाँ क्या हुआ:

रैंडम से बेहतर: जब उन्होंने DAFS की तुलना केवल फ्रेम को रैंडम तरीके से चुनने (यूनिफॉर्म सैंपलिंग) से की, तो DAFS बहुत स्मार्ट निकला। Video-MME टेस्ट पर, इसने स्कोर में 6.4 अंक तक सुधार किया। AI परीक्षणों की दुनिया में यह एक बहुत बड़ी छलांग है।
"स्मार्ट" धीमे रोबोट्स से बेहतर: इसने अन्य तरीकों को भी मात दी जो फ्रेम चुनने के लिए भारी, प्रशिक्षित AI का उपयोग करते हैं, लेकिन DAFS ने यह काम बहुत तेज़ी से और बिना किसी प्रशिक्षण के किया।
हर जगह काम करता है: दिलचस्प बात यह है कि यह "डिटेक्टिव" विभिन्न प्रकार के रोबोट्स (अलग-अलग AI मॉडल) और विभिन्न प्रकार के प्रश्नों के साथ काम करता है। आपको हर बार रोबोट या कार्य बदलने पर इसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है।

निष्कर्ष

यह पेपर सुझाव देता है कि हमें लंबी वीडियो को समझने के लिए विशाल, धीमे सिस्टम बनाने की आवश्यकता नहीं है। इसके बजाय, हम एक छोटा, हल्का सहायक उपयोग कर सकते है जो सबसे महत्वपूर्ण क्षणों को चुनने के लिए रोबट की प्राकृतिक "झलक" को सुनता है।

इस पद्धति का उपयोग करके, शोधकर्ताओं ने दिखाया कि एक छोटा रोबट (केवल 2 बिलियन पैरामीटर्स वाला) फ्रेम को इतनी अच्छी तरह से चुन सकता है कि एक बहुत बड़ा रोबट लंबी वीडियो के बारे में उच्च सटीकता के साथ सवालों के जवाब दे सके। उन्होंने साबित किया कि आप घंटों प्रशिक्षण दिए बिना या महंगी कंप्यूटर पावर खर्च किए बिना सर्वोत्तम परिणाम प्राप्त कर सकते हैं। यह इस अहसास जैसा है कि घास के ढेर में सुई खोजने का सबसे अच्छा तरीका पूरे ढेर को खोजना नहीं है, बल्कि बस घास के ढेर से पूछना है कि सुई कहाँ छिपी है—और इस मामले में, घास का ढेर (AI) पहले से ही उसकी ओर इशारा कर रहा था।

तकनीकी सारांश: अटेंशन-आधारित MLLM चयनकर्ताओं के साथ लंबे वीडियो के लिए कुशल फ्रेम चयन

समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने वीडियो समझ में महत्वपूर्ण प्रगति प्रदर्शित की है, फिर भी वे लंबे वीडियो को प्रोसेस करते समय एक गंभीर बाधा का सामना करते हैं: फ्रेमों की विशाल मात्रा वर्तमान आर्किटेक्चर के सीमित कॉन्टेक्स्ट विंडो और विजुअल-टोकन बजट से अधिक हो जाती है। प्रत्येक फ्रेम को एनकोड करना कम्प्यूटेशनल रूप से अव्यवहार्य है। फलस्वरूप, कार्य एक संक्षिप्त सेट में सूचनात्मक फ्रेम चुनने में बदल जाता है जो क्वेरी-प्रासंगिक दृश्य साक्ष्य (visual evidence) प्राप्त कर सके।

मौजूदा दृष्टिकोणों को 'सिमेंटिक डेप्थ' और 'कम्प्यूटेशनल लागत' के बीच संतुलन बनाने में संघर्ष करना पड़ता है:

यूनिफॉर्म सैंपलिंग (Uniform Sampling): सस्ता है लेकिन "कंटेंट-ब्लाइंड" है, जिससे अक्सर महत्वपूर्ण लेकिन दुर्लभ घटनाएं छूट जाती हैं।
CLIP-आधारित विधियाँ: क्वेरी-फ्रेम समानता के आधार पर फ्रेमों को स्वतंत्र रूप से स्कोर करती हैं लेकिन इनमें क्रॉस-फ्रेम संदर्भ और मजबूत क्वेरी कंडीशनिंग का अभाव होता है।
MLLM-आधारित ऑटो-रिग्रेसिव चयनकर्ता (Autoregressive Selectors): गहरा सिमेंटिक रीजनिंग प्रदान करते हैं लेकिन इनके लिए अतिरिक्त प्रशिक्षण की आवश्यकता होती है और ये ऑटो-रिग्रेसिव जनरेशन के कारण गैर-नगण्य विलंबता (latency) पैदा करते हैं, जिससे इनकी स्केलेबिलिटी सीमित हो जाती है।

मुख्य चुनौती यह है कि पूरे वीडियो को समझने की आवश्यकता के बिना (जो एक चक्रीय निर्भरता है) सही फ्रेमों की पहचान करना, जबकि एक हल्का, ट्रेनिंग-फ्री इन्फरेंस प्रोसेस बनाए रखना।

कार्यप्रणाली: DAFS (डायनामिक अटेंशन-बेस्ड बजट-अवेयर फ्रेम सिलेक्शन)

लेखक DAFS प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो इस अनुभवजन्य अवलोकन का लाभ उठाता है: ऑटो-रिग्रेसिव जनरेशन शुरू होने से पहले ही, विशिष्ट वैलिडेशन-चयनित लेयर्स में क्रॉस-मोडल अटेंशन, क्वेरी-प्रासंगिक विजुअल टोकन पर ध्यान केंद्रित कर लेता है।

1. अटेंशन-आधारित प्रासंगिकता स्कोरिंग (Attention-Based Relevance Scoring)
एक नया सेलेक्टर प्रशिक्षित करने या ऑटो-रिग्रेसिव जनरेशन का उपयोग करने के बजाय, DAFS एक छोटे, ऑफ-द-शेल्फ MLLM (जैसे, 2B पैरामीटर मॉडल) के क्रॉस-मोडल अटेंशन का पुन: उपयोग करता है।

लेयर चयन (Layer Selection): अनुभवजन्य विश्लेषण के माध्यम से, लेखक पहचानते हैं कि मध्यवर्ती लेयर्स (जैसे, InternVL3.5-2B में लेयर 12) गहरे फ्यूजन द्वारा विजुअल विवरणों को धुंधला करने से पहले सबसे मजबूत फ्रेम-स्तरीय लोकलाइजेशन सिग्नल प्रदान करती हैं।
क्वेरी-कंडीशन्ड एग्रीगेशन (Query-Conditioned Aggregation): यह विधि चयनित लेयर $\ell^*$ से टेक्स्ट-टू-विज़न अटेंशन वेट्स निकालती है। प्रॉम्प्ट के मूल इरादे पर ध्यान केंद्रित करने के लिए, यह "महत्वपूर्ण टोकन" (जैसे, मल्टीपल-चॉइस के लिए उत्तर विकल्प, ओपन-एंडेड QA के लिए एंटिटी-सेंट्रिक टोकन) का एक सेट परिभाषित करती है।
स्कोरिंग: यह महत्वपूर्ण टोकन के अटेंशन स्कोर पर मैक्स-पूलिंग लागू करके फ्रेम-स्तरीय सैलिएंसी स्कोर ( $\phi_j$ ) उत्पन्न करता है। यह एक छोटे सेलेक्टर को बिना ऑटो-रिग्रेसिव डिकोडिंग के, एक मजबूत "आंसरर" मॉडल के लिए फ्रेमों को रैंक करने की अनुमति देता है।

2. बजट-अवेयर सैंपलिंग और टोकन कम्प्रेशन (Budget-Aware Sampling and Token Compression)
सेलेक्टर के अपने कॉन्टेक्स्ट कंस्ट्रेंट्स को संभालने के लिए, फ्रेमवर्क दो तंत्रों का उपयोग करता है:

स्पार्स टेम्पोरल सैंपलिंग (Sparse Temporal Sampling): वीडियो की अवधि के आधार पर एक बेस रेट (जैसे, 1 FPS) पर फ्रेम निकाले जाते हैं और उन्हें यूनिफॉर्मली सब-सैंपल किया जाता है।
स्पेशियल टोकन कम्प्रेशन (Spatial Token Compression): प्रत्येक सैंपल किए गए फ्रेम को नॉन-ओवरलैपिंग एवरेज पूलिंग के माध्यम से एक निश्चित संख्या के विजुअल टोकन ( $P$ ) में संकुचित किया जाता है ताकि वैश्विक विजुअल टोकन बजट ( $B$ ) के भीतर फिट हो सके।

3. पॉलिसी कैलिब्रेशन के लिए डायनेमिक प्रोग्रामिंग (Dynamic Programming for Policy Calibration)
कैंडिडेट पूल साइज ( $F$ ) और प्रति-फ्रेम टोकन बजट ( $P$ ) के आवंटन को एक डिस्क्रीट ऑप्टिमाइज़ेशन समस्या के रूप में तैयार किया गया है।

उद्देश्य (Objective): एक कैलिब्रेशन सेट पर QA सटीकता को अधिकतम करना।
बाधाएं (Constraints): एक हार्ड टोकन बजट ( $F \cdot P \le B$ ), लंबे वीडियो के लिए गैर-घटती टेम्पोरल रेजोल्यूशन, और गैर-बढ़ती स्पेशियल रेजोल्यूशन को लागू करना।
समाधान: एक डायनेमिक प्रोग्रामिंग (DP) एल्गोरिदम वीडियो ड्यूरेशन केAcross इष्टतम पॉलिसी सीक्वेंस $(F(d), P(d))$ को हल करता है। इन्फरेंस के दौरान, इस पॉलिसी को $O(1)$ समय में प्राप्त किया जाता है।
महत्वपूर्ण अंतर: टोकन कम्प्रेशन केवल सेलेक्टर के इनपुट पर लागू किया जाता है। बैकबोन आंसरर के लिए चुने गए अंतिम टॉप- $K$ फ्रेम उनके मूल, अनकंप्रेस्ड रेजोल्यूशन में दिए जाते हैं, जिससे आंसरर के इनपुट की गुणवत्ता में कोई गिरावट नहीं आती है।

प्रमुख योगदान (Key Contributions)

लाइटवेट स्पार्स सिलेक्शन फ्रेमवर्क: एक ट्रेनिंग-फ्री सेलेक्टर जो क्वेरी-गाइडेड फ्रेम तुलना करने के लिए एक छोटे MLLM से क्रॉस-मोडल अटेंशन का उपयोग करता है, जिससे ऑटो-रिग्रेसिव जनरेशन या मॉडल रिट्रेनिंग की आवश्यकता समाप्त हो जाती है।
बजेटेड डायनेमिक प्रोग्रामिंग: एक नवीन फॉर्मूलेशन जो सख्त कॉन्टेक्स्ट बाधाओं के तहत कैंडिडेट फ्रेम पूल साइज और प्रति-फ्रेम विजुअल टोकन एलोकेशन को संयुक्त रूप से अनुकूलित करता है, जिससे टेम्पोरल कवरेज और स्पेशियल डिटेल के बीच संतुलन बनता है।
सामान्यीकरण और दक्षता (Generalization and Efficiency): व्यापक प्रयोग जो विभिन्न बैकबोन और कार्यों पर बिना रिट्रेनिंग के दृष्टिकोण की श्रेष्ठता प्रदर्शित करते हैं।

प्रायोगिक परिणाम (Experimental Results)

एक सख्त 32-फ्रेम बजट के तहत Video-MME, LongVideoBench (LVB), और MLVU पर मूल्यांकन किया गया:

प्रदर्शन लाभ: DAFS, Video-MME पर यूनिफॉर्म सैंपलिंग की तुलना में 6.4 पॉइंट्स तक सुधार करता है (Qwen3-VL-2B को सेलेक्टर के रूप में उपयोग करते हुए) और समान बजट के तहत पिछले ट्रेनिंग-आधारित चयनकर्ताओं (जैसे, ViaRL, K-Frames) को काफी पीछे छोड़ देता है।
टेम्पोरल ग्राउंडिंग: MLVU के नीडल-QA टास्क पर, जो सटीक साक्ष्य खंडों की खोज का परीक्षण करता है, DAFS यूनिफॉर्म सैंपलिंग और अन्य विधियों की तुलना में पर्याप्त लाभ (जैसे, 8 फ्रेम के साथ N-QA पर +14.4 पॉइंट्स) प्राप्त करता है।
क्रॉस-मॉडल जनरलाइजेशन: सेलेक्टर विभिन्न आंसरर बैकबोन (LLaVA-Video, InternVL3.5, Qwen2.5-VL) और टास्क फॉर्मेट (ओपन-एंडेड QA) में प्रभावी रूप से ट्रांसफर होता है, जो बिना रिट्रेनिंग के लगातार प्रदर्शन में सुधार करता है।
दक्षता: चयन चरण ट्रेनिंग-आधारित ऑटो-रिग्रेसिव चयनकर्ताओं (8.00s) की तुलना में काफी तेज़ (0.47s) और अधिक मेमोरी-एफिशिएंट है, जिसके परिणामस्वरूप उच्च सटीकता प्राप्त करते हुए कम एंड-टू-एंड लेटेंसी मिलती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DAFS "वीडियो को समझने के लिए फ्रेम चुनने की आवश्यकता" वाली चक्रीय निर्भरता को MLLMs के क्रॉस-मोडल अटेंशन में मौजूद अंतर्निहित रिट्रीवल सिग्नल्स का लाभ उठाकर हल करता है। चयन चरण को उत्तर जनरेशन चरण से अलग करके और एक हल्के, अटेंशन-आधारित स्कोरिंग मैकेनिज्म का उपयोग करके, यह विधि कंप्यूटेशनल रूप से कुशल रहते हुए लंबे वीडियो को समझने के लिए स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण मौजूदा MLLMs को आर्किटेक्चरल बदलावों या व्यापक रिट्रेनिंग की आवश्यकता के बिना, टेस्ट टाइम पर इनपुट कंस्ट्रक्शन को अनुकूलित करके लंबे वीडियो को अधिक प्रभावी ढंग से संभालने की अनुमति देता है।