Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models
यह शोध पत्र एक पोस्ट-हॉक, ट्रेनिंग-मुक्त दो-चरणीय अनुकूली टोकन प्रूनिंग रणनीति प्रस्तावित करता है जो पहले अनावश्यक फ्रेमों को हटाता है और फिर इंटर-फ्रेम सहसंबंधों के आधार पर टोकन प्रतिधारण (रिटेंशन) को गतिशील रूप से समायोजित करता है, जिससे 10% टोकन प्रतिधारण पर वीडियो कैप्शनिंग सटीकता में 7% सुधार करते हुए गणना में 95% की कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उसे एक कैमरा और एक दिमाग देते हैं, और उससे एक वीडियो देखकर यह बताने के लिए कहते हैं कि क्या हो रहा है। यह "विज़न-लैंग्वेज मॉडल्स" (VLMs) की दुनिया है। इन मॉडल्स को एक टीम के रूप में सोचें: एक हिस्सा "आंखें" (एक विज़न एनकोडर) है जो तस्वीरों को देखता है और उन्हें छोटे-छोटे पहेली के टुकड़ों में तोड़ देता है जिन्हें "टोकन" कहा जाता है। दूसरा हिस्सा "दिमाग" (एक लार्ज लैंग्वेज मॉडल) है जो उन टोकन को पढ़ता है और एक कहानी लिखता है या किसी सवाल का जवाब देता है।
समस्या यह है कि वीडियो बहुत बड़े होते हैं। एक अकेली इमेज को सैकड़ों पहेली के टुकड़ों में तोड़ा जा सकता है, और एक वीडियो कई इमेजेस का एक ढेर होता है। यदि आप रोबोट के दिमाग को पूरा वीडियो खिलाने की कोशिश करेंगे, तो वह अभिभूत (overwhelmed) हो जाएगा। यह एक सेकंड में हज़ार पन्नों की किताब पढ़ने की कोशिश करने जैसा है; रोबोट धीमा हो जाएगा, थक जाएगा, और फोन या सुरक्षा कैमरों जैसे छोटे उपकरणों पर काम नहीं कर पाएगा। वैज्ञानिकों ने कुछ पहेली के टुकड़ों को फेंककर इसे ठीक करने की कोशिश की है, लेकिन उनके अधिकांश तरीके "कुकी कटर" की तरह हैं: वे हर वीडियो से समान मात्रा में टुकड़े काट देते हैं, चाहे वह दीवार का एक उबाऊ, स्थिर शॉट हो या एक रोमांचक कार चेज़। यह पेपर एक बेहतर सवाल पूछता है: क्या होगा अगर हम इस बारे में अधिक स्मार्ट हो सकें कि हम क्या फेंकते हैं, यानी जब चीजें दोहराव वाली हों तो अधिक काटें और जब वे रोमांचक हों तो कम?
स्मार्ट वीडियो कटर की कहानी
इस पेपर के लेखकों ने, जो अमेज़न की एक टीम है, गौर किया कि वर्तमान वीडियो AI को तेज़ करने वाले तरीके थोड़े अनाड़ी हैं। वे हर वीडियो के साथ एक जैसा व्यवहार करते हैं, और स्क्रीन पर वास्तव में क्या हो रहा है इसकी परवाह किए बिना टोकन (पहेली के टुकड़ों) की एक निश्चित संख्या को काट देते हैं। लेकिन वीडियो विशेष होते हैं; उनमें "टेम्पोरल रिडंडेंसी" (temporal redundancy) होती है, जो एक फैंसी तरीका है यह कहने का कि यदि आपके पास एक बिल्ली के सोने का वीडियो है, तो फ्रेम 10 लगभग फ्रेम 11 जैसा दिखता है, जो फ्रेम 12 जैसा दिखता है। रोबोट की दिमागी शक्ति को उन सभी समान फ्रेम्स पर बर्बाद करना मूर्खता है।
इसे ठीक करने के लिए, टीम ने एक "टू-स्टेज एडेप्टिव विजुअल टोकन प्रूनिंग" (Two-Stage Adaptive Visual Token Pruning) रणनीति का आविष्कार किया। इसे एक अस्त-व्यस्त कमरे के लिए दो-चरणीय सफाई दल के रूप में सोचें।
चरण 1: फ्रेम फ़िल्टर (The Frame Filter)
सबसे पहले, विधि पूरे वीडियो को देखती है और पूछती है, "कौन से फ्रेम वास्तव में नए हैं?" यदि आपके पास किसी व्यक्ति के चलने का वीडियो है, तो शुरुआती कुछ फ्रेम समान हो सकते हैं। एल्गोरिदम एक चयनात्मक संपादक (selective editor) की तरह कार्य करता है, उबाऊ, दोहराए गए फ्रेमों को पूरी तरह से बाहर निकाल देता है। यह केवल सबसे दिलचस्प क्षणों को रखता है, जैसे कि एक हाइलाइट रील। यह "फ्रेम-लेवल" प्रूनिंग है।
चरण 2: टोकन टेमर (The Token Tamer)
अब, रोबोट के पास एक छोटा वीडियो है, लेकिन प्रत्येक शेष फ्रेम अभी भी हजारों छोटे टोकन से बना है। यहीं पर जादू होता है। एक निश्चित संख्या में टोकन काटने के बजाय (जैसे "हमेशा 50% रखें"), यह विधि वीडियो की निर्णय लेने के लिए उसके "कंटेंट" (सामग्री) को देखती है।
कल्पना करें कि एक फ्रेम के टोकन बात करने वाले लोगों का एक समूह हैं। यदि हर कोई बिल्कुल एक ही बात कह रहा है (उच्च रिडंडेंसी), तो आपको समूह को समझने के लिए केवल एक व्यक्ति को सुनने की आवश्यकता है। लेकिन यदि हर कोई कुछ अलग कह रहा है (उच्च विविधता), तो आपको सभी को सुनने की आवश्यकता है। पेपर की विधि बिल्कुल यही करती है: यह टोकन के बीच "सहसंबंध" (correlation) का विश्लेषण करती है। यह "आइगन-डीकंपोजिशन" (eigen-decomposition) नामक एक गणितीय ट्रिक का उपयोग करती है ताकि यह मापा जा सके कि टोकन एक-दूसरे को कितनी बार दोहरा रहे हैं।
यदि वीडियो स्थिर और दोहराव वाला है (जैसे कि एक ढलान पर गेंद लुढ़काते हुए व्यक्ति का वीडियो), तो गणित एक "स्टीप डिके" (steep decay) दिखाता है, जिसका अर्थ है कि टोकन बहुत समान हैं। सिस्टम कहता है, "ठीक है, हम इनमें से बहुत कुछ फेंक सकते हैं!" और केवल एक छोटा सा हिस्सा रखता है। लेकिन यदि वीडियो अराजक और गतिशील है (जैसे कि बहुत अधिक कैमरा मूवमेंट के साथ कार चेज़), तो गणित एक "स्लो डिके" (slow decay) दिखाता है, जिसका अर्थ है कि सभी टोकन अद्वितीय हैं। सिस्टम कहता है, "रुको, हमें इनमें से लगभग सभी को रखने की आवश्यकता है!" और बहुत कम काटता है।
परिणाम: बिना लड़खड़ाए गति (The Results: Speed without the Stumble)
टीम ने LLaVA-Video, InternVL3, और Qwen2.5VL सहित कई लोकप्रिय AI मॉडल्स पर इसका परीक्षण किया। उन्होंने अपने स्मार्ट, एडेप्टिव तरीके की तुलना अन्य "ट्रेनिंग-फ्री" तरीकों (वे तरीके जिनमें AI को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं होती) से की।
परिणाम प्रभावशाली थे। उनके दो-चरणीय दृष्टिकोण का उपयोग करके, वे कंप्यूटर द्वारा की जाने वाली गणितीय गणनाओं को भारी मात्रा में—95% तक—कम कर सके—जबकि AI को स्मार्ट बनाए रखा। वास्तव में, एक वीडियो कैप्शनिंग बेंचमार्क (जहाँ AI देखता है जो वह देख रहा है उसका वर्णन करता है) पर, उनके तरीके ने सटीकता में 7% का सुधार किया जब उन्होंने केवल 10% टोकन रखे।
इसे समझने के लिए: यदि आपके पास एक ऐसा वीडियो है जिसे प्रोसेस करने में सुपरकंप्यूटर को आमतौर एक घंटा लगता है, तो यह तरीका इसे मिनटों में चला सकता है, और रोबोट इसे बेहतर ढंग से समझ भी सकता है क्योंकि यह शोर में खो जाने के बजाय महत्वपूर्ण हिस्सों पर ध्यान केंद्रित कर रहा है।
यह क्यों मायने रखता है
पेपर स्पष्ट रूप से पिछले तरीकों द्वारा उपयोग किए जाने वाले "वन-साइज़-फिट्स-ऑल" (एक ही आकार सबके लिए उपयुक्त) दृष्टिकोण का विरोध करता है। वे दिखाते हैं कि एक निश्चित अनुपात (जैसे हमेशा 30% डेटा रखना) इष्टतम नहीं है क्योंकि अलग-अलग वीडियो को अलग-अलग मात्रा में डेटा की आवश्यकता होती है। उनकी विधि "पोस्ट-हॉक" (post-hoc) है, जिसका अर्थ है कि यह मौजूदा मॉडल्स पर काम करती है और उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं है, जिससे यह वर्तमान तकनीक के लिए एक प्लग-एंड-प्ले अपग्रेड बन जाती है।
लेखकों ने पाया कि यह एडेप्टिव रणनीति विभिन्न मॉडल आकारों और वीडियो के प्रकारों में लगातार काम करती है। उन्होंने "डिके" (क्षय) को मापने के विभिन्न गणितीय तरीकों का भी परीक्षण किया और पाया कि एक एक्सपोनेंशियल कर्व (exponential curve) डेटा के लिए सबसे अच्छा फिट बैठता है, जिससे पुष्टि होती है कि सूचना की रिडंडेंसी को मापने का उनका तरीका सबसे सटीक है।
संक्षेप में, यह पेपर सुझाव देता है कि हमें वीडियो को समझने के लिए बड़े, धीमे दिमाग बनाने की आवश्यकता नहीं है। इसके बजाय, हमें बस इस बात के बारे में स्मार्ट होना चाहिए कि हम उन्हें क्या खिलाते हैं। एक चतुर संपादक की तरह काम करके जो जानता है कि कब उबाऊ हिस्सों को काटना है और कब रोमांचक हिस्सों को रखना है, हम वीडियो AI को रोजमर्रा के उपकरणों पर चलने के लिए पर्याप्त तेज़ बना सकते हैं, बिना दुनिया को स्पष्ट रूप से देखने की अपनी क्षमता खोए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।