Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models
यह शोध पत्र वीडियो एक्टिव परसेप्शन (VAP) प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त विधि है जो सक्रिय धारणा सिद्धांत (active perception theory) और एक हल्के टेक्स्ट-कंडीशन्ड वीडियो जनरेशन मॉडल का लाभ उठाकर गतिशील रूप से कीफ्रेम का चयन करती है, जिससे बिना किसी अतिरिक्त प्रशिक्षण के लंबे वीडियो प्रश्न-उत्तर (long-form video question answering) में बड़े विजन-लैंग्वेज मॉडल्स की दक्षता और तर्क क्षमताओं में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 30 मिनट के सुरक्षा कैमरा वीडियो को देखकर एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपका लक्ष्य एक विशिष्ट प्रश्न का उत्तर देना है, जैसे कि "क्या उस व्यक्ति ने बटुआ चुराया?"
पुराना तरीका: थकाऊ निगरानी (The Exhaustive Watch)
वर्तमान में, सबसे स्मार्ट AI "जासूस" (जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है) इस काम को करने के लिए पूरे वीडियो को एक स्थिर गति से, फ्रेम-दर-फ्रेम देखने की कोशिश करते हैं। यह एक गार्ड को बुलाने जैसा है जो टेप के हर एक सेकंड को देखता है, भले ही कुछ भी न हो रहा हो।
- समस्या: यह अविश्वसनीय रूप से धीमा और महंगा है। यह एक 500 पन्नों की किताब के हर शब्द को केवल एक विशिष्ट वाक्य खोजने के लिए पढ़ने जैसा है। अक्सर, AI उबाऊ हिस्सों (लोग चल रहे हैं, स्थिर बैकग्राउंड) से अभिभूत हो जाता है और महत्वपूर्ण क्षण को मिस कर देता है क्योंकि वह बहुत थक जाता है या वीडियो बहुत लंबा होता है।
नया विचार: वीडियो एक्टिव परसेप्शन (VAP)
कार्नेगी मेलन और MIT के शोधकर्ताओं ने एक स्मार्ट रणनीति विकसित की है जिसे वीडियो एक्टिव परसेप्शन (VAP) कहा जाता है। उन्होंने AI को ज़्यादा देखना नहीं सिखाया; उन्होंने उसे अलग तरह से देखना सिखाया।
VAP को एक ऐसे जासूस के रूप में सोचें जिसके पास उम्मीदों का एक क्रिस्टल बॉल (Crystal Ball of Expectations) है।
- क्रिस्टल बॉल ("पूर्व ज्ञान"):
पूरा वीडियो देखने से पहले, AI केवल कुछ शुरुआती फ्रेम और प्रश्न के आधार पर यह अनुमान लगाने के लिए एक "क्रिस्टल बॉल" (एक हल्का वीडियो जनरेशन मॉडल) का उपयोग करता है कि आगे क्या होना चाहिए।
- उपमा: कल्पना कीजिए कि आप एक व्यक्ति को टेनिस रैकेट और गेंद पकड़े हुए देखते हैं। आपका "क्रिस्टल बॉल" भविष्यवाणी करता है कि वह संभवतः गेंद को हिट करेगा, दौड़ेगा, या सर्व करेगा। यह एक मानसिक फिल्म बनाता है कि क्या अपेक्षित है।
- "सरप्राइज" डिटेक्टर (आश्चर्य पहचानक):
अब, AI वास्तविक वीडियो देखता है। यह लगातार वास्तविक फुटेज की तुलना अपने "क्रस्तल बॉल" के अनुमान से करता है।
- यदि व्यक्ति बस बिना कुछ किए खड़ा रहता है, तो वास्तविक वीडियो भविष्यवाणी से मेल खाता है। AI सोचता है, "उबाऊ, मुझे इसकी ज़रूरत नहीं है।"
- लेकिन यदि व्यक्ति अचानक खिड़की पर गेंद फेंक देता है (कुछ ऐसा जिसकी भविष्यवाणी क्रिस्टल बॉल ने नहीं की थी), तो AI को एक "सरप्राइज!" सिग्नल मिलता है।
- जादू: AI महसूस करता है, "यह क्षण अलग है जैसा कि मैंने उम्मीद की थी! यह वह महत्वपूर्ण जानकारी है जिसकी मुझे प्रश्न का उत्तर देने के लिए आवश्यकता है।"
- चयन (The Selection):
पूरे वीडियो को सहेजने के बजाय, AI केवल उन विशिष्ट फ्रेमों को पकड़ता है जहाँ वास्तविकता भविष्यवाणी से अलग (diverge) हुई थी। यह उबाऊ हिस्सों को छोड़ देता है और पूरी तरह से "आश्चर्यजनक" या "सूचनात्मक" क्षणों पर ध्यान केंद्रित करता है।
यह एक बड़ी बात क्यों है
शोधकर्ताओं का दावा है कि यह विधि दो कारणों से गेम-चेंजर है:
- यह बहुत तेज़ है (दक्षता): केवल "आश्चर्यजनक" फ्रेमों को देखकर, AI मानक पद्धति की तुलना में 5.6 गुना कम फ्रेम का उपयोग करके प्रश्नों का उत्तर दे सकता है। यह पूरी 500 पन्नों की किताब के बजाय केवल 10 सबसे महत्वपूर्ण पन्ने पढ़कर रहस्य सुलझाने जैसा है।
- यह अधिक स्मार्ट है (प्रभावशीलता): क्योंकि यह उन क्षणों पर ध्यान केंद्रित करता है जो वास्तव में मायने रखते हैं (आश्चर्यजनक क्षण), यह प्रश्नों का अधिक सटीकता से उत्तर देता है, विशेष रूप से उन कठिन प्रश्नों के लिए जिनमें कारण-और-प्रभाव या समय (timing) को समझने की आवश्यकता होती है।
परिणाम
शोधकर्ताओं ने इस "सरप्राइज डिटेक्टर" का परीक्षण कई वीडियो क्विज़ (जैसे EgoSchema और NExT-QA) पर किया। उन्होंने पाया कि VAP:
- शीर्ष AI मॉडलों (जैसे GPT-4o और Gemini) से बेहतर स्कोर प्राप्त करता है जो पुराने तरीके से वीडियो देखते हैं।
- यह सब उसने बहुत कम कंप्यूटिंग पावर का उपयोग करते हुए किया।
- इसने नए डेटा पर पुन: प्रशिक्षित (retrain) हुए बिना काम किया; यह बस "सोचने" के चरण के दौरान एक चतुर ट्रिक का उपयोग करता है।
संक्षेप में
पूरी फिल्म को अंधे होकर देखने के बजाय, वीडियो एक्टिव परसेप्शन AI से पूछता है कि क्या होना चाहिए इसकी कल्पना करें, और फिर केवल उन हिस्सों पर ध्यान देता है जो स्क्रिप्ट को तोड़ते हैं। यह AI को तेज़, सस्ता और वीडियो पहेलियों को सुलझाने में आश्चर्यजनक रूप से बेहतर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।