Act2See: Emergent Active Visual Perception for Video Reasoning
यह शोध पत्र Act2See को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो विजन-लैंग्वेज मॉडल्स में डायनेमिक फ्रेम रिट्रीवल और सिंथेसिस को उनकी चेन-ऑफ-थॉट प्रक्रियाओं के भीतर सक्रिय रूप से इंटरलीव करके वीडियो रीजनिंग को उन्नत करता है, जिससे कई बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं, जैसे कि किसी फिल्म के दृश्य में क्या हुआ था यह पता लगाना। वर्तमान में अधिकांश AI "जासूस" (जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है) को फिल्म के बिल्कुल शुरुआत में कुछ स्थिर स्नैपशॉट्स दिए जाते हैं और उनसे केवल उन स्थिर छवियों के आधार पर पूरे पहेली को सुलझाने के लिए कहा जाता है। वे एक ऐसे व्यक्ति की तरह हैं जो केवल कवर आर्ट और स्क्रिप्ट के पहले दो पन्नों को देखकर फिल्म की कहानी का अनुमान लगाने की कोशिश कर रहा है। वे आगे होने वाली सारी हलचल, संवाद और महत्वपूर्ण विवरणों को चूक जाते हैं।
ACT2SEE एक नया फ्रेमवर्क है जो इन AI जासूसों को एक सुपरपावर देता है: सक्रिय दृश्य धारणा (Active Visual Perception)। शुरुआती स्नैपशॉट्स तक सीमित रहने के बजाय, ACT2SEE AI को यह समझने में सक्षम बनाता है कि, "रुको, मेरे पास अभी पर्याप्त सुराग नहीं हैं," और फिर अधिक जानकारी प्राप्त करने के लिए सक्रिय रूप से हाथ बढ़ाना सीखता है।
यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:
1. "पूछो और करो" दृष्टिकोण (The "Ask and Act" Approach)
पुराने तरीके में, AI केवल वही अनुमान लगाता है जो वह शुरुआत में देखता है। ACT2SEE के साथ, AI को अपनी सोचने की प्रक्रिया को रोकने और यह कहने के लिए प्रशिक्षित किया जाता है, "मुझे इस विशिष्ट क्षण को देखने की आवश्यकता है," या "मुझे कल्पना करने की आवश्यकता है कि क्या होगा यदि..."
- पुनर्प्राप्ति (समय यात्री - The Retrieving/Time Traveler): यदि AI को उस विशिष्ट क्षण को देखने की आवश्यकता है जो वीडियो में वास्तव में हुआ था लेकिन शुरुआती स्नैपशॉट्स में नहीं था, तो यह वीडियो में वापस जाने और उस सटीक फ्रेम को निकालने के लिए एक "रिट्रीवल टूल" का उपयोग करता है। यह एक लाइब्रेरियन से किताब का एक विशिष्ट पृष्ठ निकालने के लिए कहने जैसा है।
- निर्माण (दिन में सपने देखने वाला - The Generating/Daydreamer): कभी-कभी, प्रश्न उस चीज़ के बारे में होता है जो नहीं हुआ, जैसे कि "क्या होगा यदि ट्रेन सूर्यास्त से पहले स्टेशन पर रुक जाती?" चूंकि यह दृश्य वीडियो में मौजूद नहीं है, इसलिए AI उस काल्पनिक परिदृश्य की एक नई छवि बनाने के लिए एक "जेनरेशन टूल" का उपयोग करता है। यह एक कलाकार की तरह है जो उस दृश्य का रेखाचित्र बना रहा है जो केवल आपकी कल्पना में मौजूद है।
2. प्रशिक्षण शिविर (सुपरवाइज्ड फाइन-ट्यूनिंग - The Training Camp)
इन्होंने AI को यह कैसे सिखाया? उन्होंने केवल इसे "अधिक प्रयास करने" के लिए नहीं कहा। उन्होंने एक बहुत ही स्मार्ट, "फ्रंटियर" AI (Gemini 2.5 Pro) का उपयोग करके एक विशेष प्रशिक्षण शिविर बनाया।
- अभ्यास (The Drill): उन्होंने इस स्मार्ट AI से वीडियो पहेलियाँ हल करने के लिए कहा। जब भी AI को एहसास होता कि उसे अधिक दृश्य सुरागों की आवश्यकता है, तो उसे रुकने और एक नोट लिखने का निर्देश दिया जाता था कि "जाओ मेरे लिए [X] की एक तस्वीर लाओ" या "मुझे [Y] की एक तस्वीर बना कर दो।"
- गुणवत्ता जांच (The Quality Check): उन्होंने किसी भी उत्तर को केवल स्वीकार नहीं किया। उन्होंने AI के तर्क (reasoning) के चरणों की तुलना मानव-लिखित "गोल्ड स्टैंडर्ड" उत्तरों से की। यदि AI का तर्क अव्यवस्थित था या मानव तर्क से मेल नहीं खाता था, तो उन्होंने उसे हटा दिया। उन्होंने केवल उच्च गुणवत्ता वाले "जासूसी लॉग्स" को रखा जहाँ AI ने सही दृश्य साक्ष्य के लिए सही ढंग से अनुरोध किया था।
- परिणाम: उन्होंने इन उच्च-गुणवत्ता वाले "जासूसी लॉग्स" (लगभग 3,300 उदाहरण) का एक विशाल डेटासेट बनाया जहाँ लगभग आधे समय, AI को एक नई तस्वीर निकालने या एक नई तस्वीर बनाने की आवश्यकता थी। फिर उन्होंने इस डेटासेट का उपयोग एक छोटे, अधिक कुशल AI मॉडल (Qwen3-VL-8B) को प्रशिक्षित करने के लिए किया।
3. "उभरती हुई" जादुई क्षमता (The "Emergent" Magic)
सबसे रोमांचक हिस्सा वह है जो तब होता है जब प्रशिक्षित AI का परीक्षण उन नई पहेलियों पर किया जाता है जिन्हें उसने पहले कभी नहीं देखा है। यह केवल एक कठोर स्क्रिप्ट का पालन नहीं करता है। यह स्वतः निर्णय लेता है कि कब अधिक तस्वीरें मांगनी हैं।
- यदि प्रश्न एक तथ्यात्मक विवरण के बारे में है (जैसे, "कार का रंग क्या था?"), तो यह जानता है कि वीडियो से सटीक फ्रेम को पुनर्प्राप्त (retrieve) करना है।
- यदि प्रश्न एक "क्या होगा यदि" वाला परिदृश्य है (जैसे, "क्या होगा यदि कार लाल होती?"), तो यह उस संभावना को विज़ुअलाइज़ करने के लिए एक नई छवि बनाने (generate) को जानता है।
दृश्य साक्ष्य को सक्रिय रूप से एकत्र करने की यह क्षमता जिसे लेखक "एमेरजेंट कैपेबिलिटी" (emergent capability) कहते हैं। यह ऐसा है जैसे AI ने अचानक यह सीख लिया हो कि, "मैं केवल अपनी आँखों से इसे हल नहीं कर सकता; मुझे करीब से देखने या बाकी हिस्से की कल्पना करने की आवश्यकता है।"
4. परिणाम (The Results)
कठिन वीडियो रीजनिंग बेंचमार्क (जैसे वीडियो से जुड़े जटिल तर्क पहेलियाँ) पर परीक्षण किए जाने पर, ACT2SEE ने कई बड़े और अधिक शक्तिशाली मॉडलों से बेहतर प्रदर्शन किया।
- इसने अपने आकार से दोगुने बड़े मॉडल्स को मात दी।
- इसने उन अन्य तरीकों से बेहतर प्रदर्शन किया जिन्होंने वीडियो फ्रेम जोड़ने की कोशिश की लेकिन AI को यह सक्रिय रूप से तय करने के लिए नहीं सिखाया कि उन्हें कब उपयोग करना है।
- इसने "काउंटरफैक्चुअल" (counterfactual) प्रश्नों (यानी "क्या होगा यदि" वाले परिदृश्य) को अन्य सभी की तुलना में बहुत बेहतर तरीके से संभाला, जिससे यह साबित हुआ कि काल्पनिक छवियों को उत्पन्न करने की क्षमता गहरे तर्क के लिए अत्यंत महत्वपूर्ण है।
सारांश (In Summary)
ACT2SEE को एक AI को निष्क्रिय पर्यवेक्षक (जो केवल कुछ तस्वीरों को घूरता रहता है) से सक्रिय अन्वेषक (जो जानता है कि सबूतों को और गहराई से कैसे खोजना है या अंतराल को भरने के लिए अपनी कल्पना का उपयोग कैसे करना है) में अपग्रेड करने के रूप में देखें। AI को सोचने की प्रक्रिया के दौरान आवश्यक दृश्य जानकारी को सक्रिय रूप से अनुरोध करने या बनाने के लिए सिखाकर, यह वीडियो पहेलियों को समझ के एक ऐसे स्तर के साथ हल करता है जो पहले असंभव था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।