SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning
यह शोध पत्र SCOUT को प्रस्तुत करता है, जो एक स्व-जाँच (self-checking) और रिकवरी-सचेत (recovery-aware) एजेंट फ्रेमवर्क है, जो अल्ट्रा-लॉन्ग इगोसेंट्रिक वीडियो पर स्टेट-ऑफ-द-आर्ट रीजनिंग प्राप्त करने के लिए एक एडेप्टिव एक्सप्लोरेशन-एक्सप्लोइटेशन पॉलिसी और UPS-GRPO ट्रेनिंग मेथड का उपयोग करता है, जिससे मल्टी-हॉप टूल-यूज़ परिदृश्यों में एरर प्रोपेगेशन को कम किया जा सके और क्रेडिट असाइनमेंट में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे रहस्य को सुलझाने की कोशिश कर रहे हैं जो पूरे एक सप्ताह के दौरान हुआ है, लेकिन आपके पास केवल घटनाओं का एक धुंधला, संकुचित सारांश उपलब्ध है। यह एक एआई (AI) के लिए दैनिक चुनौती है जब वह "एगोजेंट्रिक" (egocentric) वीडियो को समझने की कोशिश करता है—जैसे कि किसी व्यक्ति के अपने दृष्टिकोण से रिकॉर्ड किए गए वीडियो, जैसे कि सिर पर बंधे गोप्रो (GoPro) से लिए गए फुटेज, जो घंटों या दिनों तक चल सकते हैं। कंप्यूटर विज्ञान की दुनिया में, यह मल्टीमॉडल रीजनिंग (multimodal reasoning) के दायरे में आता है, जहाँ एक कंप्यूटर टेक्स्ट (प्रश्न) को वीडियो (साक्ष्य) के साथ जोड़ने की कोशिश करता है ताकि उत्तर खोजा जा सके। बड़ी समस्या यह है कि सुराग अक्सर एक विशाल टाइमलाइन में बिखरे हुए छोटे, क्षणिक पलों में छिपे होते हैं। यदि कंप्यूटर देखने के लिए गलत घंटा चुन लेता है, तो वह उत्तर को पूरी तरह से मिस कर सकता है, और एक बार जब वह गलत रास्ते पर लग जाता है, तो वह पीछे हटने में असमर्थ होकर वहीं फंस जाता है।
यहाँ आता है SCOUT, एक नए प्रकार का एआई एजेंट जिसे एक ऐसा जासूस बनाने के लिए डिज़ाइन किया गया है जो यह जानता है कि कब अपनी गलती माननी है और अपना विचार बदलना है। जबकि पुराने एआई सिस्टम एक ज़ूम लेंस की तरह काम करते हैं जो केवल एक स्थान के करीब जाता रहता है (एक "मोनोटोनिक ज़ूम-इन"), SCOUT एक नक्शे के साथ घूमने वाले जिज्ञासु खोजकर्ता की तरह है। यदि वह किसी विशिष्ट समय को देखता है और उसे एहसास होता है, "रुको, यह समझ में नहीं आ रहा है," तो वह जिद्दी होकर गलत गड्ढे को खोदता नहीं रहता। इसके बजाय, इसमें एक अंतर्निहित "सेल्फ-चेक" (स्व-जांच) तंत्र है जो कहता है, "ठीक है, यह खोज विफल रही; चलिए किसी दूसरे समय या वीडियो के किसी दूसरे हिस्से पर चलते हैं।" यह पेपर बताता है कि गलतियों से उबरने की यह क्षमता, और उच्चतम भ्रम के क्षणों पर ध्यान केंद्रित करने वाली एक स्मार्ट ट्रेनिंग विधि के साथ मिलकर, इस एआई को उन अल्ट्रा-लॉन्ग वीडियो के पहेलियों को हल करने में सक्षम बनाती है जिन्होंने पहले बेहतरीन मॉडल्स को भी चकित कर दिया था।
वह जासूस जो पीछे मुड़नेना जानता है
कल्पना कीजिए कि आप अपने जीवन के 44 घंटों तक फैले एक वीडियो डायरी में एक विशिष्ट क्षण की तलाश कर रहे हैं। आप एआई से पूछते हैं, "सब्जी मंडी में आमतौर पर कौन जाता है?" एक पारंपरिक एआई एजेंट एक रैंडम घंटा चुन सकता है, ज़ूम कर सकता है, और देखना शुरू कर सकता है। यदि वह गलत घंटा चुनता है, तो वह एक सुपरमार्केट देख सकता है और सोच सकता है, "लगभग वही है!" और उस सुपरमार्केट पर ज़ूम करना जारी रख सकता है, जिससे वह वास्तविक सब्जी मंडी को पूरी तरह से मिस कर देगा जो तीन दिन बाद हुई थी। इसे ही पेपर में "इरिवर्सिबल अर्ली कमिटमेंट" (अपूरणीय प्रारंभिक प्रतिबद्धता) कहा गया है। एक बार जब एआई एक गलत विचार पर लॉक हो जाता है, तो वह बाहर नहीं निकल पाता।
इस पेपर के लेखक, केयांग झोंग और उनकी टीम ने इसे ठीक करने के लिए SCOUT (सेल्फ-चेकिंग एंड रिकवरी-अवेयर टूल-थॉट एजेंट्स) बनाया है। SCOUT केवल ज़ूम नहीं करता है; यह लगातार खुद से पूछता है, "क्या यह वास्तव में मददगार है?" यदि एआई वीडियो के एक हिस्से को खोजने के लिए किसी टूल का उपयोग करता है और परिणाम भ्रमित करने वाला या अप्रासंगिक होता है, तो SCOट का "सेल्फ-चेकिंग" पॉलिसी सक्रिय हो जाता है। यह महसूस करता है कि वर्तमान रास्ता एक डेड एंड (बंद रास्ता) है और गतिशील रूप से अपनी रणनीति बदल देता है। यह तय कर सकता है कि उसे ज़ूम आउट करना चाहिए, या वह फिर से प्रयास करने के लिए दिन के किसी बिल्कुल अलग समय पर कूद सकता है। यह "रिकवरी-अवेयर" व्यवहार एक ऐसे जासूस की तरह है जो, किसी ऐसे सुराग को खोजने पर जो कहानी में फिट नहीं बैठता, कहानी को सुराग के अनुसार जबरदस्ती फिट करने के बजाय, वापस शुरुआत में जाता है और एक नया सुराग आज़माता है।
प्रशिक्षण: भ्रम से सीखना
एआई को इस तरह के उतार-चढ़ाव वाले तर्क (reasoning) करना सिखाना कठिन है। आमतौर पर, एआई इस आधार पर सीखता है कि अंतिम उत्तर सही है या गलत। लेकिन एक लंबे वीडियो में, अंतिम उत्तर सही हो सकता है भले ही एआई ने एक अजीब, अक्षम रास्ता लिया हो, या उत्तर गलत हो सकता है भले ही एआई ने सही वीडियो क्लिप ढूंढ ली हो लेकिन अंतिम चरण चूक गया हो। पेपर का तर्क है कि हमें एआई को केवल अंतिम उत्तर के लिए नहीं, बल्कि रास्ते में अच्छे खोज निर्णय लेने के लिए पुरस्कृत करने की आवश्यकता है।
इसे हल करने के लिए, टीम ने एक नई प्रशिक्षण विधि विकसित की जिसे UPS-GRPO कहा जाता है। इसे एक ऐसे कोच के रूप में समझें जो उन क्षणों पर विशेष ध्यान देता है जब खिलाड़ी सबसे अधिक भ्रमित होता है। मानक प्रशिक्षण में, एआई बार-बार एक ही आसान चालों का अभ्यास कर सकता है। हालाँकि, UPS-GRPO "उच्च-अनिश्चितता" वाले क्षणों को प्राथमिकता देता है—वे समय जब एआई अनिश्चित होता है कि ज़ूम इन करना जारी रखना है या एक नई खोज पर स्विच करना है। इन भ्रमित करने वाले क्षणों पर अपना अभ्यास केंद्रित करके, एआई अनिश्चितता को बेहतर ढंग से संभालना सीख जाता है।
इसके अलावा, टीम ने अच्छे मध्यवर्ती चरणों (intermediate steps) के लिए क्रेडिट देने का एक तरीका पेश किया है। वे एक "टर्न-लेवल एडवांटेज" प्रणाली का उपयोग करते हैं। एक ऐसे खेल की कल्पना करें जहाँ आपको न केवल जीतने के लिए, बल्कि भूलभुलैया में सही दरवाजा खोजने के लिए भी अंक मिलते हैं, भले ही आप अभी तक खजाने तक न पहुँचे हों। पेपर दिखाता है कि इन मध्यवर्ती "खोज अंकों" को अंतिम "जीतने वाले अंकों" के साथ मिलाकर, एआई बहुत अधिक कुशल हो जाता है। यह डेड एंड पर समय बर्बाद करना बंद कर देता है और उत्तर खोजने के लिए बहुत तेज़ हो जाता है।
परिणाम: लंबे वीडियो की पहेली को सुलझाना
टीम ने EgoLifeQA और Ego-R1 Bench जैसे डेटासेट्स सहित कई चुनौतीपूर्ण बेंचमार्क पर SCOUT का परीक्षण किया, जिनमें 44 घंटे से अधिक लंबे वीडियो शामिल हैं। इन परीक्षणों में, एआई को उन घटनाओं के बारे में उत्तर देना था जो कई दिनों के अंतराल पर हुईं।
परिणाम उत्साहजनक थे। अल्ट्रा-लॉन्ग वीडियो परीक्षणों पर, SCOUT ने अन्य तरीकों को काफी पीछे छोड़ दिया। उदाहरण के लिए, EgoLifeQA बेंचमार्क पर, SCOUT ने 47.6% की सटीकता हासिल की, जो पिछले सर्वश्रेष्ठ ओपन-सोर्स मॉडल (Ego-R1) से काफी अधिक है। पेपर का सुझाव है कि यह सफलता सीधे तौर पर गलतियों से उबरने की क्षमता से आती है। जबकि अन्य मॉडल्स का प्रदर्शन वीडियो लंबे होने और सुराग कम होने पर गिर गया, SCOUT मजबूत बना रहा क्योंकि वह स्वीकार कर सकता था कि वह गलत जगह देख रहा है और फिर से प्रयास कर सकता था।
दिलचस्प बात यह है कि प्रशिक्षण प्रक्रिया ने दिखाया कि जैसे-जैसे एआई बेहतर हुआ, वह वास्तव में अधिक कुशल होता गया। शुरुआत में, एआई एक समस्या को हल करने के लिए कई टर्न ले सकता है, कई अलग-अलग रास्तों की खोज कर सकता है। लेकिन UPS-GRPO पद्धति के साथ प्रशिक्षण के बाद, एआई अपने भ्रम को तेज़ी से हल करना सीख गया, और उत्तर तक पहुँचने के लिए कम चरणों का उपयोग किया। पेपर नोट करता है कि यह "एफिशिएंसी इमर्जेंस" (दक्षता का उभरना) बताता है कि एआई केवल अनुमान नहीं लगा रहा है; वह खोजने का एक स्मार्ट तरीका सीख रहा है।
इसका क्या अर्थ है
पेपर यह दावा नहीं करता है कि उसने वीडियो समझ की हर समस्या को हल कर लिया है, लेकिन यह एक स्पष्ट मार्ग सुझाता है। इसका तर्क है कि एआई के लिए वास्तव में लंबे, जटिल कहानियों को समझने के लिए, इसे एक कठोर ज़ूम-लेंस होने के बजाय एक लचीला, स्व-जांच करने वाला जासूस बनने की आवश्यकता है। इसमें गलतियों से उबरने के तंत्र को शामिल करके और एआई को उसके संदेह के क्षणों पर ध्यान केंद्रित करने के लिए प्रशिक्षित करके, हम ऐसे एजेंट बना सकते हैं जो वास्तविक जीवन के विशाल, अव्यवस्थित टाइमलाइन को नेविगेट करने में बहुत बेहतर होंगे। लेखक निष्कर्ष निकालते हैं कि यह "रिकवरी-अवेयर" दृष्टिकोण अगली पीढ़ी के एआई सहायकों के लिए आवश्यक है जो हमारे अपने लंबे, रिकॉर्ड किए गए जीवन को समझने में हमारी मदद करेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।