EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning
EgoVITA एक नवीन ढांचा है जो कार्य को एक संरचित योजना-बनाओ-और-सत्यापित-करो (plan-then-verify) प्रक्रिया में विभाजित करके एगोसेंट्रिक वीडियो तर्क (egocentric video reasoning) को बढ़ाता है, जो प्रथम-व्यक्ति क्रिया नियोजन (first-person action planning) को तृतीय-व्यक्ति सत्यापन (third-person verification) के साथ संरेखित करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (Group Relative Policy Optimization) का उपयोग करता है, जिससे सीमित प्रशिक्षण डेटा के साथ एगोसेंट्रिक बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने सिर पर एक गोप्रो (GoPro) कैमरा पहना हुआ है, जो आपके पूरे दिन की रिकॉर्डिंग कर रहा है। आप नाश्ता बना रहे हैं, बस पकड़ने के लिए जा रहे हैं, या किसी दोस्त की मदद कर रहे हैं। अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट AI रोबोट से वह वीडियो देखने के लिए कहते हैं और उससे पूछते हैं, "मैं आगे क्या करूँगा?" या "मैं यह कैसे करूँ?"
वर्तमान AI मॉडल अति-आत्मविश्वासी पर्यटकों (overconfident tourists) की तरह हैं। वे वीडियो देखते हैं, और जो आमतौर पर होता है उसके आधार पर अंदाज़ा लगाते हैं कि आगे क्या होगा, और ऐसा उत्तर देते हैं जो सुनने में तो बहुत अच्छा लगता है लेकिन अक्सर गलत होता है। वे कह सकते हैं, "आप अंडे को टोस्टर में डालेंगे," क्योंकि वे जानते हैं कि अंडे और टोस्टर का अस्तित्व होता है, भले ही वीडियो स्पष्ट रूप से एक फ्राइंग पैन दिखा रहा हो। वे इसलिए संघर्ष करते हैं क्योंकि वे दुनिया को केवल आपके हिलते-डुलते, सीमित दृष्टिकोण (ईगो व्यू) से देखते हैं, जिससे वे बड़ी तस्वीर को नहीं देख पाते।
EgoVITA एक नया फ्रेमवर्क है जो इसे ठीक करता है। यह AI को एक निर्देशक (Director) और स्क्रिप्ट सुपरवाइजर (Script Supervisor) की तरह मिलकर काम करना सिखाता है।
यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:
1. दो-चरणीय नृत्य: योजना बनाना और सत्यापन करना (Plan and Verify)
तुरंत उत्तर का अनुमान लगाने के बजाय, EgoVITA AI को दो अलग-अलग चीजें करने के लिए मजबूर करता है:
चरण 1: "ईगो" प्लानर (अभिनेता/The Actor)
सबसे पहले, AI कैमरा पहनने वाले की टोपी पहन लेता है। वह वीडियो देखता है और कहता है, "ठीक है, मैंने चाकू पकड़ा हुआ है। मैं एक टमाटर देख रहा हूँ। मेरी योजना है: 1. चाकू उठाना। 2. टमाटर काटना।"- रूपक (Metaphor): यह एक अभिनेता द्वारा अपने संवादों का अभ्यास करने जैसा है। वह सोच रहा है, "मैं आगे क्या करने वाला हूँ?"
चरण 2: "एक्सो" वेरीफायर (निर्देशक/The Director)
यही असली जादू है। इसके बाद, AI पीछे हट जाता है और कल्पना करता है कि वह एक तीसरे व्यक्ति के पर्यवेक्षक (third-person observer) के रूप में बगल से अभिनेता को देख रहा है। वह पूछता है, "रुको ज़रा। क्या वह योजना वास्तव में इस कमरे में तर्कसंगली है? क्या कटिंग बोर्ड वास्तव में पहुँच के भीतर है? क्या चाकू दिखाई दे रहा है?"- रूपक: यह एक फिल्म सेट पर स्क्रिप्ट सुपरवाइजर जैसा है। अभिनेता कहता है, "मैं बाड़ (fence) के ऊपर से कूदने जा रहा हूँ," और सुपरवाइजर चेक करता है, "दरअसल, बाड़ बहुत ऊँची है, और तुमने एक भारी बॉक्स पकड़ा हुआ है। वह योजना काम नहीं करेगी।" सुपरवाइजर अभिनेता को अपनी योजना पर फिर से विचार करने के लिए मजबूर करता है।
2. "क्रिस्टल बॉल" रिवॉर्ड सिस्टम (The "Crystal Ball" Reward System)
AI यह कैसे सीखता है? शोधकर्ताओं ने एक विशेष प्रशिक्षण पद्धति का उपयोग किया जिसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है, लेकिन एक ट्विस्ट के साथ।
आमतौर पर, AI को केवल अंत में "थम्स अप" मिलता है यदि अंतिम उत्तर सही होता है। EgoVाTA AI को सोचते समय तत्काल फीडबैक देता है।
"क्रिस्टल बॉल" (Anticipatory Grounding):
कल्पना कीजिए कि AI भविष्यवाणी करता है, "मैं लाल कप उठाऊँगा।" सिस्टम फिर वीडियो के भविष्य के फ्रेम (अगले कुछ सेकंड) को देखता है। यदि AI वास्तव में लाल कप उठाता है, तो उसे उच्च स्कोर मिलता है। यदि उसने कप की भविष्यवाणी की थी लेकिन वीडियो में एक नीला कटोरा दिखता है, तो उसे कम स्कोर मिलता है।- उपमा: यह एक वीडियो गेम की तरह है जहाँ आपको दुश्मन की चाल चलने से पहले ही उसकी भविष्यवाणी करने के लिए अंक मिलते हैं। यदि आपकी भविष्यवाणी भविष्य की वास्तविकता से मेल खाती है, तो आप जीत जाते हैं।
"सुरक्षा जाँच" (Confidence Reward):
AI को "निर्देशक" (वेरीफायर) के सुसंगत होने के लिए भी अंक मिलते हैं। यदि निर्देशक कहता है, "हाँ, योजना काम करती है," लेकिन वीडियो स्पष्ट रूप से एक दीवार दिखाता है जो रास्ते को रोक रही है, तो AI को दंडित किया जाता है। यह AI को विनम्र होना और अपना काम खुद चेक करना सिखाता है।
3. यह क्यों महत्वपूर्ण है: "भूलने की बीमारी" (The "Amnesia" Problem)
AI के साथ एक आम समस्या है "कैटैस्ट्रोफिक फॉरगेटिंग" (Catastrophic Forgetting)। जब आप AI को फर्स्ट-पर्सन वीडियो (जैसे खाना बनाना) में माहिर होने के लिए सिखाते हैं, तो वह अक्सर सामान्य, थर्ड-पर्सन वीडियो (जैसे प्रकृति का वृत्तचित्र) को समझने की क्षमता खो देता है।
EgoVITA इसे "निर्देशक" की भूमिका को सक्रिय रखकर हल करता है। क्योंकि AI अपनी योजनाओं को सत्यापित करने के लिए लगातार तीसरे व्यक्ति के परिप्रेक्ष्य से दृश्य को देखने का अभ्यास करता है, इसलिए वह एक सामान्य पर्यवेक्षक के रूप में अपनी क्षमता नहीं खोता। वह एक साथ दोनों दृष्टिकोणों का मास्टर बन जाता है।
परिणाम
सरल शब्दों में, EgoVITA एक छात्र को यह सिखाने जैसा है कि:
- वे आगे क्या करेंगे, इसकी योजना बनाएं।
- जांचें कि क्या वह योजना शारीरिक रूप से संभव है।
- यह देखने के लिए आगे देखें कि क्या भविष्य योजना से मेल खाता है।
पेपर दिखाता है कि यह पद्धति AI को फर्स्ट-पर्सन वीडियो (जैसे दृष्टिबाधित व्यक्ति को रास्ता दिखाने या रसोई में सहायता करने) को समझने में काफी बेहतर बनाती है, बिना सामान्य वीडियो को समझने की अपनी क्षमता खोए। यह AI को "भ्रम" (hallucinations) पैदा करने से रोकता है और उसे अपने उत्तरों को स्क्रीन पर वास्तव में हो रही चीज़ों के आधार पर पुख्ता करने के लिए मजबूर करता है।
संक्षेप में: EgoVITA AI को केवल अंदाज़ा लगाने के बजाय योजना बनाने, जाँच करने और आगे देखने के लिए सिखाता है, ठीक वैसे ही जैसे एक इंसान जटिल स्थिति में यह समझने की कोशिश करता है कि उसे आगे क्या करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।