Agentic Very Long Video Understanding
यह शोध पत्र EGAgent को प्रस्तुत करता है, जो एक एजेंटिक फ्रेमवर्क है जो निरंतर, बहु-दिवसीय एगोसेंट्रिक (egocentric) वीडियो स्ट्रीम पर अत्याधुनिक कंपोजिशनल रीजनिंग और रिकॉल को सक्षम करने के लिए एंटिटी सीन ग्राफ और हाइब्रिड सर्च टूल्स का लाभ उठाता है, जो लॉन्ग-होराइजन वीडियो अंडरस्टैंडिंग में मौजूदा मॉडलों की सीमाओं को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक दोस्त है जो 24/7 स्मार्ट चश्मा पहनता है। वह जो कुछ भी देखता और सुनता है उसे रिकॉर्ड करता है: हर बातचीत, हर भोजन, हर बार जब वह किसी कमरे में प्रवेश करता है, और हर बार जब वह अपनी चाबियाँ खो देता है।
अब, कल्पना कीजिए कि आप अपने उस दोस्त से पूछते हैं: "मंगलवार को टैक्सी में मेरे बगल में कौन बैठा था, और क्या हमने कुत्ते के बारे में उससे पहले बात की थी या बाद में?"
इस सवाल का जवाब देने के लिए 50 घंटे का वीडियो देखना एक इंसान के लिए असंभव है, और मौजूदा AI के लिए भी यह बहुत कठिन है। अधिकांश AI मॉडल बहुत कम समय की याददाश्त वाले लोगों की तरह होते; वे एक बार में वीडियो के केवल कुछ मिनटों को ही अपने "मन" में रख सकते हैं। यदि आप उन्हें एक पूरा सप्ताह दिखाएंगे, तो वे अंत तक पहुँचते-पहुँचते शुरुआत को भूल जाएंगे।
यह पेपर EGAgent को पेश करता है, जो विशेष रूप से इस "लॉन्ग-टर्म मेमोरी" (दीर्घकालिक स्मृति) की समस्या को हल करने के लिए डिज़ाइन किया गया एक नया प्रकार का AI जासूस है।
यह कैसे काम करता है, इसके लिए कुछ सरल उपमाओं (analogies) का उपयोग करते हैं:
1. समस्या: स्मृति का "फायरहोज़" (Firehose of Memory)
एक सप्ताह के वीडियो स्ट्रीम को पानी की एक विशाल 'फायरहोज़' (पानी की तेज़ धार) के रूप में सोचें। वर्तमान AI इस फायरहोज़ से कभी-कभी एक घूँट लेने (कुछ फ्रेम सैंपल करने) की कोशिश करता है। लेकिन अगर आपके सवाल का जवाब 3 दिन पहले पानी की एक छोटी सी बूंद में छिपा है, तो AI उसे मिस कर देगा। यह घास के ढेर के ऊपरी एक इंच को देखकर सुई खोजने की कोशिश करने जैसा है।
2. समाधान: "सोशल रोलोडेक्स" (The Social Rolodex - एंटिटी ग्राफ)
वीडियो के हर एक सेकंड को याद रखने के बजाय, EGAgent एक सोशल रोलोडेक्स (जिसे एंटिटी सीन ग्राफ कहा जाता है) बनाता है।
एक विशाल, डिजिटल नोटबुक की कल्पना करें जहाँ AI वीडियो के हर फ्रेम को नहीं लिखता है। इसके बजाय, यह केवल महत्वपूर्ण संबंधों को लिखता है:
- कौन: जेक, लूसिया, श्योर।
- क्या: कार, कुत्ता, रसोई।
- कब: "मंगलवार दोपहर 2 बजे।"
- वे कैसे संबंधित हैं: "जेक, लूसिया से बात कर रहा था," "जेक ने कार का उपयोग किया।"
यह नोटबुक एक मानचित्र की तरह व्यवस्थित है। इसे बैकग्राउंड के दृश्यों की परवाह नहीं है; इसे केवल समय के साथ लोगों और चीजों के बीच के संबंधों की परवाह है। यही "एंटिटी ग्राफ" है।
3. जासूस: "प्लानिंग एजेंट" (The Planning Agent)
जब आप कोई सवाल पूछते हैं, तो EGAgent केवल अनुमान नहीं लगाता। यह एक प्लानिंग एजेंट (एक स्मार्ट प्रोजेक्ट मैनेजर) का उपयोग करता है जो आपके बड़े सवाल को छोटे, प्रबंधनीय सुरागों में तोड़ देता है।
उपमा:
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं। आप अपराध स्थल को 10 घंटे तक देखते नहीं रहते। आप:
- लॉग चेक करते हैं: "दोपहर 2 बजे कमरे में कौन था?" (ऑडियो सर्च)
- फोटो देखते हैं: "कार के पास कौन खड़ा था?" (विजुअल सर्च)
- रोलोडेक्स चेक करते हैं: "क्या जेक ने कभी कार के बारे में श्योर से बात की थी?" (एंटिटी ग्राफ सर्च)
EGAgent यह काम स्वचालित रूप से करता है। वह खुद से पूछता है: "इसका उत्तर देने के लिए, मुझे जानना होगा कि कार में कौन था। मुझे पहले ग्राफ चेक करने दो।" यदि ग्राफ कहता है "मंगलवार को जेक और श्योर कार में थे," तो वह पुष्टि करने के लिए सटीक क्षण खोजने हेतु वीडियो पर जाता है।
4. सुपरपावर: "टाइम ट्रैवल" (Time Travel)
इस सिस्टम का सबसे शानदार हिस्सा यह है कि यह समय को समझता है।
- पुराना AI: "मैं एक कार देख रहा हूँ।"
- EGAgent: "मैं एक कार देख रहा हूँ, और मुझे पता है कि जेक ने मंगलवार को दोपहर 2:00 बजे से 2:15 बजे के बीच उस कार का उपयोग किया था, और उस दौरान श्योर उससे बात कर रहा था।"
क्योंकि यह इन संबंधों को टाइमस्टैम्प के साथ स्टोर करता है, यह जटिल सवालों के जवाब दे सकता है जैसे: "मैंने इस सप्ताह कितनी बार पानी पिया?" या "किराने की दुकान जाने से ठीक पहले मैं किससे बात कर रहा था?"
5. परिणाम: दूसरों से बेहतर
शोधकर्ताओं ने EGAgent का परीक्षण EgoLife नामक डेटासेट पर किया, जो वास्तव में लोगों के जीवन का एक सप्ताह लंबा वीडियो है।
- पिछला AI: लगभग 36% सवालों के सही जवाब दे पाया। वे विवरणों में खो गए या यह भूल गए कि कौन कौन था।
- EGAgent: 57.5% सवालों के सही जवाब दे पाया।
यह केवल किस्मत की बात नहीं थी; यह कठिन सवालों में बेहतर हुआ—वे सवाल जिनमें अलग-अलग दिनों के बीच संबंध जोड़ने की आवश्यकता थी (जैसे, "मैं सोमवार को किससे मिला था जिसे मैंने शुक्रवार को भी देखा था?")।
सारांश
EGAgent को एक कैमकोर्डर और एक जीवनी लेखक (Biographer) के बीच के अंतर के रूप में देखें।
- एक कैमकोर्डर बस सब कुछ अंधाधुंध रिकॉर्ड करता है। यदि आप उससे कोई सवाल पूछते हैं, तो उसे पूरा टेप फिर से देखना पड़ता है।
- एक जीवनी लेखक (EGAgent) टेप देखता है, महत्वपूर्ण संबंधों पर नोट्स लेता है, एक टाइमलाइन बनाता है, और एक मानचित्र तैयार करता है। जब आप सवाल पूछते हैं, तो जीवनी लेखक को टेप फिर से देखने की आवश्यकता नहीं होती; वह आपको तुरंत उत्तर देने के लिए अपने नोट्स और अपने मानचित्र को देखता है।
यह तकनीक व्यक्तिगत AI सहायकों को बनाने की दिशा में एक बड़ा कदम है जो वास्तव में आपकी जिंदगी को याद रख सकें, आपकी खोई हुई चीजों को खोजने में मदद कर सकें, या उन बातचीत की याद दिला सकें जो आपने हफ्तों पहले की थीं, बिल्कुल वैसे ही जैसे एक मानवीय मित्र करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।