Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval
यह शोधपत्र विज़ुअल एजेंटिक मेमोरी (VAM) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो चयनात्मक अनुक्रमण (selective indexing), पदानुक्रमित मेमोरी संगठन (hierarchical memory organization) और एजेंटिक रिट्रीवल (agentic retrieval) के माध्यम से ऑनलाइन दीर्घ वीडियो समझ को बढ़ाता है, और विज़ुअल मेमोरी को एक स्पष्ट, निरीक्षण योग्य और क्वेरी करने योग्य आधार (substrate) के रूप में मानकर OVO-Bench और MM-Lifelong जैसे बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपनी 50 दिनों की छुट्टियों के दौरान हुई हर एक चीज़ को याद रखने की कोशिश कर रहे हैं। यदि आप वीडियो के हर एक सेकंड को एक साथ अपने दिमाग में रखने की कोशिश करेंगे, तो आपका मस्तिष्क क्रैश हो जाएगा। यदि आप केवल "सार" (जैसे, "हम समुद्र तट पर गए थे") को याद रखेंगे, तो आप उस विशिष्ट क्षण को भूल सकते हैं जब आपने अपनी आइसक्रीम गिरा दी थी, जिससे यह साबित करना असंभव हो जाएगा कि वह ठीक कब हुआ था।
यह शोध पत्र विजुअल एजेंटिक मेमोरी (VAM) पेश करता है, जो कंप्यूटर के लिए लंबे वीडियो को बिना अभिभूत हुए या सच्चाई खोए संभालने का एक नया तरीका है। VAM को एक विशाल हार्ड ड्राइव के रूप में न सोचें जो सब कुछ स्टोर करती है, बल्कि एक स्मार्ट, सक्रिय लाइब्रेरियन के रूप में सोचें जो आपके लिए रीयल-टाइम में वीडियो स्ट्रीम को देखता है और एक खोजने योग्य लाइब्रेरी बनाता है।
यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:
1. "स्मार्ट फ़िल्टर" (ऑनलाइन इंडेक्सिंग)
एक संग्रहालय के प्रवेश द्वार पर एक सुरक्षा गार्ड की कल्पना करें। अधिकांश लोग बस एक ही काम करते हुए गुजर जाते हैं (जैसे स्थिर खड़े रहना या धीरे चलना)। गार्ड को हर एक व्यक्ति की फोटो लेने की आवश्यकता नहीं है।
- VAM क्या करता है: जैसे-जैसे वीडियो चलता है, VAM इस गार्ड की तरह काम करता है। यह धुंधले फ्रेम या उन क्षणों को अनदेखा कर देता है जहाँ कुछ भी नहीं बदलता (अनावश्यकता)। यह केवल तभी "फोटो खींचता है" (एक फ्रेम स्टोर करता है) जब कुछ नया या महत्वपूर्ण होता है।
- परिणाम: लाखों फ्रेम स्टोर करने के बजाय, यह केवल सबसे दिलचस्प फ्रेम रखता है, जैसे कि एक 'हाइलाइट रील' जिसमें मूल, उच्च-गुणवत्ता वाले साक्ष्य अभी भी मौजूद हों।
2. "व्यवस्थित फाइलिंग कैबिनेट" (पदानुक्रमित मेमोरी)
अब जब लाइब्रेरियन के पास तस्वीरें हैं, तो वे उन्हें कैसे व्यवस्थित करेंगे? आप उन्हें बस एक ढेर में नहीं फेंक सकते।
- VAM क्या करता है: यह इन तस्वीरों को "घटनाओं" (जैसे पुस्तक के अध्यायों) में समूहित करता है।
- सारांश: प्रत्येक अध्याय के लिए, यह एक संक्षिप्त पाठ सारांश लिखता है (जैसे, "टीम दोपहर 2 बजे बैठक कर रही थी")। यह आपको सही अध्याय जल्दी खोजने में मदद करता है।
- साक्ष्य: महत्वपूर्ण बात यह है कि यह उस अध्याय की वास्तविक तस्वीरों को एक अलग फोल्डर में भी रखता है।
- उपमा: यह एक विषय-सूची (सारांश) होने जैसा है जो आपको सटीक पृष्ठ (कच्ची तस्वीरों) की ओर ले जाता है ताकि आप विवरणों को स्वयं सत्यापित कर सकें। यह कंप्यूटर को केवल एक संपीड़ित (compressed) सारांश के आधार पर अनुमान लगाने से रोकता है।
3. "डिटेक्टिव एजेंट" (एजेंटिक रिट्रीवल)
जब आप कोई प्रश्न पूछते हैं (जैसे, "जब कार दुर्घटनाग्रस्त हुई तो उसका रंग क्या था?"), तो एक सामान्य AI अपनी स्मृति के आधार पर केवल अनुमान लगा सकता है। VAM एक डिटेक्टिव (जासूस) का उपयोग करता है।
- VAM क्या करता है: डिटेक्टिव तुरंत उत्तर नहीं देता। यह एक सख्त प्रक्रिया का पालन करता है:
- खोज (Search): यह सही अध्याय खोजने के लिए "विषय-सूची" को देखता है।
- निरीक्षण (Inspect): यह कार को करीब से देखने के लिए उस अध्याय की वास्तविक तस्वीरों को निकालता है।
- सत्यापन (Verify): यह सबूतों की दोबारा जांच करता है ताकि यह सुनिश्चित हो सके कि वह मनगढ़ंत बातें (hallucinating) न कर रहा हो।
- उत्तर (Answer): सबूत देखने के बाद ही यह आपको उत्तर देता है, और ठीक से बताता है कि उसने कौन सी फोटो देखी।
- लाभ: यह AI को मनगढ़ंत बातें बनाने से रोकता है। यदि सबूत वहां नहीं हैं, तो डिटेक्टिव कहानी बनाने के बजाय यह स्वीकार कर लेता है कि उसे जानकारी नहीं है।
यह क्यों महत्वपूर्ण है (परिणाम)
लेखकों ने इस प्रणाली का परीक्षण दो बहुत कठिन चुनौतियों पर किया:
- रियल-टाइम स्ट्रीमिंग (OVO-Bench): उन्होंने परीक्षण किया कि क्या सिस्टम भविष्य को देखे बिना, वीडियो के चलते समय उसके बारे में सवालों के जवाब दे सकता है। VAM इसमें सर्वश्रेष्ठ था, जिसने यहाँ तक कि सबसे शक्तिशाली "ऑल-इन-वन" AI मॉडल को भी पीछे छोड़ दिया।
- महीनों लंबे वीडियो (MM-Lifelong): उन्होंने इसका परीक्षण 105 घंटे लंबे वीडियो पर किया, जिसे 51 दिनों में रिकॉर्ड किया गया था। यह एक महीने डेढ़ महीने तक किसी के जीवन का वीडियो देखने जैसा है।
- जादू: जबकि अन्य सिस्टम पूरे वीडियो को याद करने की कोशिश में विफल रहे, या इसे इतना अधिक कंप्रेस कर दिया कि उन्होंने विवरण खो दिए, VAM ने मूल वीडियो का केवल 0.06% हिस्सा रखा (11 मिलियन में से लगभग 6,800 चित्र)।
- स्कोर: इतना कम डेटा स्टोर करने के बावजूद, VAM ने इस परीक्षण में दूसरा उच्चतम स्कोर प्राप्त किया, जो यह सिद्ध करता है कि सब कुछ की एक धुंधली स्मृति होने से बेहतर कुछ अच्छे फोटो होना है।
निष्कर्ष
यह शोध पत्र तर्क देता है कि लंबे वीडियो को समझने के लिए, हमें केवल AI को "अधिक स्मार्ट" बनाने या उसे बड़ी मेमोरी देने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें इसे अपने साक्ष्यों को संग्रहीत करने, व्यवस्थित करने और जांचने का एक व्यवस्थित तरीका देना चाहिए।
VAM विजुअल मेमोरी को एक संपीड़ित सारांश के बजाय एक खोजने योग्य, निरीक्षण योग्य संग्रह के रूप में मानता है। यह AI को यह कहने की अनुमति देता है कि, "मुझे उत्तर पता है क्योंकि मैंने इस विशिष्ट फ्रेम को देखा है," न कि केवल अनुमान लगाने की।
नोट: शोध पत्र स्पष्ट रूप से उल्लेख करता है कि यह प्रणाली वर्तमान में केवल विजुअल-ओनली है (यह अभी तक ऑडियो को हैंडल नहीं करती है) और कच्चा वीडियो स्टोर करना गोपनीयता संबंधी चिंताएं पैदा करता है, जिसे लेखक नोट करते हैं कि वास्तविक दुनिया के उपयोग में सावधानीपूर्वक प्रबंधित किया जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।