← नवीनतम पेपर
💬 NLP

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

यह शोधपत्र MERIT का प्रस्ताव करता है, जो अल्ट्रा-लॉन्ग वीडियो समझ के लिए एक सरल लेकिन प्रभावी ढांचा है जो मल्टी-की रिप्रजेंटेशन के साथ हाई-रिकॉल एपिसोडिक मेमोरी निर्माण को प्राथमिकता देता है और ऑन-डिमांड टेम्पोरल एक्सपेंशन के माध्यम से जटिल सिमेंटिक रीजनिंग को इन्फरेंस समय तक टाल देता है, जिससे वैश्विक संबंधों के प्री-मॉडलिंग के कम्प्यूटेशनल ओवरहेड के बिना अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

प्रकाशित 2026-08-11
📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप तीन दिनों तक चलने वाली एक मूवी मैराथन की एक विशिष्ट बातचीत को याद करने की कोशिश कर रहे हैं। यदि आप उस एक संवाद को खोजने के लिए पूरी चीज़ फिर से देखने की कोशिश करेंगे, तो जानकारी की अत्यधिक मात्रा के कारण आपका मस्तिष्क संभवतः सुन्न हो जाएगा। यह बिल्कुल वही समस्या है जिसका सामना आधुनिक "AI मस्तिष्क" कर रहे हैं, जिन्हें मल्टी-मॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के रूप में जाना जाता है। ये अत्यंत बुद्धिमान कंप्यूटर हैं जो देख, सुन और पढ़ सकते हैं, लेकिन उनकी अपनी वर्किंग मेमोरी में एक साथ कितनी "वीडियो" समा सकती है, इसकी एक सख्त सीमा है। जब वीडियो बहुत लंबे हो जाते हैं—घंटों या यहाँ तक कि दिनों तक फैल जाते हैं—तो ये AI मॉडल अभिभूत हो जाते हैं। इस समस्या को हल करने के लिए, वैज्ञानिक AI के लिए "बाहरी स्मृति" (external memories) बनाने की कोशिश कर रहे हैं, जैसे कि एक डिजिटल लाइब्रेरी जहाँ AI वीडियो को स्टोर कर सके और फिर पूछे गए प्रश्न के अनुसार सही पन्ने को जल्दी से ढूँढ सके। अब बड़ा सवाल यह था कि: क्या हमें इस लाइब्रेरी को एक जटिल, पूर्व-निर्मित मानचित्र (map) में व्यवस्थित करने का प्रयास करना चाहिए, इससे पहले कि हमें पता चले कि लोग क्या प्रश्न पूछेंगे? या हमें केवल कच्चे तथ्यों (raw facts) को स्टोर करना चाहिए और कनेक्शन को बाद में समझना चाहिए, एक बार जब हमें पता चल जाए कि उपयोगकर्ता क्या खोज रहा है?

योनसेई यूनिवर्सिटी और एडोब रिसर्च के शोधकर्ताओं की एक टीम का सुझाव है कि जटिल, पूर्व-निर्मित मानचित्र वास्तव में समय और कंप्यूटिंग शक्ति की बर्बादी हैं। वे एक नई प्रणाली प्रस्तावित करते हैं जिसे MERIT (मल्टी-की एपिसोडिक रिट्रीवल विद इन्फरेंस-टाइम टेम्पोरल एक्सपेंशन) कहा जाता है। MERIT को एक ऐसे लाइब्रेरियन के रूप में न देखें जो एक भी ग्राहक के आने से पहले किताबों को एक जटिल, पदानुक्रमित (hierarchical) फाइलिंग सिस्टम में व्यवस्थित करने में हफ्तों बिताता है, बल्कि इसे एक सुपर-फास्ट, लचीले सर्च इंजन के रूप में देखें जो किताबों को सरल, बिना क्रमबद्ध ढेर के रूप में रखता है। पूरी कहानी का पूर्व-सारांश बनाने और यह अनुमान लगाने के बजाय कि ग्राहक क्या चाहता है, MERIT वीडियो के हर 30-सेकंड के हिस्से के लिए चार अलग-अलग "टैग" लिखता है: क्या हुआ (घटनाएँ), क्या कहा गया (संवाद), कौन सी वस्तुएं शामिल थीं, और एक त्वरित सारांश।

जब कोई उपयोगकर्ता प्रश्न पूछता है, तो MERIT केवल एक सटीक मिलान (match) की तलाश नहीं करता है। यह सबसे प्रासंगिक वीडियो क्लिप खोजने के लिए इन कई टैग्स का उपयोग करता है, भले ही प्रश्न को अजीब तरीके से भी पूछा गया हो। लेकिन यहाँ सबसे चतुर हिस्सा है: एक बार जब यह एक क्लिप ढूंढ लेता है, तो यह वहीं नहीं रुकता है। यह तुरंत उससे ठीक पहले और ठीक बाद की क्लिप्स को भी ले लेता है, जिससे कहानी को समझने के लिए संदर्भ (context) का विस्तार हो जाता है। यह "नेबर फ़िल्टरिंग" (neighbor filtering) केवल तभी होती है जब प्रश्न पूछा जाता है, जिससे भारी मात्रा में ऊर्जा बचती है। शोधकर्ताओं ने एक घंटे से लेकर 44 घंटों से अधिक लंबे वीडियो पर इसका परीक्षण किया। उन्होंने पाया कि MERIT उन पिछले तरीकों की तुलना में न केवल चलाने में बहुत तेज़ और सस्ता है जो जटिल ग्राफ और पदानुक्रम बनाते थे, बल्कि यह प्रश्नों के उत्तर भी अधिक सटीकता से देता है। यह प्रतीक्षा करके कि भारी सोच तब की जाए जब वास्तव में प्रश्न पूछा जाए, MERIT यह सिद्ध करता है कि कभी-कभी सबसे सरल और लचीला दृष्टिकोण ही सबसे स्मार्ट होता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →