← नवीनतम पेपर
💻 संगणक विज्ञान

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

यह शोध पत्र VideoMemBench को प्रस्तुत करता है, जो 326 वीडियो और सत्यापित क्रॉस-टर्न निर्भरताओं वाले मल्टी-टर्न संवादों से बना एक नया बेंचमार्क है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की "इन-कॉन्टेक्स्ट वीडियो मेमोरी" क्षमताओं का मूल्यांकन करने के लिए है, और यह प्रकट करता है कि शीर्ष प्रदर्शन करने वाले मॉडल भी इस कार्य में काफी संघर्ष करते हैं, जो केवल 45.7% का सर्वश्रेष्ठ स्कोर प्राप्त करते हैं।

मूल लेखक: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

प्रकाशित 2026-11-04
📖 1 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

मूल लेखक: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

तकनीकी सारांश: VideoMemBench

समस्या विवरण

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) इस स्तर तक उन्नत हो गए हैं जहाँ वे मिलियन-टोकन संदर्भों के साथ एक घंटे लंबे वीडियो को प्रोसेस कर सकते हैं, जिससे एक ही वीडियो पर विस्तृत मल्टी-टर्न संवाद संभव हो गया है। हालाँकि, ऐसे संवादों को बनाए रखने के लिए इन-कॉन्टेक्स्ट वीडियो मेमोरी (in-context video memory) की आवश्यकता होती है: संवाद में पहले स्थापित जानकारी को पुनः प्राप्त करने और पुन: उपयोग करने की क्षमता, जिसमें मॉडल द्वारा देखे गए दृश्य एपिसोड और मॉडल द्वारा पहले दिए गए उत्तर दोनों शामिल हैं।

मौजूदा वीडियो समझ बेंचमार्क (जैसे, MVBench, Video-MME, LVBench) इस क्षमता को मापने में विफल रहते हैं। उनके प्रश्न परस्पर स्वतंत्र होते हैं, कभी भी एक-दूसरे को संदर्भित नहीं करते हैं, और केवल वीडियो और वर्तमान प्रश्न से ही उत्तर योग्य होते हैं। फलस्वरूप, किसी भी जानकारी को टर्न्स (turns) के बीच ले जाने की आवश्यकता नहीं होती है, जिससे इन-कॉन्टेक्स्ट वीडियो मेमोरी की महत्वपूर्ण चुनौती बिना मापे रह जाती है।

कार्यप्रणाली: VideoMemBench का निर्माण

लेखक VideoMemBench पेश करते हैं, जो एक संरचित, टाइप किए गए क्रॉस-टर्न डिपेंडेंसी (cross-turn dependencies) के माध्यम से इन-कॉन्टेक्स्ट वीडियो मेमोरी का स्पष्ट रूप से मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। निर्माण पाइपलाइन में तीन LLM भूमिकाएँ और मानव विशेषज्ञ समीक्षा शामिल है:

  1. वीडियो संग्रह (Video Collection): मौजूदा बेंचमार्क (Video-MME, VSI-Bench, आदि) और वेब (YouTube) से लगभग 3,200 वीडियो का एक प्रारंभिक पूल क्यूरेट किया गया, जो चार प्रमुख डोमेन को कवर करता है: लाइफस्टाइल और मनोरंजन, ज्ञान और शिक्षा, कला और साहित्य, तथा खेल और प्रतियोगिता।
  2. डिपेंडेंसी प्लानिंग (Planner LLM): प्रश्न उत्पन्न करने से पहले, एक प्लानर एक वैश्विक संवाद विनिर्देश (global dialogue specification) बनाता है। इसमें एक वीडियो सिनोप्सिस, संवाद दिशानिर्देश और एक टाइप्ड डिपेंडेंसी ग्राफ (typed dependency graph) शामिल है। ग्राफ पैरेंट टर्न्स (parent turns) को डिपेंडेंट टर्न्स (dependent turns) को असाइन करता है, और किनारों (edges) को निम्न रूप में लेबल करता है:
    • एपिसोडिक डिपेंडेंसी (Episodic Dependency): प्रश्न पहले के टर्न में वर्णित एक विजुअल एपिसोड को संदर्भित करता है (यह जांचने के लिए कि मॉडल ने क्या देखा है उसकी मेमोरी)।
    • आंसर डिपेंडेंसी (Answer Dependency): प्रश्न मॉडल के अपने पिछले उत्तर पर आधारित होता है (यह जांचने के लिए कि मॉडल ने क्या कहा है उसकी मेमोरी)।
  3. टर्न-वाइज जनरेशन (Generator LLM): जनरेटर योजना का पालन करते हुए टर्न-दर-टर्न संवाद का निर्माण करता है। यह सुनिश्चित करता है कि डिपेंडेंट टर्न्स पूर्व सामग्री को दोहराए बिना संदर्भ संबंधी अभिव्यक्तियों (जैसे, "T1 का दृश्य") का उपयोग करें।
  4. स्वचालित सत्यापन (Judger LLM): एक जडर प्रत्येक टर्न के लिए तीन सख्त आवश्यकताओं को लागू करता है:
    • आवश्यकता (Necessity): प्रश्न अनउत्तरित होना चाहिए यदि पैरेंट टर्न्स को हटा दिया जाए (भले ही वीडियो तक पहुंच हो)।
    • नॉन-लीकेज (Non-leakage): प्रश्न में पैरेंट टर्न्स की जानकारी को फिर से नहीं बताया जाना चाहिए या उनके उत्तरों का खुलासा नहीं किया जाना चाहिए।
    • विजुअल ग्राउंडिंग (Visual Grounding): प्रत्येक उत्तर विशिष्ट वीडियो फ्रेम्स के विरुद्ध सत्यापन योग्य होना चाहिए।
      विफल टर्न्स को पुन: जनरेट किया जाता है; दो लगातार विफलताओं के बाद री-प्लानिंग (replanning) की जाती है।
  5. मानव विशेषज्ञ समीक्षा (Human Expert Review): आठ मानव विशेषज्ञ उत्तर की शुद्धता, डिपेंडेंसी की वैधता और सूचना लीकेज की अनुपस्थिति को सत्यापित करने के लिए वीडियो के विरुद्ध सभी संवादों की समीक्षा करते हैं।

डेटासेट सांख्यिकी:

  • 326 वीडियो जिन्हें 326 मल्टी-टर्न संवादों के साथ जोड़ा गया है।
  • 2,476 कुल QA टर्न्स।
  • 1,387 टर्न्स डिपेंडेंट हैं (56.02%), जिनमें 1,200 एपिसोडिक और 594 आंसर डिपेंडेंसी शामिल हैं।
  • डिपेंडेंसी में मल्टी-पैरेंट संरचनाएं (3 पैरेंट तक) और लॉन्ग-रेंज चेन्स (9 टर्न की दूरी तक) शामिल हैं।

मूल्यांकन प्रोटोकॉल

बेंचमार्क ने 25 MLLMs (8 क्लोज्ड-सोर्स, 17 ओपन-वेट) का मूल्यांकन एक सेल्फ-रोलआउट प्रोटोकॉल का उपयोग करके किया, जहाँ मॉडल्स को 128 समान रूप से सैंपल किए गए फ्रेम्स और पूर्ण संवाद इतिहास प्राप्त होता है। तीन मेट्रिक्स को परिभाषित किया गया था:

  1. TurnAcc: सभी टर्न्स पर सटीकता, जिसे स्वतंत्र रूप से स्कोर किया जाता है।
  2. EpiDepAcc: एपिसोडिक डिपेंडेंसी वाले टर्न्स पर सटीकता (विजुअल कॉन्टेक्स्ट की मेमोरी)।
  3. AnsDepAcc: चेन क्रेडिटिंग (chain crediting) का उपयोग करके आंसर डिपेंडेंसी वाले टर्न्स पर सटीकता। एक टर्न को तभी क्रेडिट किया जाता है जब उसका रिस्पॉन्स और उसके आंसर-डिपेंडेंसी वंशावली (ancestry) के साथ सभी रिस्पॉन्स सही हों। यह एरर एक्यूमुलेशन (त्रुटि संचय) को दंडित करता है।

मुख्य परिणाम

  • समग्र प्रदर्शन (Overall Performance): सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल, Claude Opus 5 ने केवल 45.7% का समग्र स्कोर प्राप्त किया, जो मानव बेसलाइन 86.1% से काफी कम है।
  • डिपेंडेंसी प्रकार: स्वतंत्र टर्न्स की तुलना में डिपेंडेंट टर्न्स पर प्रदर्शन लगातार कम रहा।
    • AnsDepAcc सबसे चुनौतीपूर्ण मेट्रिक था (Claude Opus 5 के लिए 35.7%), जो TurnAcc से 16.6 प्रतिशत अंक पीछे रहा। यह पिछले उत्तरों के साथ निरंतरता बनाए रखने में गंभीर कठिनाई को दर्शाता है।
    • EpiDepAcc (49.1%) थोड़ा बेहतर था लेकिन स्वतंत्र टर्न सटीकता (52.3%) से नीचे था।
  • जटिलता का प्रभाव (Complexity Impact):
    • दूरी (Distance): जैसे-जैसे डिपेंडेंसी की दूरी बढ़ी, सटीकता में गिरावट आई (दूरी 1 पर 30.2% से दूरी ≥5 पर 23.1% तक)।
    • मल्टी-पैरेंट: पैरेंट टर्न्स की संख्या बढ़ने के साथ सटीकता गिरी।
    • पोजीशन: संवाद में बाद के स्थानों पर स्थित डिपेंडेंट टर्न्स में निरंतर सटीकता की गिरावट देखी गई।
  • त्रुटि के स्रोत (Error Sources): मॉडल हिस्ट्री को ग्राउंड ट्रुथ (ऑरेकल हिस्ट्री) से बदलने वाले प्रयोगों ने महत्वपूर्ण प्रदर्शन लाभ दिखाया (उदाहरण के लिए, Qwen3-VL-8B 12.3% से सुधरकर 32.4% हो गया), जो पुष्टि करता है कि शुरुआती रिस्पॉन्स में त्रुटियां बाद के टर्न्स के लिए कठिनाई का प्राथमिक स्रोत हैं। हालाँकि, परफेक्ट हिस्ट्री के साथ भी, सटीकता स्वतंत्र-टर्न स्तर से नीचे रही, जो बताता है कि केवल सही इतिहास ही विश्वसनीय इन-कॉन्टेक्स्ट वीडियो मेमोरी के लिए पर्याप्त नहीं है।

महत्व और दावे

पेपर का दावा है कि इन-कॉन्टेक्स्ट वीडियो मेमोरी वर्तमान MLLMs के लिए, यहाँ तक कि फ्रंटियर मॉडल्स के लिए भी, एक खुला और चुनौतीपूर्ण प्रश्न बना हुआ है। इसके प्राथमिक योगदान हैं:

  1. एक अंतराल की पहचान: यह उजागर करना कि मौजूदा बेंचमार्क वीडियो संवादों में स्थापित संवाद संदर्भ को पुनः प्राप्त करने और उपयोग करने की क्षमता को मापने में विफल रहते हैं।
  2. VideoMemBench: स्पष्ट, टाइप किए गए क्रॉस-टर्न डिपेंडेंसी (एपिसोडिक और आंसर) के साथ पहला बेंचमार्क प्रदान करना, जो एक कठोर निर्माण पाइपलाइन द्वारा समर्थित है और जो आवश्यकता (necessity) और नॉन-लीकेज को लागू करता है।
  3. अनुभवजन्य साक्ष्य (Empirical Evidence): यह प्रदर्शित करना कि वर्तमान मॉडल क्रॉस-टर्न डिपेंडेंसी, विशेष रूप से अपने स्वयं के पिछले उत्तरों के साथ निरंतरता बनाए रखने (चेन क्रेडिटिंग) और लॉन्ग-रेंज या मल्टी-पैरेंट डिपेंडेंसी को संभालने में काफी संघर्ष करते हैं।

लेखक निष्कर्ष निकालते हैं कि VideoMemBench विस्तारित संवादों में पहले के अवलोकनों और प्रतिक्रियाओं को विश्वसनीय रूप से याद करने और उन पर निर्माण करने में सक्षम वीडियो MLLMs विकसित करने के लिए एक आवश्यक आधार प्रदान करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →