VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
تقدم هذه الورقة البحثية VideoMemBench، وهو معيار مرجعي جديد يتكون من 326 مقطع فيديو وحوارات متعددة الأدوار ذات تبعيات مُتحقق منها عبر الأدوار، لتقييم قدرات "ذاكرة الفيديو في السياق" للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، كاشفةً أن حتى النماذج الأعلى أداءً تعاني بشكل كبير في هذه المهمة، حيث حققت أفضل درجة بنسبة 45.7% فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
ملخص تقني: VideoMemBench
بيان المشكلة
لقد تقدمت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إلى الحد الذي يمكنها من خلاله معالجة فيديوهات مدتها ساعة كاملة بسياقات تصل إلى مليون رمز (token)، مما يتيح حوارات ممتدة عبر عدة جولات فوق فيديو واحد. ومع ذلك، فإن استدامة مثل هذه المحادثات تتطلب ذاكرة فيديو داخل السياق (in-context video memory): وهي القدرة على استرجاع وإعادة استخدام المعلومات التي تم تأسيسها في وقت سابق من الحوار، بما يشمل الحلقات المرئية التي شاهدها النموذج والإجابات التي ولدها النموذج سابقاً.
تفشل معايم فهم الفيديو الحالية (مثل MVBench وVideo-MME وLVBench) في قياس هذه القدرة؛ حيث إن أسئلتها مستقلة عن بعضها البعض، ولا تشير إلى بعضها البعض أبداً، ويمكن الإجابة عليها فقط من خلال الفيديو والسؤال الحالي. وبناءً على ذلك، لا توجد حاجة لحمل أي معلومات عبر الجولات، مما يترك التحدي الحاسم المتمثل في ذاكرة الفيديو داخل السياق دون قياس.
المنهجية: بناء VideoMemBench
قدم المؤلفون VideoMemBench، وهو معيار مصمم لتقييم ذاكرة الفيديو داخل السياق بشكل صريح من خلال تبعيات هيكلية ومصنفة عبر الجولات. تتضمن عملية البناء ثلاثة أدوار لنماذج اللغة الكبيرة (LLM) ومراجعة من خبراء بشريين:
- جمع الفيديوهات: تم اختيار مجموعة أولية تضم حوالي 3,200 فيديو من معايم موجودة (Video-MME وVSI-Bench، إلخ) ومن الويب (YouTube)، تغطي أربعة مجالات رئيسية: نمط الحياة والترفيه، المعرفة والتعليم، الفن والأدب، والرياضة والمنافسة.
- تخطيط التبعية (نموذج المخطط - Planner LLM): قبل توليد الأسئلة، يقوم المخطط بإنشاء مواصفات حوار عالمية. يتضمن ذلك ملخصاً للفيديو، وإرشادات الحوار، ورسم بياني للتبعية المصنفة (typed dependency graph). يقوم الرسم البياني بتعيين الجولات الأبوية للجولات التابعة، مع تسمية الحواف إما بـ:
- التبعية الحلقية (Episodic Dependency): يشير السؤال إلى حلقة مرئية تم وصفها في جولة سابقة (لاختبار ذاكرة ما رآه النموذج).
- تبعية الإجابة (Answer Dependency): يبني السؤال على إجابة النموذج السابقة (لاختبار ذاكرة ما قاله النموذج).
- التوليد حسب الجولة (نموذج المولد - Generator LLM): يقوم المولد ببناء جولات الحوار جولة تلو الأخرى، ملتزماً بالخطة. ويضمن استخدام الجولات التابعة لتعبيرات إحالية (مثل "المشهد من T1") دون إعادة ذكر المحتوى السابق.
- التحقق الآلي (نموذج المحكم - Judger LLM): يفرض المحكم ثلاثة متطلبات صارمة لكل جولة:
- الضرورة (Necessity): يجب أن يكون السؤال غير قابل للإجابة إذا تمت إزالة الجولات الأبوية (حتى مع الوصول إلى الفيديو).
- عدم التسريب (Non-leakage): يجب ألا يعيد السؤال ذكر معلومات من الجولات الأبوية أو يكشف عن إجاباتها.
- التأسيس المرئي (Visual Grounding): يجب أن تكون كل إجابة قابلة للتحقق مقابل إطارات محددة من الفيديو.
في حال الفشل، يتم إعادة توليد الجولات؛ ويؤدي الفشل في جولتين متتاليتين إلى إعادة التخطيط.
- مراجعة الخبراء البشريين: قام ثمانية خبراء بشريين بمراجعة جميع الحوارات مقابل الفيديو للتحقق من صحة الإجابات، وصحة التبعية، وعدم وجود تسريب للمعلومات.
إحصائيات مجموعة البيانات:
- 326 فيديو مقترنة بـ 326 حواراً متعدد الجولات.
- 2,476 إجمالي جولات السؤال والجواب (QA turns).
- 1,387 جولة هي جولات تابعة (56.02%)، وتتكون من 1,200 تبعية حلقية و 594 تبعية إجابة.
- تتضمن التبعيات هياكل متعددة الآباء (تصل إلى 3 آباء) وسلاسل طويلة المدى (تصل مسافة 9 جولات).
بروتوكول التقييم
قيم هذا المعيار 25 نموذجاً من النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) (8 نماذج مغلقة المصدر، و17 نموذجاً مفتوح الأوزان) باستخدام بروتوكول "التشغيل الذاتي" (self-rollout) حيث تتلقى النماذج 128 إطاراً تم أخذ عينات منها بشكل موحد مع تاريخ المحادثة الكامل. تم تحديد ثلاثة مقاييس:
- TurnAcc: الدقة عبر جميع الجولات، وتُحتسب بشكل مستقل.
- EpiDepAcc: الدقة في الجولات ذات التبعية الحلقية (ذاكرة السياق المرئي).
- AnsDepAcc: الدقة في الجولات ذات تبعية الإجابة باستخدام نظام ائتمان السلسلة (chain crediting). تُحتسب الجولة فقط إذا كانت استجابتها واستجابات جميع المسارات في سلالة تبعية الإجابة الخاصة بها صحيحة. وهذا يعاقب تراكم الأخطاء.
النتائج الرئيسية
- الأداء العام: حقق أفضل نموذج أداءً، وهو Claude Opus 5، درجة إجمالية قدرها 45.7% فقط، وهي أقل بكثير من خط الأساس البشري البالغ 86.1%.
- أنواع التبعية: كان الأداء أقل باستمرار في الجولات التابعة مقارنة بالجولات المستقلة.
- AnsDepAcc كان المقياس الأكثر صعوبة (35.7% لـ Claude Opus 5)، متأخراً بمقدار 16.6 نقطة مئوية عن TurnAcc. وهذا يشير إلى صعوبة شديدة في الحفاظ على الاتساق مع الإجابات السابقة.
- EpiDepAcc (49.1%) كان أفضل قليلاً ولكن لا يزال أقل من دقة الجولات المستقلة (52.3%).
- تأثير التعقيد:
- المسافة: انخفضت الدقة مع زيادة مسافة التبعية (من 30.2% عند مسافة 1 إلى 23.1% عند مسافة ≥5).
- تعدد الآباء: انخفضت الدقة مع زيادة عدد الجولات الأبوية.
- الموقع: أظهرت الجولات التابعة في المواقع المتأخرة من الحوار انخفاضاً مستمراً في الدقة.
- مصادر الخطأ: أظهرت التجارب التي استبدلت تاريخ النموذج بالتاريخ الحقيقي (Oracle history) مكاسب كبيرة في الأداء (على سبيل المثال، تحسن Qwen3-VL-8B من 12.3% إلى 32.4%)، مما يؤكد أن الأخطاء في الاستجابات السابقة هي مصدر رئيسي للصعوبة في الجولات اللاحقة. ومع ذلك، حتى مع التاريخ المثالي، ظلت الدقة أقل من مستويات الجولات المستقلة، مما يشير إلى أن التاريخ الصحيح وحده ليس كافياً لذاكرة فيديو موثوقة داخل السياق.
الأهمية والادعاءات
يزعم البحث أن ذاكرة الفيديو داخل السياق لا تزال مشكلة مفتوحة وصعبة بالنسبة للنماذج اللغوية الكبيرة متعددة الوسائط الحالية، حتى بالنسبة للنماذج الرائدة. تتمثل المساهمات الرئيسية في:
- تحديد الفجوة: تسليط الضوء على أن المعايم الحالية تفشل في قياس القدرة على استرجاع وإعادة استخدام سياق الحوار الراسخ في محادثات الفيديو.
- VideoMemBench: توفير أول معيار بتبعيات واضحة ومصنفة عبر الجولات (الحلقية والإجابة) تفرض الضرورة وعدم التسريب، مدعوماً بعملية بناء صارمة.
- الدليل التجريبي: إثبات أن النماذج الحالية تعاني بشكل كبير مع التبعيات عبر الجولات، لا سيية عند الحفاظ على الاتساق مع إجاباتها السابقة (ائتمان السلسلة) والتعامل مع التبعيات طويلة المدى أو متعددة الآباء.
يخلص المؤلفون إلى أن VideoMemBench يوفر أساساً ضرورياً لتطوير نماذج MLLM للفيديو قادرة على استدعاء الملاحظات والاستجابات السابقة وبناء المزيد عليها بشكل موثوق في المحادثات الممتدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.