💻 computer science

VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

تقدم هذه الورقة البحثية VideoReasonBench، وهو معيار مرجعي جديد مصمم لتقييم الاستنتاج المرئي المعقد في الفيديو من خلال مطالبة النماذج بتتبع العمليات دقيقة التفاصيل على الحالات الكامنة، مما يكشف أنه بينما تعاني معظم النماذج اللغوية الكبيرة متعددة الوسائط الحالية من مثل هذه المهام، فإن استنتاج سلسلة الأفكار الممتدة يحسن الأداء بشكل كبير.

المؤلفون الأصليون: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد خدعة سحرية حيث يقوم ساحر بخلط مجموعة من أوراق اللعب، لكنه يغطي الأوراق بقطعة قماش في منتصف العملية. يمكنك رؤية حركة اليدين، لكن لا يمكنك رؤية الأوراق نفسها. لكي تعرف الترتيب النهائي للأوراق، عليك أن تتذكر بدقة كيف تحركت الأيدي، وتحافظ على خريطة ذهنية لمكان كل ورقة كانت فيه، ثم تحسب أين انتهى بها المطاف.

هذا هو بالضبط نوع "الجمباز الذهني" الذي يختبره معيار جديد يسمى VideoReasonBench.

إليك تحليل بسيط للورقة البحثية، باستخدام تشبيهات من الحياة اليومية:

١. المشكلة: "قصر مدى الانتباه" لدى الذكاء الاصطناعي

في الوقت الحالي، تصبح نماذج الذكاء الاصطناعي (العقول التي تقف وراء روبوتات الدردشة ومولدات الصور) جيدة حقاً في مشاهدة الفيديوهات والإجابة على أسئلة بسيطة مثل، "هل الكلب يركض؟" أو "ما هو لون السيارة؟".

ومع ذلك، وجد الباحثون أن هذه النماذج سيئة جداً في الاستنتاج المعقد. إذا سألتهم عن تتبع تسلسل من الأحداث حيث تتغير الأشياء أو تختفي أو تختبئ، فإنهم غالباً ما يفقدون المسار. الأمر يشبه سؤال طالب حفظ الصفحة الأولى فقط من كتاب، ثم طلب حل لغز يتطلب معرفة حبكة المائة صفحة الأخيرة.

الاختبارات الحالية كانت سهلة للغاية؛ كانت تشبه سؤالهم: "هل انعطفت السيارة يساراً؟". كان بإمكان الذكاء الاصطناعي الإجابة على ذلك فوراً دون الحاجة إلى "التفكير" حقاً. أراد الباحثون اختباراً يجبر الذكاء الاصطناعي على استخدام عقله فعلياً.

٢. الحل: "صالة ألعاب الألغاز بالفيديو"

أنشأ الفريق VideoReasonBench، وهو بمثابة صالة ألعاب رياضية عالية المستوى لفهم الفيديو لدى الذكاء الاصطناعي. فبدلاً من مجرد مشاهدة فيديو، يتعين على الذكاء الاصطناعي حل ألغاز تكون فيها "الإجابة" مخفية.

لقد صمموا ستة أنواع من الألغاز، تشبه:

لغز المربعات المنزلقة: تخيل شبكة ٣×٣ من الأرقام. ترى الأرقام في البداية، ثم يتم تغطيتها. تنزلق المربعات حول بعضها. عليك تذكر الأرقام الأصلية وتتبع عمليات الانزلاق لتعرف شكل الشبكة النهائي.
لعبة الكؤوس: مثل لعبة "الخداع" حيث يتم إخفاء كرة تحت أحد الكؤوس الثلاثة. يتم تبديل الكؤوس حول بعضها. على الذكاء الاصطناعي تتبع الكأس الذي يحتوي على الكرة.
مدير الملفات: مشاهدة شاشة يتم فيها إنشاء ملفات وحذفها ونقلها داخل مجلد. يجب على الذكاء الاصطناعي أن يعرف بالضبط ما هي الملفات المتبقية في النهاية.

العقدة: في هذه الفيديوهات، غالباً ما تكون "الحالة السرية" (الأرقام، الكرة، الملفات) مخفية لمعظم مدة الفيديو. يمكن للذكاء الاصطناعي فقط رؤية الأفعال (الانزلاق، التبديل، الكتابة). عليه أن يبني نموذجاً ذهنياً للعالم غير المرئي بناءً على الأفعال المرئية.

٣. المستويات الثلاثة للصعوبة

يختبر هذا المعيار ثلاثة مستويات من التفكير، تزداد صعوبة في كل مرة:
١. المستوى ١ (اختبار الذاكرة): "ما هي الحركة الأولى تماماً؟" أو "كم مرة ارتفعت الدائرة الحمراء؟" هذا مجرد استرجاع لما رأيته.
٢. المستوى ٢ (عمل المحقق): "بناءً على جميع الحركات التي رأيتها، ما هو الترتيب النهائي للأرقام؟" يجب على الذكاء الاصطناعي استنتاج الحالة المخفية.
٣. المستوى ٣ (العراف/المتنبئ): "إذا بدأنا من حيث انتهى الفيديو، وقمنا بهذه الحركات الجديدة، فماذا ستكون النتيجة؟" هذا يتطلب التنبؤ بالمستقبل بناءً على محاكاة ذهنية معقدة.

٤. النتائج: فجوة "التفكير"

اختبر الباحثون ١٨ من أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك أسماء كبيرة مثل GPT-4o ونماذج مفتوحة المصدر متنوعة).

المعاناة: فشلت معظم النماذج فشلاً ذريعاً. حصل الكثير منها على أقل من ١٠٪ من الإجابات الصحيحة. وبعضها حصل على ٠٪ تقريباً. كان الأمر يشبه طلب حل مسألة فيزياء من آلة حاسبة دون أن تعرف قوانين الفيزياء.
طفرة "التفكير": وجدوا أن النماذج التي تمتلك "وضع التفكير" الخاص (حيث يتوقف الذكاء الاصطناعي لكتابة خطوات استنتاجه قبل الإجابة) أدت بشكل أفضل بكثير.
- كان Gemini-1.5-Pro هو نجم العرض، حيث سجل ٥٦٪.
- أما GPT-4o (بدون وضع التفكير الخاص) فقد سجل ٦.٩٪ فقط.

التشبيه: تخيل طالباً يؤدي اختبار رياضيات.

الذكاء الاصطناعي القياسي: يقفز مباشرة إلى الإجابة. إذا كانت المسألة صعبة، فإنه يخمن.
الذكاء الاصطناعي "المفكر": يكتب: "حسناً، الخطوة ١ هي س، الخطوة ٢ هي ص..." ويراجع عمله. هذا "التفكير الممتد" هو الشيء الوحيد الذي ساعدهم في حل ألغاز الفيديو هذه.

٥. لماذا يهم هذا؟

تثبت الورقة البحثية شيئين ضخمين:
١. الذكاء الاصطناعي يحتاج إلى "التفكير" لفهم الفيديو: مجرد النظر إلى فيديو ليس كافياً. لفهم السبب والنتيجة المعقدين، يحتاج الذكاء الاصطناعي إلى محاكاة الأحداث في ذهنه، خطوة بخطوة.
٢. الذكاء الاصطناعي الحالي لا يزال "أعمى" عن التفاصيل: حتى أفضل النماذج تعاني في تتبع التفاصيل الدقيقة بمرور الوقت. إذا أزلت الفيديو وأخبرتهم القصة نصياً فقط، فسيصبحون أفضل بكثير. هذا يعني أن المشكلة ليست في المنطق؛ بل هي في الرؤية. إنهم سيئون في المشاهدة وتذكر التفاصيل البصرية في آن واحد.

الخلاصة

VideoReasonBench هو اختبار جديد وصعب للغاية يظهر أن ذكاءنا الاصطناعي الحالي لا يزال "خرقاً" بعض الشيء عندما يتعلق الأمر بمشاهدة فيديو وفهم قصة معقدة. إنه يشبه طفلاً صغيراً يستطيع التعرف على الكلب، لكنه لا يستطيع اتباع لعبة الغميضة.

الخبر الجيد؟ النماذج التي يُسمح لها بـ "التفكير بصوت عالٍ" (مثل Gemini-1.5-Pro) بدأت تفهم الأمر. سيساعد هذا المعيار المطورين على بناء ذكاء اصطناعي أكثر ذكاءً يمكنه فهم العالم حقاً، وليس فقط التعرف على الصور.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "VIDEOREASONBENCH: هل يمكن للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إجراء استدلال بصري معقد حول الفيديو؟"

1. بيان المشكلة

على الرغم من التقدم الأخير في استدلال سلسلة التفكير الطويلة (Long Chain-of-Thought - CoT) الذي عزز بشكل كبير النماذج اللغوية الكبيرة (LLMs) في المهام المعقدة مثل الرياضيات والبرمجة، إلا أن هذه الفائدة لم تتحقق بالكامل في فهم الفيديو. تعاني معايسات الفيديو الحالية (مثل Video-MME وTempCompass وMMVU) من مشكلتين رئيسيتين:

نقص عمق الاستدلال: فهي تعتمد غالباً على استرجاع المعرفة أو الفهم الزمني قصير المدى (مثل عدّ الأفعال أو ترتيب الأحداث) بدلاً من الاستدلال العميق متعدد الخطوات.
ضعف الاعتماد البصري: العديد من المهام يمكن حلها باستخدام المعرفة المسبقة أو الملخصات النصية دون تحليل المحتوى البصري بدقة، مما يفشل في اختبار قدرة النموذج على تتبع تغيرات الحالة بمرور الوقت.

وبناءً على ذلك، لا تختبر المعايسات الحالية بفعالية ما إذا كانت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قادرة على إجراء استدلال بصري مركزي معقد، حيث يجب على النموذج تتبع تسلسل العمليات على حالة كامنة بدقة لاستنتاج أو التنبؤ بالنتائج.

2. المنهجية: VIDEOREASONBENCH

قدم المؤلفون VIDEOREASONBENCH، وهو معيار جديد مصمم خصيصاً لاختبار الاستدلال البصري المركزي المعقد.

أ. تصميم المهمة الأساسية

يصوّر المعيار مقاطع الفيديو كمتتالية من تحولات الحالة: $\{S_t, o_t, S_{t+1}\}$ .

الحالة الكامنة (Latent State): الحالة الأساسية (مثل تكوين لوحة اللعب) تكون مرئية جزئياً فقط (إما في بداية الفيديو أو نهايته).
العمليات الملحوظة (Observable Operations): تسلسل العمليات (مثل تحريك البلاطات أو تبديل الكؤوس) يكون مرئياً بالكامل.
التحدي: يجب على النموذج تتبع العمليات لاستنتاج الحالة المخفية أو التنبؤ بالحالات المستقبلية.

يتميز المعيار بـ ست فئات للفيديو ذات تعقيدات بصرية متفاوتة:

الرقم (Number): ألغاز تحريك البلاطات على شبكة $N \times N$ .
الدائرة (Circle): دائرة حمراء تقلب ألوان قطع الشبكة وجيرانها.
الكأس (Cup): تبديل الكؤوس للكشف عن عملات مخفية.
الملف (File): عمليات ملفات محاكية لسطر أوامر Linux (إنشاء، حذف، نقل).
البطاقة (Card): إضافة أو إزالة البطاقات من أكوام.
الشريحة (Chip): إضافة أو إزالة الشرائح من الكؤوس.

ب. مستويات الاستدلال

تُصنف الأسئلة إلى ثلاثة مستويات متصاعدة من الصعوبة:

المستوى 1 (الاستدعاء - Recall): الإدراك البصري الدقيق. يتطلب استدعاء التسلسل الدقيق للعمليات أو عدّ إجراءات محددة (مثل "كم مرة تم التحريك للأعلى؟").
المستوى 2 (الاستنتاج - Infer): استنتاج الحالة الكامنة. يتطلب استنتاج الحالة عند وقت محدد بناءً على العمليات الملحوظة (مثل "ما هو ترتيب اللوحة في النهاية؟").
المستوى 3 (التنبؤ - Predict): الاستدلال المقابل للواقع (Counterfactual reasoning). يتطلب التنبؤ بحالة مستقبلية بعد عمليات افتراضية أو إيجاد تسلسل العمليات للوصول إلى حالة مستهدفة.

ج. بناء البيانات

النطاق: 240 فيديو و1,440 سؤالاً (6 فئات $\times$ 3 مستويات $\times$ مهارتان لكل مستوى).
الأتمتة: تستخدم عملية آلية شبه تلقائية محرك فيديو (يولد تحولات الحالة عبر Matplotlib، أو لقطات شاشة CLI، أو تسجيل يدوي) ومحرك أسئلة (يولد الأسئلة والإجابات الصحيحة بناءً على نص التحول).
التحكم في التعقيد: يمكن ضبط الصعوبة عبر عدد العمليات (5-14) وحجم الحالة ( $3\times3$ إلى $4\times4$ ).

3. الإعداد التجريبي

النماذج التي تم تقييمها: 18 نموذجاً من أحدث النماذج اللغوية الكبيرة متعددة الوسائط (SOTA)، بما في ذلك:
- النماذج المملوكة: GPT-4o، Gemini-2.0/2.5 (Flash & Pro)، o4-mini، Seed1.5-VL.
- النماذج مفتوحة المصدر: LLaVA-OneVision، LLaVA-Video، InternVL3، Qwen2.5-VL، MiniCPM-V، mPLUG-Owl3، Kimi-VL.
التقييم: يعمل نموذج لغوي كبير (LLM) نصي فقط (Qwen2.5-72B) كحكم للتحقق من الإجابات مقابل الحقيقة الأرضية. بالنسبة لمهام "التنبؤ بالعملية"، يتم محاكاة مخرجات النموذج للتحقق مما إذا كانت تصل إلى الحالة المستهدفة.
الخطوط المرجعية (Baselines): تتضمن "vid2txt" (استبدال الفيديو بملخصات نصية) لعزل الإدراك البصري عن قدرات الاستدلال.

4. النتائج الرئيسية

أ. فجوة الأداء

الفشل العام: تعاني معظم نماذج MLLM المتطورة بشكل كبير. النماذج مفتوحة المصدر ذات الكفاءة العالية (أقل من 10 مليارات بارامتر) تسجل نتائج قريبة من العشوائية (أقل من 2%). حتى النماذج الرائدة مثل GPT-4o وQwen2.5-VL-72B تسجل أقل من 10% (6.9% و7.2% على التوالي).
نماذج التفكير (Thinking Models): تُظهر النماذج "المعززة بالتفكير" (o4-mini، Seed1.5-VL) تحسناً طفيفاً (~10-11%) لكنها لا تزال تفشل في إتقان المهمة.
أفضل أداء: Gemini-2.5-Pro هو النموذج الوحيد الذي أظهر قدرة قوية، حيث حقق دقة بلغت 56.0%. يسلط هذا الضوء على فجوة كبيرة بين النماذج المملوكة الرائدة والأنظمة مفتوحة المصدر الحالية.

ب. تحليل أوضاع الفشل

عدم كفاية الإدراك الزمني: تفشل النماذج في تتبع العمليات المتسلسلة الكثيفة. عندما يتم استبدال الفيديوهات بملخصات نصية ("vid2txt")، يقفز الأداء بشكل حاد (على سبيل المثال، من 11.5% إلى 69.4% لنموذج Seed1.5-VL)، مما يثبت أن العائق هو التتبع البصري وليس مجرد منطق الاستدلال.
الاستدلال المحدود متعدد الخطوات: تفشل النماذج غير "المفكرة" في ربط الاستنتاجات. تفعيل أوضاع "التفكير" يحسن الأداء، ولكن فقط إذا استطاع النموذج أولاً إدراك التفاصيل البصرية بشكل صحيح.

ج. توسيع نطاق وقت الاختبار والاعتماد البصري

ميزانية التفكير (Thinking Budget): زيادة "ميزانية التفكير" (حد التوكنات للاستدلال) تحقق مكاسب ضئيلة (<2.5%) في المعايسات الحالية (Video-MME، TempCompass) ولكنها توفر زيادة بنسبة ~9% في VIDEOREASONBENCH. هذا يؤكد أن سلسلة التفكير الممتدة (CoT) ضرورية فقط للمهام التي تتطلب استدلالاً عميقاً.
الاعتماد البصري: يؤدي إزالة المدخلات البصرية (قطع 50% من الإطارات أو استخدام إطارات مفردة) إلى انخفاض كارثي في الأداء في VIDEOREASONBENK (على سبيل المثال، انخفاض بنسبة 55.5% عند قطع 50%، وانخفاض بنسبة 98.2% عند استخدام إطار واحد)، بينما تظهر المعايسات الحالية انخفاضات أصغر بكثير (<10%). يثبت هذا أن VIDEOREASONBENCH بصري المركز بشكل صارم.

5. المساهمات الرئيسية

معيار جديد: تقديم VIDEOREASONBENCH، وهو أول معيار مصمم خصيصاً لتقييم الاستدلال المعقد البصري المركزي مع ثلاثة مستويات تصاعدية (الاستدعاء، الاستنتاج، التنبؤ).
النتائج التجريبية: كشفت أن معظم نماذج MLLM المتطورة (بما في ذلك نماذج التفكير) تفشل بشكل كبير في الاستدلال البصري المعقد، حيث تسجل معظمها أقل من 10%. Gemini-2.5-Pro هو الوحيد الذي أظهر كفاءة ملحوظة.
الرؤية حول CoT: أثبتت أن سلسلة التفكير الممتدة (CoT) غير فعالة في معايسات الفيديو القياسية ولكنها حاسمة لمهام الاستدلال البصري المعقد.
الضرورة البصرية: أثبتت أن الاستدلال البصري المعقد يعتمد بشدة على الإدراك البصري الدقيق، حيث يؤدي إزالة السياق البصري إلى انهيار الأداء بالكامل تقريباً.

6. الأهمية

تتحدى هذه الورقة المجتمع للانتقال لما وراء "الاستعلام القائم على المعرفة" للفيديو. إنها تؤكد أن الاستدلال الحقيقي للفيديو يتطلب من النماذج الحفاظ على ذاكرة بصرية دقيقة لتحولات الحالة وإجراء استدلال منطقي متعدد الخطوات في آن واحد. يعمل هذا المعيار كاختبار جهد صارم لنماذج MLLM المستقبلية، مشيراً إلى أن النماذج الحالية تفتقر إلى الإدراك الزمني الدقيق وتكامل الاستدلال العميق اللازمين للتعامل مع البيئات البصرية الديناميكية والمتغيرة الحالة. تشير النتائج إلى أن التقدم المستقبلي في فهم الفيديو سيعتمد على تحسين آليات التتبع البصري والقدرة على استخدام سلاسل الاستدلال الممتدة بفعالية.