MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos

إليك ملخص تقني مفصل لورقة البحث بعنوان "MMOU: معيار ضخم للفهم والاستدلال الشامل متعدد المهام للنماذج متعددة الوسائط في الفيديوهات الطويلة والمعقدة في العالم الحقيقي."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في المهام البصرية أو الصوتية المنعزلة، إلا أن قدرتها على إجراء الاستدلال المشترك عبر الإشارات الشاملة لجميع الوسائط (البصرية، والصوتية، والنصية) في فيديوهات طويلة ومعقدة من العالم الحقيقي لا تزال غير مستكشفة إلى حد كبير.

• القيود الحالية: تركز المعايير الحالية غالبًا على المقاطع القصيرة، وتتجاهل الصوت، أو تعامل الصوت كعنصر ثانوي، أو تعتمد على الاستدلال أحادي الوسيط. وهي تفشل في استيعاب تحديات التبعيات الزمنية طويلة المدى والترابط الوثيق المطلوب بين التدفقات الصوتية والبصرية في سيناريوهات العالم الحقيقي.
• الفجوة: هناك نقص في أطر التقييم المنهجية واسعة النطاق التي تختبر ما إذا كانت النماذج يمكنها دمج الأدلة عبر الوسائط والزمن لحل مشكلات الاستدلال المعقدة، مما يؤدي إلى فجوة بين أداء النموذج والفهم بمستوى البشر.

2. المنهجية: معيار MMOU

يقدم المؤلفون MMOU، وهو معيار شامل مصمم لتقييم الإدراك والاستدلال المتقدم متعدد الوسائط تحت ظروف واقعية.

بناء مجموعة البيانات

• النطاق: 15,000 سؤال اختيار من متعدد (MCQs) منسقة بعناية مقترنة بـ 9,038 فيديو من فيديوهات الويب الحقيقية.
• خصائص الفيديو:
  • المدة: فيديوهات طويلة المدى تتراوح من 7 ثوانٍ إلى أكثر من ساعتين (المتوسط: ~711 ثانية / 12 دقيقة).
  • المجالات: 10 فئات رئيسية (مثل المحاضرات الأكاديمية، الرياضة، الأخبار، الموسيقى، الحياة اليومية) و36 فئة فرعية دقيقة.
  • المحتوى: محتوى طبيعي غير مكتوب يتميز بمحاذاة زمنية ودلالية قوية بين التدفقات الصوتية والبصرية.
• عملية التوسيم (Annotation):
  • الخبراء البشريون: قام 11 موسمًا مدربًا باحترافية (من خلفيات في اللغويات، والعلوم والتكنولوجيا، والصحافة) بإنشاء البيانات.
  • سير العمل: شاهد الموسمون فيديوهات كاملة، وصاغوا أسئلة مفتوحة تتطلب فهمًا مشتركًا للصوت والصورة، ووضعوا طوابع زمنية للأدلة.
  • توليد المشتتات: تم تحويل الأسئلة إلى أسئلة اختيار من متعدد بـ 10 خيارات (خيار واحد صحيح + 9 مشتتات). تم توليد المشتتات باستخدام نماذج لغوية كبيرة (GPT-5.2) لتشمل مشتتات دلالية "صعبة" وخيارات خارج السياق. يتضمن 13% من الأسئلة خيار "لا شيء مما سبق" لمنع مطابقة الأنماط.
  • ضبط الجودة: أدت عملية تصفية صارمة إلى إزالة الأسئلة الغامضة أو التي يمكن حلها بوسيط واحد فقط.

تصنيف المهارات

يقيم MMOU 13 فئة مهارية أساسية، تتطلب جميعها دمج الإشارات الصوتية والبصرية:

1. الفهم الزمني: الاستدلال حول ترتيب الأحداث وتطورها.
2. فهم المشهد الفرعي: تحديد أجزاء محددة داخل الفيديوهات الطويلة.
3. الاستدلال الشامل للفيديو: الفهم العالمي للموضوع أو الهدف.
4. الاستنتاج والسياق: استنباط النوايا أو الأسباب غير المصرح بها.
5. الإبرة في كومة القش (Needle-in-the-Haystack): تحديد لحظات محددة في سياقات طويلة.
6. التأسيس المرجعي: ربط الإشارات الصوتية بالكيانات البصرية (والعكس بالعكس).
7. العد والاستدلال المقارن: التحليل الكمي للأحداث.
8. الاستدلال على تفاعل الأشياء: فهم الأفعال التي تتم على الأشياء بمرور الوقت.
9. الربط السمعي البصري: الاستدلال حول المقاطع المحررة والاستمرارية السردية.
10. تتبع الارتباطات الزائفة: تحديد الأدلة البصرية-السمعية غير البديهية.
11. (بالإضافة إلى 3 أنواع أخرى من الاستدلال محددة في الورقة).

3. المساهمات الرئيسية

1. معيار MMOU: أول معيار واسع النطاق يستهدف تحديدًا الاستدلال طويل المدى ومتعدد الوسائط بـ 15 ألف زوج من الأسئلة والأجوبة و9 آلاف فيديو أكثر، يغطي 13 مهارة استدلالية متميزة.
2. تقييم صارم: تقييم منهجي لأكثر من 20 نموذجًا من أحدث النماذج (سواء مفتوحة المصدر أو مملوكة)، بما في ذلك النماذج متعددة الوسائط (صوت-بصر)، والنماذج أحادية الوسيط (بصرية فقط، صوتية فقط)، ونماذج النص فقط كخطوط أساس.
3. تحليل الفشل العميق: تحديد أنماط الفشل المنهجية، خاصة في الاستدلال طويل الأمد والاحتفاظ بالسياق الزمني، مما يكشف أن النماذج الحالية تعاني حتى مع المهارات الأساسية في الفيديوهات الطويلة.
4. التقييم مفتوح النهاية: بروتوكول تقييم تكميلي يستخدم "النموذج اللغوي كحكم" (LLM-as-a-Judge) (مثل GPT-5 ونسخة مخصصة من Qwen 3.5) لتقييم التوليد الحر، مما يكشف الفجوات بين التعرف في الاختيار من متعدد والفهم الحقيقي.

4. النتائج التجريبية

قيم المؤلفون مجموعة واسعة من النماذج، بما في ذلك Gemini 2.5 Pro، وQwen3-Omni، وOmniVinci، ومختلف خطوط الأساس أحادية الوسيط.

• الأداء العام:

  • الخط المرجعي البشري: دقة 84.3%.
  • أفضل نموذج مغلق المصدر: حقق Gemini 2.5 Pro دقة 64.2%.
  • أفضل نموذج مفتوح المصدر: حقق MiniCPM-o 4.5 (أو نموذج مفتوح رفيع المستوى مشابه) 46.8%.
  • فجوة كبيرة: لا تزال أفضل النماذج أقل بنحو 20 نقطة عن الأداء البشري، مما يشير إلى قيود جوهرية في الاستدلال المشترك.

• الاعتماد على الوسائط:

  • النماذج البصرية فقط: حقق Qwen3-VL-32B دقة 44% فقط، مما يثبت أن الإشارات البصرية وحدها غير كافية.
  • النماذج الصوتية فقط: حقق Audio Flamingo 3 نسبة 17.7%، وحقق Qwen3-Omni (الصوتي فقط) نسبة 35.6%.
  • النماذج النصية فقط: حقق GPT-5.2 نسبة 40.7%، مما يؤكد أن المقدمات اللغوية وحدها لا يمكنها حل هذه المهام.
  • النماذج المتتالية (Cascaded Models): أدت النماذج التي تولد الشروحات أولًا ثم تستنتج (مثل Qwen3-VL + GPT-5) أداءً ضعيفًا (~33%)، مما يشير إلى أن الإدراك المشترك المباشر (End-to-end) ضروري.

• النتائج الخاصة بالمهارات:

  • أدت النماذج أسوأ أداء في مهام العد، والإبرة في كومة القش، والفهم الزمني.
  • الحساسية الزمنية: تنخفض الدقة بشكل كبير مع ظهور الدليل على الإجابة في وقت متأخر من الفيديو (على سبيل المثال، بعد 30 دقيقة)، مما يسلط الض الضوء على مشكلة "الضياع في المنتصف" أو الاحتفاظ بالسياق.

• التقييم مفتوح النهاية مقابل الاختيار من متعدد:

  • كانت درجات التقييم مفتوح النهاية أقل عمومًا من درجات الاختيار من متعدد.
  • غالبًا ما "تعرف" النماذج الإجابة (دقة عالية في الاختيار من متعدد) لكنها تفشل في صياغتها بشكل صحيح في التوليد الحر (انخفاض في الصحة/الاكتمال في التقييم المفتوح)، مما يشير إلى أن أسئلة الاختيار من متعدد قد تبالغ في تقدير الفهم الحقيقي.

5. الأهمية والتأثير

• أداة تشخيصية: يوفر MMOU إطارًا تشخيصيًا حاسمًا لتحديد أين ولماذا تفشل النماذج اللغوية الكبيرة متعددة الوسائط، وتحديدًا في الاستدلال طويل المدى ومتعدد الوسائط.
• اتجاه بحثي: تسلط النتائج الضوء على أن التوسع وحده ليس كافيًا؛ بل تحتاج النماذج المستقبلية إلى بنيات قادرة على الدمج الوثيق بين الصوت والبصر والاستدلال الزمني طويل المدى.
• القابلية للتطبيق في العالم الحقيقي: من خلال التركيز على الفيديوهات الطويلة والمعقدة من العالم الحقيقي، يسد MMOU الفجوة بين المعايட الأكاديمية والتطبيقات العملية في التعليم، وتحليل الوسائط، والتفاعل بين الإنسان والحاسوب.
• السلامة والموثوقية: يكشف المعيار عن أنماط فشل منهجية، مما يؤكد الحاجة إلى تقييم صارم قبل نشر الذكاء الاصطناعي في السيناريوهات عالية الخطورة حيث يمكن أن تؤدي إساءة تفسير المحتوى طويل المدى إلى عواقب واقعية.

في الختام، يضع MMOU معيارًا جديدًا لتقييم الذكاء متعدد الوسائط، موضحًا أنه رغم التقدم السريع، لا تزال النماذج الحالية بعيدة عن تحقيق الاستدلال بمستوى البشر في بيئات الفيديو المعقدة وطويلة المدة ومتعددة الوسائط.