RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees

ملخص تقني لورقة بحثية: "RefereeBench: هل نماذج اللغة متعددة الوسائط للفيديو جاهزة لتكون حكاماً رياضيين متعددين؟"

1. بيان المشكلة

بينما أظهرت نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في فهم الفيديو العام، إلا أن قدرتها على اتخاذ قرارات متخصصة قائمة على القواعد في البيئات عالية المخاطر لا تزال غير مستكشفة. يُعد التحكيم الرياضي الآلي مجال تطبيق حرج يتطلب ما هو أكثر من مجرد التعرف على الأفعال؛ فهو يتطلب:

• تطبيق القواعد: تحديد ما إذا كان فعل معين ينتهك اللوائح الخاصة بالرياضة.
• التأصيل الزمني (Temporal Grounding): تحديد اللحظة الدقيقة التي يحدث فيها الانتهاك.
• إدراك الكيانات: تحديد اللاعبين المعنيين وحالاتهم.
• الاستنتاج (Reasoning): التمييز بين الأحداث المتشابهة بصرياً ولكنها متباينة قانونياً (مثل الالتحام الجسدي القانوني مقابل الخطأ/الفاول).

تركز الاختبارات المرجعية الحالية على رصد الأفعال، أو توليد التعليقات، أو الأسئلة والأجوبة الرياضية العامة، وغالباً ما تكون محدودة برياضة واحدة (عادةً كرة القدم) أو تفتقر إلى النطاق الكامل للمنطق التحكيمي. هناك نقص في وجود اختبار مرجعي شامل لتقييم ما إذا كانت نماذج MLLMs الحالية يمكنها العمل كحكام موثوقين في رياضات متعددة.

2. المنهجية: بناء RefereeBench

قدم المؤلفون RefereeBench، وهو أول اختبار مرجعي واسع النطاق مخصص للتحكيم الآلي في رياضات متعددة. تضمنت عملية البناء ثلاث مراحل صارمة:

• جمع البيانات وتنسيقها:

  • النطاق: يغطي 11 رياضة مختلفة (كرة القدم، كرة السلة، الكرة الطائرة، التنس، تنس الطاولة، الريشة الطائرة، كرة اليد، الهوكي الميداني، هوكي الجليد، كرة الماء، تزلج السرعة على المسارات القصيرة).
  • المصدر: 925 فيديو لمباريات حقيقية منسقة (بمتوسط إجمالي ~37 ثانية) تم الحصول عليها من YouTube والمنصات الرسمية.
  • التصفية: تمت معالجة اللقطات الخام باستخدام ASR (WhisperX) ومطابقة الكلمات المفتاحية لتحديد حوادث التحكيم، متبوعة بمراجعة بشرية صارمة لاستبعاد النتائج الإيجابية الكاذبة وضمان سياق المباراة المستمر.

• التعليق التوضيحي من قبل الخبراء:

  • المعلِّمون: حوالي 30 حكماً وطنياً معتمداً يتمتعون بكفاءة عالية في اللغة الإنجليزية.
  • العملية: عملية تعليق من مرحلتين. أولاً، استخرج الحكام بيانات وصفية مهيكلة (وجود الخطأ، نوعه، المبرر، العقوبة، الطوابع الزمنية، الكيانات). ثانياً، قاموا بتوليد 6,475 زوجاً من الأسئلة والأجوبة متعددة الخيارات بناءً على هذه البيانات الوصفية.
  • أنواع الأسئلة: يقيم الاختبار المرجعي سبعة أنواع من الأسئلة عبر خمسة أبعاد:
    1. وجود الخطأ: هل يوجد انتهاك؟
    2. التصنيف: ما هو نوع الخطأ؟ ما هو نوع العقوبة؟
    3. الاستنتاج: لماذا يعتبر هذا خطأ؟ ما هو الأساس القانوني للقاعدة؟
    4. إدراك الكيانات: من هو الطرف المعني؟
    5. التأصيل الزمني: متى وقع الحادث؟

• ضبط الجودة:

  • التحقق المتقاطع: تعليق توضيحي بنظام التعمية المزدوجة مع تحكيم من كبار الحكام لحسم النزاعات.
  • تخفيف الانحياز: تم إجراء اختبار "أعمى" للنصوص فقط للتأكد من أن الأسئلة لا يمكن الإجابة عليها عبر الاختصارات اللغوية دون أدلة بصرية (انخفضت دقة النموذج إلى أقل من 30% في وضع النص فقط).

3. المساهمات الرئيسية

1. اختبار RefereeBench المرجعي: مجموعة بيانات جديدة واسعة النطاق تغطي 11 رياضة مع 6,475 زوجاً من الأسئلة والأجوبة المعلقة من قبل خبراء، وتغطي الطيف الكامل للمنطق التحكيمي (الوجود، التصنيف، الاستنتاج، الإدراك، التأصيل).
2. بيانات عالية الجودة من الخبراء: على عكس مجموعات البيانات السابقة، تم التعليق على هذه البيانات بالكامل من قبل حكام معتمدين، مما يضمن توافق "الحقيقة الأرضية" (Ground Truth) مع معايير التحكيم الأصلية والأدلة متعددة الوسائط (بما في ذلك الصوت وإعادة العرض).
3. تقييم شامل: أول تقييم منهجي لنماذج MLLMs المغلقة (مثل GPT-5، Gemini-3، Claude) والمفتوحة المصدر (مثل Qwen3-VL، VideoLLaMA3) في المهمة المحددة لاتخاذ القرارات الرياضية القائمة على القواعد.

4. النتائج التجريبية

قيم المؤلفون أحدث النماذج على RefereeBench، مما كشف عن فجوات كبيرة بين قدرات الذكاء الاصطنا الحالي ومستوى البشر في التحكيم:

• الأداء العام:

  • أفضل نموذج مغلق المصدر: حقق Doubao-Seed-1.8 أعلى دقة بنسبة ~61%، يليه عن قرب Gemini-3-Flash و Gemini-3-Pro (بنسبة ~60%).
  • أفضل نموذج مفتوح المصدر: وصل Qwen3-VL إلى 47% فقط.
  • الاستنتاج: حتى أقوى النماذ بعيدة كل البعد عن كونها حكاماً موثوقين (دقة 60% غير كافية لاتخاذ القرارات عالية المخاطر).

• تحليل القدرات:

  • نقاط القوة: تؤدي النماذج بشكل جيد نسبياً في وجود الخطأ (اكتشاف ما إذا كان قد حدث حدث ما) وإدراك الكيانات (تحديد اللاعبين).
  • نقاط الضعف: تعاني النماذج بشكل كبير في الاستنتاج (تطبيق القواعد) والتأصيل الزمني (تحديد اللحظة بدقة). على سبيل المثال، غالباً ما تحوم دقة الاستنتاج حول 40-50%، ودقة التأصيل غالباً ما تكون أقل من 50%.

• النتائج الرئيسية:

  • الصوت أمر بالغ الأهمية: أدى إضافة المدخلات الصوتية إلى تحسين الأداء بشكل كبير (على سبيل المثال، قفز Gemini-3-Flash من 60.6% إلى 76.5%)، مما يثبت أن التحكيم بطبيعته متعدد الوسائط.
  • الإفراط في احتساب الأخطاء: تظهر النماذج انحيازاً قوياً نحو "الإفراط في التحكيم"، حيث تحدد الأخطاء بشكل متكرر في المقاطع العادية، خاصة عند استخدام صياغة توحي بوجود خطأ.
  • فجوة المعرفة: أظهرت التقييمات النصية فقط على امتحانات الحكام المحترفين أن النماذج تمتلك معرفة جزئية بالقواعد ولكنها تفشل في دمجها مع الأدلة البصرية بفعالية.
  • تباين الرياضات: يختلف الأداء بشكل هائل عبر الرياضات؛ فالنماذج أفضل في كرة القدم وهوكي الجليد ولكنها تعاني في الريشة الطائرة وكرة الماء، مما يشير إلى ضعف التعميم عبر الرياضات المختلفة.

5. الأهمية والتوجهات المستقبلية

• الذكاء الاصطناعي الموثوق: تسلط الورقة الضوء على أن نماذج MLLMs الحالية ليست جاهزة بعد للنشر في العالم الحقيقي كحكام مستقلين بسبب عدم قدرتها على تطبيق القواعد باستمرار وتعرضها للانحياز.
• الفجوة البحثية: حددت الورقة أن العائق ليس مجرد الإدراك، بل هو دمج المعرفة بالمجال مع التأصيل متعدد الوسائط.
• العمل المستقبلي: يقترح المؤلفون أن التقدم المستقبلي يتطلب:
  • طرق قائمة على التدريب: سلسلة التفكير البصرية (Visual Chain-of-Thought) والإشراف القائم على القواعد.
  • تحسين تقنية RAG: الاسترجاء الديناميكي لكتب القواعد المرتبط ارتباطاً وثيقاً بالأدلة البصرية، بدلاً من الحقن النصي الساذج.
  • خطوط معالجة وكيلية (Agentic Pipelines): تفكيك المهمة إلى مراحل: الكشف، توليد المرشحين، والتحقق من القواعد.

باختصار، يعمل RefereeBench كاختبار جهد صارم، يثبت أنه بينما تتحسن نماذج MLLMs، فإنها تفتقر حالياً إلى المتانة، والالتزام بالقواعد، والدقة الزمنية المطلوبة للعمل كمسؤولين رياضيين موثوقين.