PushupBench: Your VLM is not good at counting pushups

ملخص تقني: "نموذجك (VLM) ليس جيداً في عدّ تمارين الضغط"

1. بيان المشكلة

بينما أصبحت نماذج الرؤية واللغة الكبيرة (VLMs) بارعة في الفهم الدلالي للفيديو (مثل تحديد ماذا يحدث)، إلا أنها تعاني جوهرياً من صعوبة في الاستدلال الزمني الدقيق (مثل تحديد كم عدد المرات التي يتكرر فيها فعل ما).

حدد المؤلفون أن عدّ التكرارات هو اختبار تشخيصي حاسم لهذا القصور. فخلافاً للتعرف على الأفعال، الذي يمكن استنتاجه غالباً من الإطارات الثابتة، يتطلب العدّ:

• تتبع تغيرات الحالة عبر الزمن.
• اكتشاف حدود الحركة الدقيقة.
• الحفاظ على عدّ متسق رغم اختلاف السرعات وحركة الكاميرا.

غالباً ما تكون المعايكات الحالية (مثل UCFRep أو Countix) قصيرة جداً لاختبار الاستدلال طويل المدى، وتميل نماذج (VLMs) الحالية إلى استغلال إحصائيات مجموعات البيانات (مثل التنبؤ بالرقم الأكثر شيوعاً، مثل "10") بدلاً من إجراء تتبع زمني فعلي.

2. المنهجية

أ. بناء PushupBench:
قدم المؤلفون PushupBench، وهو معيار جديد يتكون من 446 مقطع فيديو طويل المدى (بمتوسط 36.7 ثانية، ويتراوح بين 22 ثانية و117 ثانية). لضمان قدر عالٍ من التعميم، تم تنسيق البيانات من 11 صانع محتوى لياقة بدنية متنوع من 10 دول، تغطي 375 نوعاً فريداً من التمارين. التوصيفات دقيقة وعلى مستوى الدورة الواحدة، وتتضمن تسميات "ضبابية" للحدود الغامضة.

ب. تنسيق البيانات والضبط الدقيق باستخدام التعلم التعزيزي (RL):
استخدم الباحثون التعلم التعزيزي (RL) عبر خوارزمية DAPO (وهي امتداد لـ GRPO) لضبط نموذج Qwen3-VL-4B-Thinking. وكان الجزء الحاسم في منهجيتهم هو التنظيف الصارم لبيانات التدريب لمنع "اختراق المكافأة" (Reward Hacking):

• فلتر الدقة الزمنية: قاموا بإزالة مجموعة بيانات OVR-Kinetics لأن معدل إطاراتها المنخفض (5 إطارات في الثانية) أدى إلى وجود أقل من 3 إطارات لكل تكرار، مما جعل من المستحيل على النموذج تعلم دورات الحركة.
• الحد من انهيار النمط (Mode Collapse): قاموا بإزالة جميع العينات التي كان فيها الرقم الحقيقي هو 10 تماماً، لمنع النموذج من مجرد تعلم إخراج الرقم الأكثر تكراراً في مجموعة البيانات.
• إزالة النصوص الظاهرة على الشاشة: قاموا بتعديل أو إزالة الفيديوهات التي تحتوي على عدادات رقمية، أو مؤقتات، أو نصوص تراكبية لضمان تعلم النموذج من الحركة بدلاً من التعرف الضوئي على الحروف (OCR).
• البيانات النهائية: أدى ذلك إلى تقليص مجموعة التدريب من 968 عينة مشوشة إلى 391 عينة عالية الجودة ومنسقة.

ج. مقاييس التقييم:
لمنع النماذج من الظهور بمظهر الناجح عبر الاستغلال الإحصائي، قدم المؤلفون معامل التحديد $R^2$ إلى جانب "المطابقة التامة" (Exact Match) و"متوسط الخطأ المطلق" (MAE). يشير $R^2$ الإيجابي إلى أن تنبؤات النموذج تتناسب فعلياً مع الحقيقة الأرضية، بينما يكشف $R^2$ السلبي عن نموذج انهار إلى التنبؤ بقيمة ثابتة.

3. المساهمات الرئيسية

1. PushupBench: معيار صارم وطويل المدى لتقييم عدّ التكرارات الزمني.
2. تحديد أوجه الفشل: توثيق كيفية استغلال نماذج (VLMs) لـ "الطرق المختصرة" مثل النصوص على الشاشة، واستنتاج عدد الإطارات، وأنماط مجموعة البيانات.
3. نهج التعلم التعزيزي المرتكز على البيانات: إثبات أنه بالنسبة للاستدلال الزمني، فإن جودة البيانات أهم من كميتها (391 عينة منسقة تفوقت على 968 عينة مشوشة).
4. العد كفعل وسيط: دليل على أن التدريب على مهمة عدّ ضيقة يحسن فهم الفيديو العام.

4. النتائج

• أداء المعيار: تعاني النماذج الرائدة بشكل كبير. حقق Gemini 3 Flash أعلى دقة مطابقة بنسبة 42.1%، بينما سجلت النماذج مفتوحة المصدر مثل Qwen3-VL-4B درجات أقل بكثير (~8.9%).
• التعميم (تأثير "الوسيط"): أدى الضبط الدقيق لنموذج Qwen3-VL-4B باستخدام 391 عينة عدّ فقط إلى تحسينات ملموسة في معايير الفيديو غير المرتبطة بها:
  • MVBench: +2.45
  • PerceptionTest: +1.23
  • TVBench: +2.75
• الزمني مقابل المكاني: من المثير للاهتمام أنه بينما تحسنت المهام الفرعية للاستدلال الزمني، انخفضت مهام عدّ الأشياء المكانية، مما يشير إلى أن النموذج قد حسن تتبع الحالة الزمنية خصيصاً وليس العد البصري العام.

5. الأهمية

ينقل هذا البحث التركيز في تقييم نماذج (VLM) للفيديو من "ما الموجود في الفيديو" إلى "كيف تتغير الأشياء بمرور الوقت". إنه يوفر خارطة طريق لتحسين الاستدلال الزمني من خلال معاملة العد ليس كمجرد مهمة حسابية بسيطة، بل كمتطلب أساسي لفهم الحركة المستمرة. ويشير الاكتشاف بأن مجموعة بيانات صغيرة وعالية الجودة يمكن أن تحسن ذكاء الفيديو الشامل إلى أن الاستدلال الزمني هو "عنق زجاجة" في القدرات، وبمجرد فك شفرته، فإنه يعزز النموذج العالمي الشامل.