ملخص تقني: فخ التردد المنخفض: فشل نماذج الفيديو واللغة في عمليات الجرد البسيطة للأحداث

بيان المشكلة

غالبًا ما تخلط معايير قياس الفيديو في العالم الحقيقي لنماذج اللغة والرؤية (VLMs) بين متغيرات متعددة — عدد الأحداث، ومعدلها، ومدتها، والتعقيد البصري، والدلالات — مما يجعل من الصعب عزل أنماط الفشل المحددة. وبينما توفر معايير القياس البرمجية الحالية تحكمًا أفضل، إلا أنها عادةً ما تكتفي بتقييم الإجابة النهائية فقط، وتفشل في التدقيق فيما إذا كان النموذج قد أغفل أحداثًا، أو أخطأ في توقيتها، أو فقد تتبع تسلسل ما، أو أخطأ فقط أثناء عملية التجميع. وبناءً على ذلك، يمكن لمقاييس دقة الإجابة النهائية أن تخفي ضعف الوصول الزمني أو التفكير الهش، مما يحجب حقيقة أن النماذج قد تفشل في عمليات الجرد الأساسية للأحداث مع زيادة الحمل الزمني.

المنهجية

قدم المؤلفون التوصيف البارامتري القائم على التتبع (trace-grounded parametric profiling)، وهو إطار تقييم محكوم مصمم لعزل قدرات الاستدلال الزمني عن التعقيد البري.

فضاء المهام المحكوم

تستخدم الدراسة فيديوهات يتم إنتاجها برمجياً باستخدام محرك الرسوم المتحركة Manim لضمان التحكم الدقيق في المسارات المكانية والتوقيت. تم تقييم ثلاثة مجالات متميزة:

1. الكرة المرتدة (Bounce Ball): عدّ ملامسات الكرة للجدار عند ارتدادها.
2. الوميض (Blinking): عدّ النبضات الظاهرة لكائن بصري (أحداث عابرة).
3. آلة الحالة (State Machine): عدّ انتقالات الحالة الفئوية (أحداث مستمرة).

المعلمات التجريبية

يقوم الإطار بتغيير معملين متعامدين بشكل منهجي مع تثبيت الرندرة (rendering)، والدلالات، وقواعد المهمة:

• عدد الأحداث ($N$): يتراوح من 0 إلى 12.
• تردد الأحداث ($F$): يتراوح من 0.5 هرتز إلى 4.0 هرتز.
• المدة: جميع المقاطع ثابتة عند 24 ثانية. يمتد تسلسل الأحداث النشط لحوالي $N/F$ ثانية، بينما تملأ الإطارات الثابتة بقية المدة.

الحقيقة الأرضية والمقاييس

يتم إقران كل فيديو بـ تتبع حقيقي قابل للتنفيذ (executable ground-truth trace) يحتوي على الطوابع الزمنية للأحداث، وتغيرات الحالة، والعد التراكمي. وهذا يسمح بتقييم دقيق يتجاوز مجرد دقة الإجابة النهائية البسيطة. تشمل المقاييس الرئيسية ما يلي:

• المطابقة التامة للإجابة النهائية (Acc): ما إذا كان العدد المذكور يساوي $N$.
• دقة التتبع ($P$) والاستدعاء ($R$): التوافق بين الطوابع الزمنية التي يبلغ عنها النموذج والحقيقة الأرضية ضمن نافذة نسبية للمعدل $\delta(F) = 1/(2F)$.
• نسبة الملاحظة البصرية (VOR): نسبة الأحداث المبلغ عنها إلى الأحداث الحقيقية ($M/N$)، مما يشير إلى الإفراط في التبليغ أو نقص التبليغ.
• معدل الصحة العرضية (ACR): الحالات التي يكون فيها العدد النهائي صحيحاً رغم وجود تتبع منخفض الدقة.
• معدل فشل الاستدلال (RFR): الحالات التي يكون فيها التتبع أميناً (F1 مرتفع) ولكن العدد النهائي غير صحيح.

النماذج التي تم تقييمها

يركز التقييم الأساسي على Gemini 3.6 Flash (الذي يستقبل مدخلات بمعدل ~1 إطار في الثانية) و Qwen3-VL-235B (الذي يستقبل 2 إطار في الثانية). وتشمل فحوصات التحقق الإضافية عبر الأنظمة المختلفة مختلف أحجام Qwen3-VL و InternVL3.5.

المساهمات الرئيسية

1. إطار تقييم محكوم: يستبدل درجات التجميع الفردية بأسطح قدرات مرسومة عبر عدد الأحداث ($N$) والتردد ($F$).
2. معيار قائم على التتبع: يدقق في الأحداث التي يبلغ عنها النموذج مقابل الحقيقة الأرضية القابلة للتنفيذ، ويميز بين الأعداد الصحيحة غير المدعومة وبين استعادة الأحداث الأمينة.
3. تدخلات مستهدفة: يشخص مصادر الخطأ عبر أخذ عينات أكثر كثافة، وإطارات مفتاحية متمحورة حول الحدث (دليل أوراكل)، واستراتيجيات تحفيز متنوعة (مثل سلسلة الأفكام CoT، والتتبع المهيكل).
4. النقل إلى الفيديو الطبيعي: يتحقق مما إذا كانت أنماط الفشل الملاحظة في البيئات المحكومة تستمر في فيديوهات الأحداث المتكررة في العالم الحقيقي (مجموعة بيانات TransRAC).

النتائج

الفشل الزمني المرحلي

تكشف النتائج عن نمط فشل "مرحلي" يعتمد على تمثيل الحدث (مستمر مقابل عابر):

• الأحداث المستمرة (آلة الحالة): يقوم Gemini 3.6 Flash بعدّ موثوق حتى $N=12$ عند 0.5 هرتز و 1.0 هرتز. تتدهور الأداء مع زيادة التردد، حيث ينخفض إلى $N=2$ عند 1.5 هرتز.
• الأحداث العابرة (الوميض): لا يوجد منطقة إيجابية موثوقة للعد؛ يفشل النموذج في الوصول باستمرار إلى الأحداث العابرة حتى عند انخفاض الأعداد والترددات.
• نظام الحمل العالي: في ظروف العدد العالي والتردد العالي، 0.2% فقط من الأعداد النهائية صحيحة، ويستعيد النموذج 18.1% فقط من الأحداث الحقيقية.

دور الوصول البصري مقابل الاستدلال

• كثافة أخذ العينات: أدى رفع معدل أخذ العينات من 1 إطار في الثانية إلى 4 إطارات في الثانية إلى تحسين دقة "الكرة المرتدة" من 19.6% إلى 29.3%. ومع ذلك، اتفقت التسلسلات المبلغ عنها مع الحقيقة الأرضية بنسبة 3.7% فقط. يشير هذا إلى أن الإطارات الإضافية يمكن أن تضخم الدرجات النهائية (عبر الصحة العرضية) دون إنتاج استعادة أمينة للأحداث.
• الإطارات المفتاحية (أوراكل): توفير إطارات مفتاحية متمحورة حول الحدث (إزالة عبء البحث) رفع الدقة إلى 68.6% عندما $N \le 5$، لكن الأداء انهار عندما $N \ge 6$. يشير هذا إلى أنه بينما يمثل الوصول البصري عائقاً، فإن الاحتفاظ بالتسلسل وتجميعه يظلان من العوامل المحددة حتى عندما تكون الأحداث محددة مكانياً بشكل مثالي.
• استراتيجيات التحفيز: قدمت تقنيات التحفيز المختلفة (الإجابة المباشرة، التتبع المهيكل، تعدد الأدوار، سلسلة الأفكار، تحفيز الدور) مكاسب محدودة للغاية ولم تنجح في توسيع منطقة التشغيل الموثوقة.

التشخيصات على مستوى التتبع

• الحمل المنخفض: غالباً ما تظهر النماذج إفراطاً في التبليغ (VOR > 1) وصحة عرضية، حيث يكون العدد النهائي صحيحاً رغم فقدان أو هلوسة الطوابع الزمنية.
• الحمل العالي: يتحول نمط الفشل السائد إلى نقص في التبليغ (VOR < 1) والإغفال. يبلغ النموذج عن عدد أقل من الأحداث التي تحدث، وغالباً ما تكون الأحداث المبلغ عنها دقيقة زمنياً ولكنها غير مكتملة.
• أخطاء التجميع: يشير معدل فشل الاستدلال (RFR) غير الصفري إلى أنه حتى عندما ينجح النموذج في استعادة تسلسل الأحداث (F1 عالٍ للتتبع)، فإنه قد يفشل أحياناً في تجميعها بشكل صحيح في عدد نهائي.

النقل إلى الفيديو الطبيعي

يؤكد التقييم على مجموعة بيانات TransRAC أن تركيز النجاح عند أعداد الأحداث المنخفضة ($N \le 4$) يستمر في الفيديوهات الطبيعية التي تحتوي على حركة كاميرا وازدحام، مما يعزز أن نمط الفشل قوي عبر المجالات المختلفة.

الأهمية والادعاءات

تجادل الورقة بأن دقة الإجابة النهائية وحدها تسيء توصيف الاستدلال الزمني. يمكن للنموذج أن يصل إلى العدد الصحيح عن طريق التخمين أو تجميع الأحداث المهلوسة، مما يحجب عدم القدرة الجوهرية على تتبع التسلسلات الزمنية.

يدعي المؤلفون ما يلي:

1. تمثيل الحدث مهم: سواء كان الحدث مستمراً أو عابراً، فإن ذلك يحدد الوصول الأولي للأدلة.
2. الوصول البصري ضروري ولكنه غير كافٍ: رفع كثافة الإطارات أو توفير إطارات مفتاحية (أوراكل) يحسن الأداء ولكنه لا يلغي الحد المفروض بطول التسلسل والاحتفاظ به.
3. الفشل المرحلي: تتضمن عملية الفشل مراحل متميزة: أولاً، الوصول إلى الحدث؛ ثانياً، الاحتفاظ بالتسلسل؛ وثالثاً، تجميع العدد.
4. تحول التقييم: ينقل التوصيف القائم على التتبع تقييم الفيديو من مقاييس التجميع إلى تشخيص مفصل لـ أين يفشل الاستدلال الزمني (الوصول مقابل الاحتفاظ مقابل التجميع) وما إذا كانت الأدلة المبلغ عنها تدعم بالفعل الإجابة النهائية.

تخلص الدراسة إلى أن نماذج VLMs الحالية تعاني في عمليات الجرد الأساسية للأحداث مع زيادة الحمل الزمني، وهو قصور يستمر حتى مع استخدام التحفيز المتقدم أو زيادة أخذ العينات البصرية.