ملخص تقني: TOC-Bench

بيان المشكلة

بينما حققت نماذج اللغات الكبيرة للفيديو (Video-LLMs) تقدماً ملحوظاً في الفهم العام للفيديو، إلا أن قدرتها على الحفاظ على الاتساق الزمني للأجسام (temporal object consistency) لا تزال غير مستكشفة بشكل كافٍ. تركز الاختبارات المرجعية الحالية بشكل أساسي على التعرف على الأحداث، أو فهم الأفعال، أو الاستدلال الزمني العام. ومع ذلك، فهي غالباً ما تعتمد على التسميات التوضيحية على مستوى الفيديو، أو الشرح النصي، أو الأسئلة المكتوبة بشرياً بدلاً من تتبع الأجسام الصريح. وبناءً على ذلك، قد تبالغ التقييمات الحالية في تقدير قدرات الاستدلال الزمني من خلال التغاضي عن حالات الفشل في التماسك الزمني المرتكز على الأجسام.

تحديداً، نادراً ما تقيم الاختبارات المرجعية ما إذا كان النموذج يمكنه الحفاظ باستمرار على هوية، وحالة، واستمرارية زمنية لنفس الجسم عبر:

• الانسداد والاختفاء.
• الظهور مجدداً وتحولات الحالة.
• التفاعلات بين الأجسام المختلفة.

علاوة على ذلك، تشير الدراسات الحديثة إلى أن العديد من أسئلة الفيديو واللغة يمكن حلها عبر "طرق مختصرة" (على سبيل المثال، الاعتماد على إطارات مفردة، أو أولويات لغوية، أو إشارات إطارية غير مرتبة) بدلاً من الاستدلال الزمني الحقيقي. هناك فجوة حرجة في تقييم ما إذا كانت النماذج يمكنها ربط الاستدلال بنماذج محددة من الأجسام عبر الزمن.

المنهجية

بناء TOC-Bench

قدم المؤلفون TOC-Bench، وهو اختبار مرجعي تشخيصي مصمم لتقييم الاتساق الزمني للأجسام. تتضمن عملية بناء الاختبار ثلاث مراحل:

1. تنسيق الفيديو وتوسيم تتبع الأجسام:

   • تُستمد فيديوهات المصدر من أربعة مجموعات بيانات عامة: Charades، وPerception Test، وOVIS، وMOSE.
   • تتبع الأجسام: يقترح نموذج لغوي بصري (Qwen3-VL-8B-Instruct) أجساماً مادية وأشخاصاً متميزين من إطارات مختارة. تُستخدم هذه العبارات الاسمية كمطالبات لنموذج SAM3 لتوليد مسارات للأجسام لكل إطار.
   • اشتقاق الأحداث: يتم اشتقاق الأحداث الزمنية (الظهور، الاختفاء، الانسداد، إعادة الظهور، التفاعل) من مسارات الأجسام المحتفظ بها.
   • ضبط الجودة: يتم إزالة المسارات منخفضة الجودة، أو المجزأة، أو الغامضة. وتعمل خطوة معالجة لاحقة على إصلاح انقسامات المعرفات (ID splits) وتحديد تبدلات المعرفات (ID swaps) لضمان استقرار المسار.

2. بناء وتوليد الأسئلة والأجوبة (QA):

   • وحدات الاستدلال: يتم إنشاء وحدات استدلال مهيكلة من مسارات الأجسام والجداول الزمنية للأحداث، مع تحديد الجسم المستهدف، والحدث، والبعد التشخيصي، والإجابة الصحيحة. تولد هذه الخطوة 547,610 وحدة استدلال.
   • توليد الهياكل (Skeleton Synthesis): يتم تحويل وحدات الاستدلال إلى هياكل أسئلة (تثبيت البنية، والخيارات، والتسميات) تغطي 10 أبعاد تشخيصية و4 صيغ للمهام (الاختيار من متعدد، أزواج العبارات، العد الرقمي، وترتيب الأحداث).
     ما بعد ذلك، يقوم نموذج لغوي كبير (GPT-5.4-mini) بصقل صياغة الهياكل دون تغيير تسميات الإجابات الحتمية أو البيانات الوصفية المهيكلة.
   • حقن الهلوسة: يتم إنشاء متغيرات حيث لا يوجد الموضوع أو الحدث في الفيديو لاختبار قوة مقاومة الهلوسة.

3. التصفية والتحقق:

   • مرشح الضرورة الزمنية ثلاثي الطبقات: للقضاء على الأسئلة التي يمكن حلها عبر طرق مختصرة، يتم تطبيق مرشح ثلاثي الطبقات:
     1. مرشح النص فقط: يزيل العناصر التي يمكن الإجابة عليها من النص وحده.
     2. مرشح الإطار الواحد: يزيل العناصر التي يمكن الإجابة عليها من إطارات فردية.
     3. مرشح خلط الإطارات: يزيل العناصر التي لا تعتمد إجابتها على الترتيب الزمني الأصلي.
   • تقلل هذه العملية عدد المرشحين من 45,527 إلى 17,900 عنصر يعتمد على الزمن.
   • التحقق البشري: تم التحقق من 3,000 عنصر مصفى يدوياً من حيث الوضوح، وصحة الأدلة، وصحة التسميات، مما نتج عنه 2,323 زوجاً من الأسئلة والأجوبة عالية الجودة عبر 1,951 فيديو.

بروتوكول التقييم

• النماذج التي تم تقييمها: تم تقييم 23 نموذجاً ممثلاً لـ Video-LLMs، بما في ذلك الأنظمة مغلقة المصدر (مثل GPT-5.5، وKimi-K2.6)، والنماذج مفتوحة المصدر القياسية (مثل Qwen2.5-VL، وInternVL3)، والمتغيرات القائمة على الاستدلال.
• بروتوكول الإدخال: يتم تقييم النماذج بموجب بروتوكول قائم على الإطارات محكوم (عادةً 32 إطاراً يتم أخذ عينات منها بشكل موحد) لضمان قابلية التكرار وعزل ميزانيات الأدلة البصرية.
• المقاييس: الدقة الإجمالية، والدقة لكل بعد، ودقة تشخيص الهلوسة (HDA) للمتغيرات التي تتضمن موضوعات أو أحداثاً غير موجودة.

المساهمات الرئيسية

1. تعريف الاتساق الزمني للأجسام: يحدد البحث الاتساق الزمني للأجسام كقدرة تقييمية مخصصة ومتميزة عن الاستدلال العام على مستوى الحدث أو مستوى الفيديو. ويركز على الحفاظ على هوية الجسم، وحالته، واستمراريته عبر الزمن.
2. مجموعة بيانات TOC-Bench: اختبار مرجعي تشخيصي يعتمد على تتبع الأجسام ويحتوي على 2,323 زوجاً من الأسئلة والأجوبة التي تم التحقق منها بشرياً. على عكس الاختبارات المرجعية السابقة، يتم ربط كل موضوع مستعلم عنه بمسار جسم لكل إطار، وتُشتق الإجابات من جداول زمنية مهيكلة للأجسام والأحداث.
3. البروتوكول التشخيصي:
   • تصفية الضرورة الزمنية: بروتوكول صارم يزيل 60.7% من أزواج الأسئلة والأجوبة المرشحة لضمان أن الأسئلة تتطلب أدلة بصرية مرتبة زمنياً.
   • الوعي بالهلوسة: دمج المتغيرات التي تختبر ما إذا كانت النماذج يمكنها رفض الأجسام أو الأحداث المعقولة ولكن غير المدعومة بصرياً.
4. التقييم الشامل: يغطي TOC-Bench 10 أبعاد تشخيصية عبر ثلاثة مستويات من الصعوبة (الجسم الواحد، الاتساق عبر الزمن، الاتساق بين الأجسام) ويدعم أربع صيغ مهام حتمية.

النتائج التجريبية

تكشف التجارب على 23 نموذجاً من نماذج Video-LLMs أن الاتساق الزمني للأجسام لا يزال يمثل تحدياً كبيراً لم يُحل بعد:

• الفجوة بين الإنسان والنموذج: حقق المقيّمون البشريون دقة إجمالية بلغت 89.3%، بينما وصل أفضل النماذح أداءً (GPT-5.5) إلى 47.1% فقط.
• نقاط الضعف المحددة: تظهر النماذج نقاط ضعف جوهرية في:
  • عدّ الأحداث: (على سبيل المثال، سجل GPT-5.5 نسبة 18.3% في عد الأحداث مقابل 68.9% في وجود الحدث).
  • ترتيب الأحداث: (على سبيل المثال، دقة 24.8%).
  • الاستدلال الحساس للهوية: صعوبة في الحفاظ على الهوية عبر الانسداد وإعادة الظهور.
  • التحقق من الهلوسة: غالباً ما تفترض النماذج وجود أجسام أو أحداث ليست موجودة في الفيديو.
• اتجاهات النماذج:
  • تتفوق النماذج مغلقة المصدر عموماً على النماذج مفتوحة المصدر، لكن الفجوة مع الأداء البشري لا تزال كبيرة.
  • تظهر متغيرات "التفكير" أو الاستدلال (مثل Qwen3-VL-8B-Thinking) تحسينات انتقائية ولكنها لا تتفوق باستمرار على النماذج القياسية، مما يشير إلى أن مسارات الاستدلال الأطول لا يمكنها تعويض نقص الأدلة الزمنية على مستوى الأجسام في التمثيل البصري.
  • تتفاوت الأداء بشكل كبير عبر الأبعاد؛ حيث تعتبر أسئلة "أزواج العبارات" أسهل عموماً من "العد الرقمي" أو "ترتيب الأحداث".

الأهمية والادعاءات

يدعي البحث أن الاتساق الزمني للأجسام هو عقبة رئيسية أمام نماذج Video-LLMs الحالية. وتشير النتائج إلى أن الأداء القوي في اختبارات فهم الفيديو العامة لا يعني بالضرورة استدلالاً موثوقاً على مستوى الأجسام.

• القيمة التشخيصية: يوفر TOC-Bench منصة مركزة لتشخيص حالات الفشل المحددة في الاستدلال الزمني المرتكز على الأجسام، متجاوزاً التقييمات المتوسطة العامة.
• الآثار التصميمية: تشير أنماط الفشل إلى أن الآليات الحالية (أخذ عينات الإطارات المتفرقة، ضغط الرموز البصرية، التجميع الزمني العالمي) قد تتخلص من الاستمرارية على مستوى الإطار المطلوبة لعد الأحداث المتكررة أو التمييز بين الخروج من الإطار والانسداد.
• الاتجاهات المستقبلية: يقترح المؤلفون أن النماذج المستقبلية قد تستفيد من الذاكرة المرتكزة على الأجسام، والرموز البصرية المدركة للتتبع، وأهداف التدريب التي تنمذج صراحةً هوية الأجسام، والطوابع الزمنية للأحداث، والعلاقات الزمنية بين الأجسام المختلفة.

تم توفير هذا المورد لتسهيل المزيد من الأبحاث في هذا المجال.