Perception Test 2025: Challenge Summary and a Unified VQA Extension

إليك ملخص تقني مفصل لورقة البحث "اختبار الإدراك 2025: ملخص التحدي وامتداد VQA الموحد".

1. بيان المشكلة

تتناول الورقة التطور السريع للنماذج اللغوية متعددة الوسائط الكبيرة (LMMs) والحاجة إلى قياس قدراتها بما يتجاوز النماذج المتخصصة أحادية المهمة. بينما قيمت الإصدارات السابقة من "اختبار الإدراك" النماذج بناءً على مهام متميزة (على سبيل المثال، مسارات منفصلة لتتبع الأجسام، وتتبع النقاط، وتحديد المواقع الزمنية للأفعال)، فقد انتقل المجال نحو الإدراك الموحد.

تتمثل المشكلة الجوهرية في تحديد ما إذا كانت النماذج الحالية الرائدة (SOTA) قادرة على التعامل مع مهام إدراك زمانية-مكانية متنوعة ومعقدة من خلال واجهة موحدة واحدة (تحديدًا واجهة قائمة على اللغة) بدلاً من الاعتماد على خطوط إنتاج هندسية تعتمد على نماذج مخصصة لكل مهمة. هدف تحدي عام 2025 إلى اختبار ما إذا كان بإمكان النماذج التعميم عبر مهام مثل التتبع، وتحديد المواقع، والاستنتاج دون الحاجة إلى ضبط دقيق (fine-tuning) خاص بالمهمة أو تغييرات في البنية الهيكلية.

2. المنهجية وإعداد التحدي

تم تنظيم التحدي كورشة عمل بجانب مؤتمر ICCV 2025، باستخدام منصة eval.ai. وقد تميز بـ خمسة مسارات مدمجة، مبتعدًا عن المهام المنفصلة نحو نهج موحد:

أ. مسارات المهام الموحدة (بدون واجهة لغوية)

تطلبت هذه المسارات نموذجًا واحدًا لحل مهمتين متميزتين في آن واحد:

1. التتبع الموحد للأجسام والنقاط: يجب على النماذج تتبع كل من صناديق الإحاطة (الأجسام) ونقاط ثنائية الأبعاد محددة (النقاط) عبر إطارات الفيديو، مع التعامل مع حالات الاحتجاب.
   • المقياس: متوسط جيكارد (AJ)، والذي يجمع بين متوسط AJ للنقاط (TAP-Vid) و IoU للأجسام.
2. التحديد الزماني الموحد للأفعال والأصوات: يجب على النماذج تحديد وتحديد المواقع الزمنية لكل من الأفعال المرئية والأحداث الصوتية داخل الفيديو.
   • المقياس: متوسط الدقة المتوسطة (mAP) عبر فئات الأفعال والأصوات.

ب. مسارات VQA الموحدة (واجهة لغوية)

استخدمت هذه المسارات استعلامات اللغة الطبيعية لاختبار الإدراك، بما في ذلك امتداد جديد:
3. VQA الفيديو الموحد متعدد الخيارات (mc-VQA): وهو الابتكار الجوهري لهذا العام.
* الحداثة: تمت إعادة صياغة مهام غير لغوية تقليدية (تتبع النقاط، والتحديد الزماني للأفعال) لتصبح أسئلة متعددة الخيارات.
* التقنية: استخدم المؤلفون الترميم البصري (visual in-painting) (مثل الأشرطة الملونة، أو المؤشرات الوامضة) والعلامات الزمنية لربط الاستعلامات المكانية/الزمانية مباشرة في تدفق الفيديو. وهذا يسمح لنماذج الرؤية واللغة (VLMs) بـ "رؤية" متطلبات المهمة دون الحاجة إلى وحدات فك تشفير (decoders) معقدة.
* أنواع الأسئلة الجديدة:
* تتبع النقاط: تحديد نقطة سطح معينة من بين المشتتات بعد "وميض أخضر".
* ترتيب الأفعال: تحديد التسلسل الصحيح للأفعال.
* التفاعل بين الجسم والفعل: تحديد الأجسام المشاركة في مقطع زمني محدد.
* الفعل المزيف: تحديد المقاطع التي يكون فيها الفعل "مزيفًا" أو غير صحيح.
* مجموعة البيانات: توسعت من 11,528 سؤالاً أصلياً من 3 خيارات لتشمل 1,842 سؤالاً جديداً من 5 خيارات للتخفيف من حدة التعلم عبر المسارات المختصرة (shortcut learning).
4. Grounded Video QA (VQA الفيديو المرتكز): تجيب النماذج على سؤال من خلال تتبع الأجسام المحددة التي تمثل الإجابة طوال الفيديو.
* المقياس: دقة التتبع من الدرجة العالية (HOTA).
5. Hour-long Video QA (VQA الفيديو طويل المدة): تجيب النماذج على أسئلة حول فيديوهات طويلة جدًا (ساعة واحدة أو أكثر) لاختبار الذاكرة طويلة المدى والاستنتاج.
* المقياس: دقة الاختيار الأول (Top-1 Accuracy).

بروتوكول التقييم:

• المراحل: مرحلة التحقق (تقديم غير محدود) ومرحلة الاختبار (محدودة بـ 30 تقديمًا).
• القيود: بالنسبة للمسارات المشتركة، كان على النماذج حل كلتا المهمتين في وقت واحد. كما حُظر الضبط الدقيق المتسلسل (على سبيل المثال، التدريب على تتبع الأجسام ثم الانتقال لتتبع النقاط).
• الأنماط: حدد المشاركون ما إذا كانوا قد استخدموا الضبط الدقيق (fine-tuning)، أو التعلم بلقطات قليلة (few-shot)، أو التقييم بدون تدريب مسبق (zero-shot).

3. المساهمات الرئيسية

• التقييم الموحد: نجحت في دمج المهام التي كانت منفصلة سابقًا (التتبع، التحديد الزماني) في مسارات موحدة، مما دفع المجتمع لتطوير نماذج عامة بدلاً من مجموعات النماذج المتخصصة (ensembles).
• امتداد mc-VQA الموحد: قدم إطارًا مبتكرًا يعيد صياغة مهام الإدراك الزماني-المكاني المعقدة (التتبع، التحديد الزماني) كأسئلة VQA متعددة الخيارات باستخدام الترميم البصري. هذا يجسّر الفجوة بين الإدراك البصي والاستنتاج اللغوي.
• التقييم الشامل: قيم 450 تقديمًا من أكثر من 100 فريق، مما وفر مقارنة قوية للنماذج الرائدة (بما في ذلك Gemini، وGPT-4V، وQwen، وLlama 3-V) مقابل المعايير البشرية.
• تحليل السياق الطويل: تضمن مسارًا مخصصًا لفيديوهات مدتها ساعة كاملة، مما يدفع حدود نوافذ السياق والاستنتاج الزماني الحالية.

4. النتائج

تسلط النتائج الضوء على تباين في الأداء بناءً على وجود الواجهة اللغوية:

• المسارات ذات الواجهة اللغوية (تقدم ملحوظ):

  • Grounded Video QA: تضاعف الأداء تقريبًا مقارằng عام 2024. حقق أفضل نموذج (SGVR@KAIST) نسبة 0.499 HOTA، مقارنة بمعيار أساسي قدره 0.057. وهذا يشير إلى أن النماذج أصبحت فعليًا قادرة على ربط اللغة بالتدفقات البصرية.
  • Hour-long Video QA: حققت أفضل النماذج 0.780 دقة (مقابل 0.203 كمعيار عشوائي)، مما يظهر قدرات قوية في معالجة المحتوى طويل المدى.
  • Unified mc-VQA: حقق أفضل نموذج (zero-shot) دقة 81.2% على المجموعة الأصلية و 65.4% على المجموعة الجديدة الأكثر صعوبة المكونة من 5 خيارات.
  • ملاحظة: تقترب النماذج بسرعة من المعايير البشرية في المهام المرتبطة باللغة.

• المسارات بدون واجهة لغوية (ركود/زيادات طفيفة):

  • التتبع الموحد للأجسام والنقاط: حقق أفضل نموذج موحد 0.62 AJ، وهو ما لم يتجاوز متوسط أفضل النماذج المتخصصة من عام 2024 (0.47 للنقاط، و0.81 للأجسام).
  • التحديد الزماني الموحد للأفعال والأصوات: حقق أفضل نموذج 0.52 mAP، وهو ما يشبه الفائزين المتخصصين السابقين.
  • ملاحظة: بينما يمكن للنماذج متعددة المهام أن تكون قادرة، إلا أنها تكافح للتفوق على خطوط الإنتاج المتخصصة أحادية المهمة عند غياب الواجهة اللغوية.

• أداء النماذج:

  • Zero-Shot مقابل Fine-Tuned: تم تحقيق أفضل النتائج بواسطة كل من المجموعات التي خضعت للضبط الدقيق (مثل Qwen-2.5VL + GLM-4.5V) والنهج المتطورة من نوع zero-shot (مثل Seed 1.6 Vision + Qwen-VL-Max).
  • المعيار البشري: سجل البشر 91.4% في مهمة mc-VQA، بينما وصلت أفضل النماذج إلى حوالي 82%، مما يشير إلى وجود فجوة متبقية في الاستنتاج.

5. الأهمية

يعتبر "اختبار الإدراك 2025" علامة فارقة حاسمة في تطوير نماذج الإدراك العامة:

1. التحقق من الواجهات الموحدة: يثبت التحدي أن الواجهات اللغوية تعزز الأداء بشكل كبير في مهام الإدراك المعقدة، مما يشير إلى أن نماذج VLMs أصبحت البنية المفضلة للإدراك العام.
2. تحديد الاختناقات: يكشف الركود في المسارات الموحدة غير اللغوية (التتبع/التحديد الزماني) أن النماذج الحالية لا تزال تواجه صعوبة في دمج المهام البصرية المتنوعة دون دعم من اللغة الطبيعية.
3. الاتجاه المستقبلي: تشير النتائج إلى أن الحدود التالية للنماذج متعددة الوسائط ليست مجرد التوسع في الحجم، بل تحسين الاستنتاج الزماني-المكاني وفهم السياق الطويل لمطابقة الأداء البشري في المهام التي لا تعتمد على المطالبات اللغوية الصريحة.
4. تطور المعايير: من خلال تقديم مجموعة "Unified mc-VQA"، يقدم المؤلفون طريقة قابلة للتوسع لتقييم قدرات التتبع والتحديد الزماني باستخدام مقاييس VQA القياسية، مما يبسط عملية التقييم للبحوث المستقبلية.

في الختام، بينما حققت النماذج اللغوية الكبيرة (LMMs) خطوات مذهلة في الإدراك المرتبط باللغة (تضاعف الأداء في Grounded QA)، فإن التحدي يسلط الضوء على أن "الإدراك العام" الحقيقي القادر على التعامل مع مهام بصرية متنوعة بطريقة موحدة وغير لغوية لا يزال مشكلة مفتوحة وصعبة.