A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods

إليك ملخص تقني مفصل لورقة البحث بعنوان "CrossHOI-Bench: معيار موحد لتقييم التفاعل بين الإنسان والأشياء (HOI) عبر نماذج الرؤية واللغة ونماذج الـ HOI المتخصصة."

1. بيان المشكلة

لطالما هيمنت النماذج المخصصة للمهام على مجال اكتشاف التفاعل بين الإنسان والأشياء (HOI)، والتي يتم تدريبها على مجموعات بيانات مثل HICO-DET. ومع ظهور النماذج الضخمة للرؤية واللغة (VLMs) ذات القدرات التوليدية، يبرز سؤال جوهري: هل يمكن لنماذج VLMs المستقلة أن تؤدي في اكتشاف الـ HOI بشكل تنافسي مقابل طرق الـ HOI المتخصصة؟

ومع ذلك، فإن تقييم هذين النموذجين معاً يعد أمراً مستحيلاً حالياً بسبب العيوب الجوهرية في المعايير الموجودة (مثل HICO-DET و V-COCO):

• التعليقات التوضيحية غير المكتملة وعقوبة المطابقة التامة: تعتمد المعايير الحالية على تقييم "المطابقة التامة" في ظل وجود تعليقات توضيحية ناقصة. فإذا أنتج نموذج VLM وصفاً تفاعلياً صحيحاً (مثل "الخروج من طائرة") وهو ما ليس مدرجاً صراحةً في البيانات المرجعية (التي قد تكتفي بتسمية "ركوب الطائرة")، فسيتم اعتبار التنبؤ خاطئاً. وهذا يعاقب بشكل غير عادل الطبيعة التوليدية المرنة لنماذج VLMs.
• الغموض: غالباً ما تفتقر الصور الثابتة إلى الأدلة البصرية الكافية للتمييز بين الأفعال الغامضة زمنياً (مثل "الإمساك بقرص الطيران" مقابل "رميه")، ومع ذلك تفرض المعايير الحالية حقيقة واحدة فقط، مما يؤدي إلى تقليل التقدير بشكل منهجي.
• تحيز مجموعة البيانات: تعكس مجموعات الاختبار الحالية توزيعات التدريب بكثافة، حيث تحتوي على الكثير من الحالات البسيطة والمتكررة "ذات الفئة الرئيسية" (شخص واحد، جسم واحد، فعل واضح)، مما يفشل في تحدي النماذج في عمليات الاستدلال المعقدة.

2. المنهجية: CrossHOI-Bench

قدم المؤلفون CrossHOI-Bench، وهو معيار موحد مصمم لتقييم كل من نماذج VLMs وطرق الـ HOI المتخصبة بشكل عادل من خلال إعادة صياغة المهمة.

أ. إعادة صياغة المهمة: الإجابة على الأسئلة متعددة الخيارات (MCQA)

بدلاً من التوليد مفتوح النهايات أو التصنيف ذي التسميات الثابتة، تمت إعادة صياغة اكتشاف الـ HOI كمهمة تعدد الإجابات والخيارات المتعددة.

• الهيكل: لكل صورة وزوج مستهدف (إنسان-جسم)، يُعرض على النموذج 4 خيارات (أ، ب، ج، د).
• الإيجابيات: تتضمن الخيارات جميع التفاعلات الصالحة (الحقيقة المرجعية + التفاعلات الصالحة الأخرى التي تمت إضافتها يدوياً ولم تكن موسومة سابقاً).
• السلبيات: تتضمن الخيارات "السلبيات الصعبة" المختارة بعناية (تفاعلات تبدو منطقية ولكنها غير صحيحة).
• الفائدة: هذا يلغي عقوبة "السلبيات الكاذبة". فإذا اختار النموذج تفاعلاً صالحاً لم يكن موسوماً سابقاً في HICO-DET، فسيُعتبر الآن خياراً صحيحاً.

ب. بناء وتنسيق مجموعة البيانات

بُني المعيار على أساس HICO-DET ولكنه خضع لعملية تنقيح صارمة لزيادة الصعوبة وتقليل التحيز:

1. إزالة الحالات البسيطة: تم استبعاد المشاهد شديدة البساطة (مثل شخص واحد في خلفية بسيطة) لمنع النماذج من استغلال أولويات مجموعة البيانات.
2. الفحص الأولي (بمساعدة VLM): قام خط معالجة متعدد المراحل باستخدام نماذج VLM (باستخدام GPT-4.1 و Qwen2.5-VL) بتصفية المرشحين السلبيين غير الصحيحين بشكل واضح.
3. التنقيح اليدوي: قام مراجعون بشريون بالتحقق من الخيارات المتبقية لضمان:
   • الإيجابيات الصعبة: تضمين إجراءات متعددة صالحة لنفس الزوج (مثل "الإمساك" و"القطع" بسكين).
   • السلبيات الصعبة: التفاعلات التي يقوم بها أشخاص آخرون في المشهد (لاختبار نسبة التفاعل بين الأشخاص) والتمييز الدقيق (مثل "الإصلاح" مقابل "الكتابة" على جهاز كمبيوتر محمول).
4. انزياح التوزيع: تمت إعادة توزيع مجموعة الاختبار بحيث يكون لها تباعد KL مرتفع (0.629) عن مجموعة التدريب مقارنة بـ HICO-DET الأصلية (0.088)، مما يضمن عدم قدرة النموذج على مجرد حفظ توزيع التدريب.

ج. إعدادات التقييم

يحدد المعيار ثلاثة إعدادات متميزة لعزل قدرات محددة:

• الإعداد 1 (اكتشاف HOI الكامل): يجب على النموذج اكتشاف الشخص المستهدف (مربع الإحاطة) ثم التعرف على التفاعل. هذا يختبر المسار الكامل (الاكتشاف + التعرف).
• الإعداد 2 (التعرف الموضعي): يتم توفير مربع الإحاطة للشخص المستهدف. هذا يعزل قدرة التعرف، مما يزيل أخطاء الاكتشاف.
• الإعداد 3 (التعرف على مستوى الصورة): يجب على النموذج تحديد التفاعلات لجميع الأفراد في المشهد. هذا يختبر الاستدلال العالمي والقدرة على فك تشابك الإجراءات المتزامنة المتعددة.

د. المعايير الفرعية المكملة

لاختبار التعميم، تم إنشاء معيارين فرعيين بناءً على V-COCO (التركيز على سيناريوهات تعدد الأشخاص) و SWiG-HOI (التركيز على التفاعلات بين البشر).

3. المساهمات الرئيسية

1. أول معيار موحد: CrossHCI-Bench هو أول مجموعة بيانات مصممة لتقييم نماذج VLMs العامة وطرق الـ HOI المتخصصة معاً تحت بروتوكول موحد، مما يحل مشكلة عدم التوافق الناتجة عن مقاييس المطابقة التامة.
2. تخفيف تحيز التوسيم: من خلال استخدام سلبيات منسقة والسماح بإجابات صحيحة متعددة، يمنع المعيار معاقبة المخرجات التوليدية الصالحة بسبب نقص التوسيم في الحقيقة المرجعية.
3. تحليل شامل: تقدم الدراسة مقارنة منهجية بين نماذج VLMs الحديثة (مثل Qwen2.5-VL, InternVL3) ونماذج HOI المتخصصة (مثل ADA-CM, CMMP) عبر سيناريوهات الصفرية (zero-shot) والضبط الدقيق (fine-tuned).
4. تحديد نقاط القوة والضعف في النماذج: يكشف المعيار أن بينما تتفوق نماذج VLMs في الفهم الدلالي، فإنها تعاني في التحديد الدقيق ونسبة التفاعل بين الأشخاص، بينما تتفوق نماذج HOI المتخصصة في الاكتشاف لكنها أضعف في الاستدلال مفتوح المفردات.

4. النتائج التجريبية

قام المؤلفون بتقييم نماذج VLMs الكبيرة الحديثة (Qwen2.5-VL-32B, InternVL3-38B) وطرق الـ HOI المتخصصة على المعيار.

• أداء الصفرية (Zero-Shot):
  • نماذج VLMs الكبيرة (مثل Qwen2.5-VL-32B) تحقق أداءً رائداً، وغالباً ما تتفوق على طرق الـ HOI المتخصصة في Instance-F1 و Macro-F1 (على سبيل المثال، +5.18% في Instance-F1 عن أفضل طريقة HOI في الإعداد 1).
  • نماذج VLMs الصغيرة (مثل نماذج 7B) تؤدي بمستوى يضاهي طرق الـ HOI في إعدادات التعرف فقط (الإعداد 2) ولكنها تنخفض بشكل كبير عندما يتطلب الأمر الاكتشاف (الإعداد 1).
• أنماط الفشل في نماذج VLMs:
  • التعرف غير المكتمل على الأفعال المتعددة: تميل نماذج VLMs إلى التنبؤ بالفعل الأكثر بروزاً فقط، مما يؤدي لتجاهل التفاعلات المتزامنة (مثل التنبؤ بـ "الركوب" وتجاهل "العناق" للحصان).
  • الخطأ في نسبة التفاعل بين الأشخاص: في المشاهد متعددة الأشخاص، غالباً ما تنسب نماذج VLMs أفعال الأشخاص المحيطين إلى الشخص المستهدف (حوالي 20-25% من الأخطاء).
  • عنق زجاجة الاكتشاف: تعاني نماذج VLMs من صعوبة في الاكتشاف الموثوق للأجسام أو الأشخاص في المشاهد المزدحمة أو المحجوبة، وهو السبب الرئيسي لانخفاض الأداء في الإعداد 1 مقارنة بالإعداد 2.
• طرق الـ HOI المتخصصة:
  • تحافظ على أداء قوي في الاكتشاف والتعرف على الأفعال المتعددة، لكنها تعاني في الاستدلال العام للـ HOI والتعميم خارج نطاق التوزيع (انخفاض كبير في الأداء في المعايير الفرعية V-COCO و SWiG-HOI).
• الضبط الدقيق (Fine-Tuning): عند ضبط النماذج دقيقاً على بيانات التدريب الخاصة بالمعيار، تتحسن نماذج VLMs بشكل كبير، خاصة في الاستدعاء (recall)، رغم أنها لا تزال تظهر تحيزاً للفئات الرئيسية.

5. الأهمية

• تحول في النموذج: تثبت الورقة أن نماذج VLMs التوليدية الضخمة باتت بالفعل منافسة، وأحياناً متفوقة، على كواشف الـ HOI المتخصصة من حيث الفهم الدلالي والتعميم في حالة الصفرية.
• معيار التقييم: يضع المعيار معياراً جديداً لتقييم الـ HOI يأخذ في الاعتبار غموض مشاهد العالم الحقيقي ومرونة النماذج التوليدية، مبتعداً عن مقاييس المطابقة الصارمة.
• الاتجاهات المستقبلية: تسلط النتائج الضوء على أن العائق الأساسي أمام نماذج VLMs في الـ HOI هو التحديد الموضعي (الاكتشاف) وفك تشابك التفاعلات بين الأشخاص، وليس الفهم الدلالي. وهذا يشير إلى أن الأبحاث المستقبلية يجب أن تركز على تحسين الاستدلال المكاني وقدرات الاكتشاف في نماذج VLMs بدلاً من مجرد تدريب المزيد من مصنفات الـ HOI المتخصصة.