HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

ملخص تقني لـ HOI-R1: استكشاف إمكانات النماذج اللغوية الكبيرة متعددة الوسائط لاكتشاف التفاعل بين الإنسان والأشياء

بيان المشكلة
يهدف اكتشاف التفاعل بين الإنسان والأشياء (HOID) إلى تحديد التفاعلات بين البشر والأشياء في الصور، حيث يخرج النتائج كأزواج (tuples) تتكون من صناديق إحاطة للبشر، وصنودق إحاطة للأشياء، وفئات الأشياء، وفئات التفاعل. تعتمد طرق HOID التقليدية على نموذج متمحور حول الكاشف (detector-centric)، حيث تستخدم كواشف الأشياء لتوليد مقترحات تتبعها رأس تفاعل مخصص (غالباً ما يكون مبنياً على الـ Transformer) للتنبؤ بالتسميات. بدأت الأساليب الحديثة والأكثر تطوراً في دمج مقدمات نماذج الرؤية واللغة (VLM) للتعامل مع البيانات ذات التوزيع الطولي الطويل (long-tailed annotations). ومع ذلك، فإن هذه الأساليب تقدم مسارات عمل معقدة تتطلب وحدات إضافية، وأهداف تدريب محددة، وارتباطاً هيكلياً بين الكواشف ومفككات التفاعل، مما يعيق القابلية للتوسع وإعادة الاستخدام. علاوة على ذلك، لا تزال قدرات الاستدلال المتأصلة في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) لمهام HOID المهيكلة — وتحديداً الاستدلال المتزامن حول التفاعلات وتحديد مواقع الأزواج ضمن بروتوكول موحد — غير مستغلة بشكل كافٍ.

المنهجية
يقترح المؤلفون HOI-R1، وهو إطار عمل يلغي كواشف الأشياء تماماً، ويحل مشكلة HOID بشكل شامل (end-to-end) عبر الاستدلال باللغة الطبيعية باستخدام النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). يتضمن النهج نموذج تدريب من مرحلتين:

1. التنبؤ القائم على اللغة وتصميم المطالبات (Prompt Design):
   بدلاً من الانحدار على صناديق الإحاطة (bounding box regression)، يقوم النموذج بإخراج حالات HOI بتنسيق لغة طبيعية مهيكل (JSON). تم تصميم المطالبة المدخلة من ثلاثة مكونات:

• تعليمات المهمة: تحدد دور النموذج وتوفر قوائم شاملة لفئات الأشياء والتفاعلات الصالحة لتقييد مساحة المخرجات ومنع الهلوسة.
• توجيه الاستدلال: قسم "عملية التفكير" (Thinking Process) الذي يفكك المهمة إلى خطوات متسلسلة (تحديد البشر، تحليل الأفعال، تحديد التفاعلات) لمحاكاة العمليات المعرفية البشرية.
• مثال التنسيق: قالب يتطلب أن يتضمن المخرج سلسلة استدلال (داخل وسوم <thought>) وتنبؤات نهائية (داخل وسوم <answer>)، مع دمج الإحداثيات المكانية مباشرة في النص.

2. الضبط الدقيق الخاضع للإشراف (SFT) مع تقطير التفكير (Thinking Distillation):
   لنقل المعرفة الخاصة بالمهمة، يتم استخدام نموذج (معلم-طالب). يقوم نموذج معلم قوي (GPT4o-mini) بتوليد آثار استدلال خطوة بخطوة لصور التدريب. يتم تدريب نموذج الطالب (MLLM) عبر SFT للتنبؤ بكل من آثار الاستدلال التي ولدها المعلم وثلاثيات (triplets) HOI الحقيقية. هذا "التقطير الفكري" يعمل على استيعاب العملية المنطقية لاكتشاف HOI.

3. التعلم التعزيزي (RL) مع مكافآت مخصصة:
   بعد مرحلة SFT، يتم ضبط النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO). صمم المؤلفون دالة مكافأة مركبة تتكون من أربعة مكونات لضمان التوافق الهيكلي والدلالي والهندسي:

• مكافأة التنسيق: تضمن احتواء المخرجات على الوسوم المطلوبة (<thought>, <answer>) ومفاتيد JSON الصالحة (human, object, object class, verb class). كما تعاقب على تكرار صناديق الإحاطة أو هياكل المفاتيد غير الصحيحة.
• مكافآت تسمية الأشياء والأفعال: تشجع على التنبؤ الدقيق بفئات الأشياء والتفاعلات من خلال مقارنة التسميات المتوقنة مع الحقيقة الأرضية (ground truth) باستخدام استراتيجية "السقوط عند المطابقة" (drop-on-match).
• مكافأة HOI IoU: تستخدم خوارزمية هانغاريان (Hungarian algorithm) لمطابقة أزواج (إنسان-شيء) المتوقعة مع الأزواج الحقيقية بناءً على تقاطع صناديق الإحاطة (IoU) لكل من الإنسان والشيء، مما يوفر إشارة توافق هندسي.

المساهمات الرئيسية

• إطار عمل HOI-R1: أول إطار عمل MLLM يحل HOID بشكل شامل عبر اللغة الطبيعية، مما يلغي الاعتماد على كواشف الأشياء.
• نموذج التدريب: تقديم استراتيجية تدريب من مرحلتين تجمع بين SFT مع تقطير التفكير (لحقن معرفة HOI) والتعلم التعزيزي (RL) مع دوال مكافأة متخصصة (للمواءمة مع مقاييس HOID).
• تصميم المكافأة: تطوير دوال مكافأة خاصة بكل عنصر (التنسيق، التسمية، و IoU) توجه نماذج MLLM لإنتاج تنبؤات مهيكلة ودقيقة ومحددة مكانياً.

النتائج التجريبية
أُجريت التجارب على مجموعة بيانات HICO-DET باستخدام عدة نماذج MLLM مفتوحة المصدر، بما في ذلك عائلة Qwen-VL (مثل Qwen2.5-VL و Qwen3-VL) ونموذج Rex-Omni.

• مكاسب الأداء: يُظهر HOI-R1 تحسينات ثابتة عبر النماذج. والجدير بالذكر أن تطبيق HOI-R1 على نموذج Qwen2.5-VL-3B أدى إلى زيادة في الدقة بمقدار ضعفين (من ~8.39 mAP إلى 18.33 mAP في فئة Full تحت إعدادات Default) مع مرحلة واحدة فقط من SFT و40 خطوة من تدريب RL.
• المقارنة مع SOTA: حقق متغير HOI-R1 الخاص بنموذج Rex-Omni-3B نتيجة 27.00 mAP في إعداد الكائنات المعروفة (Known Object)، متفوقاً على نموذج Qwen2.5-VL-AWQ بـ 72 مليار معلمة وعلى الطرق التقليدية المعتمدة على الـ Transformer مثل QPIC.
• الكفاءة: يتقارب الأسلوب بشكل أسرع بكثير من طرق HOID التقليدية، التي غالباً ما تتطلب مئات العصور (epochs)، حيث يحقق أداءً قوياً بحد أدنى من خطوات التدريب (1 epoch SFT + 40 خطوة RL).
• دراسات الاستئصال (Ablation Studies): أدى إزالة مكون "التفكير" إلى تدهور كبير في الأداء على الفئات النادرة، مما يبرز قيمة الاستدلال. كما أدت إزالة مكافأة IoU إلى انخفاض جوهري (3.62 mAP)، مما يؤكد ضرورة مكافآت التوافق الهندسي.

الأهمية والادعاءات
يزعم البحث أن HOI-R1 يضع معايير مرجعية جديدة لـ MLLM-based HOID، موضحاً أن النماذج اللغوية الكبيرة تمتلك القدرة الكامنة للتعامل مع مهام الاستدلال البصري المعقدة والمهيكلة دون الحاجة إلى وحدات كشف متخصصة. ومن خلال الاستفادة من الاستدلال باللغة الطبيعية والتعلم التعزيزي، يبسط إطار العمل مسار عمل HOID مع تحقيق أداء تنافسي أو متفوق مقارنة بالأساليب المتمحورة حول الكواشف. ويضع المؤلفون هذا العمل كخطوة نحو تبسيط بنيات HOID وإطلاق قدرات الاستدلال لنماذج MLLM للفهم البصري الدقيق.