Mitigating Long-Tail Bias in HOI Detection via Adaptive Diversity Cache

ملخص تقني لورقة بحثية: "التخفيف من تحيز الذيل الطويل في اكتشاف التفاعل بين الإنسان والأشياء عبر مخازن التنوع التكيفية"

1. بيان المشكلة

اكتشاف التفاعل بين الإنسان والأشياء (HOI) هو مهمة حيوية في الرؤية الحاسوبية تتضمن تحديد العلاقات بين البشر والأشياء (مثل "إمساك زجاجة"). وبينما حسنت نماذج الرؤية واللغة (VLMs) من اكتشاف الـ HOI، تواجه الأساليب الحالية عائقين رئيسيين:

• الاعتماد على التدريب: تتطلب معظم الأساليب المتطورة تدريباً إضافياً، أو ضبطاً للمطالبات (prompt tuning)، أو ضبطاً دقيقاً (fine-tuning)، مما يترتب عليه تكاليف حوسبة عالية ويحد من القدرة على التوسع.
• تحيز الذيل الطويل (Long-Tail Bias): تظهر مجموعات بيانات HOI (مثل HICO-DET) توزيعات ذيل طويل شديدة، حيث تهيمن التفاعلات المتكررة، بينما تكون التفاعلات النادرة ("الذيل") ممثلة تمثيلاً ناقصاً بشدة. يؤدي هذا إلى:
  • الندرة التركيبية (Compositional Sparsity): العديد من تركيبات (الفعل-الشيء) الصالحة تظهر نادراً أو لا تظهر أبداً في بيانات التدريب.
  • تحيز التنبؤ: تفرط النماذج في ملاءمة الفئات الشائعة (overfitting)، وتفشل في التعميم على التفاعلات النادرة أو غير المرئية.
  • عدم الكفاءة: غالباً ما تعاني أساليب التكيف وقت الاختبار (TTA) الحالية من صعوبة التعامل مع الطبيعة التركيبية للـ HOI ولا تعالج عدم التوازن الصارخ في الفئات بشكل محدد.

2. المنهجية: مخزن التنوع التكيفي (ADC)

يقترح المؤلفون ADC، وهو وحدة قابلة للتركيب والتشغيل (plug-and-play) ولا تتطلب تدريباً، تعمل أثناء الاستدلال للتخفيف من تحيز الذيل الطويل دون تعديل أوزان النموذج الأساسي. وتتكون من آليتين جوهريتين:

أ. الاختيار المشترك للثقة والتنوع (CJCS)

بدلاً من المخزن الثابت، يحافظ ADC على طابور أولويات ديناميكي خاص بكل فئة ($Q_c$) لكل ثلاثية HOI.

• معايير الاختيار: يتم اختيار الميزات بناءً على درجة مشتركة توازن بين الثقة والتنوع.
  • الثقة ($S_{conf}$): مشتقة من الإنتروبيا الطبيعية للتنبؤ (الإنتروبيا الأقل تعني ثقة أعلى).
  • التنوع ($S_{div}$): يُحسب باستخدام تحليل هندسي متعدد المقاييس (يجمع بين عدم التشابه الجيبي والمسافة الإقليدية الموزونة بـ Gaussian) لضمان احتواء المخزن على تمثيلات ميزات متميزة وغير متكررة.
• العملية: بالنسبة لعينة اختبار، يتنبأ النموذج بتسمية مستعارة (pseudo-label). تُضاف العينة إلى المخزن المؤقت، ويقوم التقييم المشترك بترتيب جميع المدخلات. يتم الاحتفاظ بأفضل $K$ من العينات، مما يضمن أن المخزن يحتوي على نماذج أولية تاريخية عالية الجودة ومتنوعة.

ب. تكيف المخزن المدرك للتردد (FACA)

لمعالجة ندرة العينات النادرة، يقوم ADC بتخصيص سعة المخزن ديناميكياً بناءً على تكرار الفئة.

• السعة التكيفية: يتم تخصيد سعة مخزن ($K_c$) للفئات النادرة أكبر من الفئات الشائعة باستخدام دالة قياس عكسي للتردد.
• تعزيز الميزات: نظراً لأن الفئات النادرة غالباً ما تفتقر إلى عينات حقيقية كافية لملء سعتها المخصصة، يقوم ADC بإجراء تعزيز ميزات محكوم (قص عشوائي، دوران، إزاحة/shearing) على المدخلات الموجودة. يتم اختيار أفضل العينات المعززة ذات درجات التقييد المشترك الأعلى لملء المخزن، مما يضمن امتلاك الفئات النادرة لسعة تمثيلية كافية دون إدخال تحيز توزيعي.
• استرجاع الاستدلال: أثناء التنبؤ، يتم مطابقة الميزة الحالية مع المخزن باستخدام الاسترجاع القائم على التقارب (dot product). يتم دمج لوغاريتمات (logits) المخزن الناتية مع لوغاريتمات الكاشف الأساسي لتنقيح التنبؤ النهائي.

3. المساهمات الرئيسية

1. آلية جديدة لا تتطلب تدريباً: تقديم ADC، وهي وحدة قابلة للتركيب والتشغيل تخفف من تحيز الذيل الطويل في اكتشاف HOI دون الحاجة إلى تدريب إضافي، أو ضبط دقيق، أو تغييرات في بنية النموذج.
2. تصميم ثنائي المكونات: تطوير CJCS لضمان جودة المخزن (ثقة عالية + تنوع) و FACA لضمان الكفاية التمثيلية للفئات النادرة من خلال السعة التكيفية والتعزيز.
3. تعزيز القدرة على التعميم الصفري (Zero-Shot): أثبت ADC قدرته على تعزيز أداء النماذج القادرة على التعميم الصفري (مثل EZ-HOI) عن طريق تراكم أنماط التفاعل الموثوقة في المخزن.
4. تقييم شامل: التحقق من فعالية الطريقة عبر مجموعات بيانات متعددة (HICO-DET, V-COCO) وبنيات أساسية متنوعة (المعتمدة على DETR، والمعتمدة على VLM)، مما يثبت قدرتها على التعميم.

4. النتائج التجريبية

قيم المؤلفون ADC على مجموعتي بيانات HICO-DET و V-COCO باستخدام متوسط الدقة المتوسطة (mAP).

• مكاسب الأداء:
  • في HICO-DET، أدى دمج ADC مع خط الأساس ADA-CM إلى تحسين mAP لفئة النادرة (Rare) بمقدار +3.96% (من 37.46 إلى 41.48) وتحسين Full mAP بمقدار +1.41%.
  • مقارنة بـ BoostAdapter (وهو أسلوب TTA ممثل)، أظهر ADC مكاسب أكبر بكثير، خاصة في الفئات النادرة (+3.96% مقابل +1.55%).
  • في V-COCO، حسن ADC من mAP الخاص بالدور (role mAP) بمقدار +4.4%، محققاً 62.9 AP.
• التعميم الصفري والقدرة على التعميم:
  • في الإعدادات الصفرية (RF-UC و NF-UC)، حسن ADC دقة الفئات غير المرئية بما يصل إلى +8.33% في HICO-DET.
  • في تقسيمات التعميم المنهجي (SG)، حسن ADC الأداء باستمرار، مما يؤكد قدرته على التعامل مع تركيبات (الفعل-الشيء) الجديدة.
• الكفاءة:
  • لا يضيف ADC سوى عبء ضئيل على الذاكرة (تخزين متجهات الميزات فقط).
  • يزداد وقت الاستدلال بنحو 1.4x–3.5x، وهو أكثر كفاءة بكثير من أساليب التكيف القائمة على التدرج (6x–10x).
• دراسات الاستئصال (Ablation Studies):
  • وُجد أن السعة المثلى للمخزن هي 6؛ حيث كانت السعات الأقل تفتقر إلى التنوع، بينما أدت السعات الأعلى إلى إدخال الضجيج.
  • الطريقة قوية تجاه إعدادات المعلمات الفائقة ($\alpha=3, \beta=5$) ولا تتطلب ضبطاً خاصاً بمجموعة البيانات.

5. الأهمية

يعالج هذا العمل عقبة حرجة في نشر نماذج HOI في العالم الحقيقي: عدم قدرة النماذج الحالية على التعميم على التفاعلات النادرة دون إعادة تدريب مكلفة.

• العملية: كحل لا يتطلب تدريباً، يمكن نشر ADC فوراً على النماذج الحالية، مما يجعله قابلاً للتوسع بشكل كبير للتطبيقات ذات موارد التوسيم الشحيحة (مثل القيادة الذاتية، والروبوتات).
• العدالة: من خلال استهداف تحيز الذيل الطويل تحديداً، يعزز ADC أداء الكشف العادل عبر جميع أنواع التفاعلات، مما يقلل من تحيز "الغني يزداد غنى" (rich-get-richer) الذي تعاني منه النماذج القياسية للتعلم العميق.
• الاتجاه المستقبلي: ترسي هذه الورقة نموذجاً جديداً للتكيف وقت الاختبار (Test-Time Adaptation) في المهام التركيبية، مما يشير إلى إمكانات التوسع في مهام التنبؤ الهيكلي الأخرى مثل التوطين البصري (visual grounding) وتقسيم الحركة (action segmentation).