See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment

إليك ملخص تقني مفصل للورقة البحثية بعنوان "رؤية عادلة، تحدث بصدق: الانتباه المتساوي يحسن الربط ويقلل الهلوسة في محاذاة الرؤية واللغة".

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من هلوسة الأشياء (object hallucination)، حيث تولد النماذج أوصافاً لأشياء غير موجودة في المدخلات البصرية أو تغفل عن أشياء ظاهرة بوضوح.

• السبب الجذري: حدد المؤلفون أن هذا ليس فشلاً في الإدراك البصري (فالمُشفّر يرى الأشياء بالفعل) بل هو اختلال في توازن الانتباه أثناء فك التشفير (decoding-time attention imbalance).
• الآلية: أثناء عملية فك التشفير التتابعي (autoregressive decoding)، تركز آليات الانتباه بشكل غير متناسب على الأشياء المهيمنة بصرياً، أو الكبيرة، أو المتكررة (مثل دراجة نارية). هذا "الانهيار في الانتباه" (attention collapse) يثبط الرموز (tokens) المرتبطة بالأشياء النادرة، الصغيرة، أو الطرفية (مثل شخص يقف في مكان قريب)، مما يجعل النموذج يتجاهلها أو يهلوس بوجود أشياء غير موجودة لملء السياق.
• قصور الحلول الحالية: إن مجرد إعادة توزيع الانتباه بالتساوي ليس كافياً لأنه يتجاهل التفاوت في حجم الأشياء وتكرارها. وتتطلب الطرق الحالية غالباً إعادة تدريب، أو نماذج مساعدة، أو تغييرات معقدة في البنية الهيكلية.

2. المنهجية: DOP-OBC

تقترح الورقة DOP-OBC، وهي استراتيجية فك تشفير لا تتطلب تدريباً، وغير مرتبطة ببنية نموذج محددة، تعمل بالكامل في وقت الاستنتاج (inference time). تقوم هذه الطريقة بحقن إشارات "الانتباه المتساوي" مباشرة في قناع الانتباه السببي (causal attention mask) دون تعديل أوزان النموذج.

تتكون الطريقة من ثلاثة مكونات أساسية:

أ. سجلات الانتباه المثلثة العليا (Upper-Triangular Attention Registers)

لمنع انهيار الانتباه واستقرار التوليد طويل المدى، قدم المؤلفون سجلاً يمتص فائض كتلة الانتباه الموجهة نحو المواضع المستقبلية.

• قاموا بتعديل اللوجيتس ($\mathbf{W}$) بإضافة مصفوفة مثلثية عليا $\mathbf{P}$ ذات منحدر اضمحلال خطي ($\sigma$).
• يضمن ذلك أنه مع تقدم عملية فك التشفير، يحافظ النموذج على تركيز محكوم على السياق التاريخي مع الالتزام الصارم بالتقنين السببي (causal masking).

ب. عقوبة الكائن المهيمن (Dominant Object Penalty - DOP)

هذه الإشارة تثبط بنعومة الانتباه المخصص للأشياء المهيمنة بصرياً لتوفير سعة تمثيلية للأشياء الأخرى.

• الحساب: يتم حساب درجة الهيمنة $D(o)$ لكل كائن بناءً على الحجم المعياري ($\hat{s}$)، والاستمرارية الزمنية ($\hat{L}$)، وحصة الانتباه الحالية ($\hat{A}$).
• العقوبة: يتم تطبيق وزن عقوبة ناعم $w_{pen} = \exp(-\lambda D(o))$ على سعة اللوجيت لكل صف. الأشياء ذات درجات الهيمنة العالية تتلقى سعة أقل، مما يمنعها من احتكار توزيع الانتباه.

ج. معامل تعزيز القيم الشاذة (Outlier Boost Coefficient - OBC)

هذه الإشارة تضخم الانتباه نحو الأشياء النادرة ولكن المكتشفة بثقة.

• الحساب: يتم تقدير درجة الندرة $r(o)$ باستخدام مسافة ماهالانوبيس (Mahalanobis distance) بين سمات الكائن والمتوسط المتحرك الأسي (EMA) لتوزيع المشهد.
• التعزيز: يتم تطبيق معامل تعزيز $b(o) = \gamma \cdot r(o)$ فقط إذا تجاوزت ثقة الكشف $p(o)$ عتبة معينة $\tau_p$. يضمن ذلك أن الأشياء النادرة والموثوقة فقط هي التي تحصل على التضخيم.

د. التكامل

يتم دمج هذه الإشارات في حساب الانتباه كتشوهات صفية (row-wise modulations):

1. تغيير السعة: $\alpha_i \leftarrow \alpha_0 \cdot w_{pen}(o_i) \cdot (1 + b(o_i))$
2. تعديل المنحدر: $\sigma_i \leftarrow \sigma_0 / (1 + b(o_i))$
3. تمر اللوجيتس المعدلة عبر دالة SoftMax والتقنين السببي القياسي.

3. المساهمات الرئيسية

1. تشخيص عدم الإنصاف: تثبت الورقة أن هلوسة الأشياء مدفوعة أساساً بـ توزيع غير عادل للانتباه أثناء فك التشفير، حيث تقمع الأشياء المهيمنة الأشياء الطرفية.
2. إطار عمل DOP-OBC: استراتيجية فك تشفير مبتكرة، جاهزة للاستخدام (plug-and-play)، تستخدم إشارتين متكاملتين (عقوبة للمهيمن، وتعزيز للقيم الشاذة) لإعادة توازن الانتباه.
3. خالٍ من التدريب وغير مرتبط بالبنية: لا تتطلب الطريقة أي تحديث للأوزان، ولا إعادة تدريب، ولا نماذج مساعدة. وهي تعمل مع أي نموذج MLLM قائم على Transformer (سواء للصور أو الفيديو) عن طريق تعديل مصفوفة الانتباه في وقت الاستنتاج.
4. تحقق شامل: أظهرت التجارب المكثفة عبر معايقات الصور والفيديو تحسينات متسقة في الربط (grounding) وتقليلاً في الهلوسة.

4. النتائج التجريبية

قيم المؤلفون DOP-OBC على عدة نماذج رائدة (LLaVA-1.5, Video-LLaVA, InstructBLIP, Chat-UniVi, VILA, Video-LLaMA2) عبر معايقات متنوعة.

• تقليل الهلوسة (CHAIR & POPE):

  • في نموذج LLaVA-1.5، خفض DOP-OBC معدل CHAIRS (معدل الهلوسة) من 48.0 إلى 39.7 (انخفاض كبير) وحسن دقة POPE-P من 82.8 إلى 89.3.
  • في نموذج Video-LLaVA، انخفض CHAIRS من 50.2 إلى 41.2، وتحسنت POPE-P من 85.3 إلى 87.7.
  • تتفوق هذه النتائج على الطرق السابقة التي لا تتطلب تدريباً مثل FixVPE وEDVT وFarSight.

• تحسين الأداء العام:

  • على عكس بعض تقنيات الحد من الهلوسة التي تضعف القدرة على الاستنتاج العام، حسن DOP-OBC الدرجات في المعايقات العامة مثل MMBench وLLaVA-W وMM-Vet.
  • في وصف الفيديو (الذي تم تقييمه بواسطة GPT-4o)، حسنت الطريقة جميع الأبعاد الخمسة: الصحة (Correctness)، الاتساق (Consistency)، التفصيل (Detail)، السياق (Context)، والفهم الزمني (Temporal understanding).

• التحليل النوعي:

  • تُظهر تصورات خرائط الانتباه أنه بينما تعاني النماذج المرجعية (مثل LLaVA-1.5) من "انهيار الانتباه" على الأشياء المهيمنة (تجاهل فتاة تقف بجانب دراجة نارية)، يحافظ DOP-OBC على توزيع متوازن، ويربط بشكل صحيح بين كل من الدراجة النارية المهيمنة والفتاة الطرفية.

5. الأهمية والخاتمة

• تحول في النموذج الفكري: تنقل الورقة التركيز من تحسين المُشفّرات البصرية إلى تصحيح آليات انتباه فك التشفير. وتجادل بأن "العدالة" في تخصيص الانتباه هي ضرورة عملية للتوليد متعدد الوسائط الأمين.
• العملية: نظرًا لأن DOP-OBC هو تدخل خفيف الوزن في وقت الاستنتاج، يمكن نشره فوراً في الأنظمة الحالية دون التكلفة الحسابية لإعادة التدريب أو تعقيد دمج نماذج توجيه خارجية.
• الآفاق المستقبلية: يقترح المؤلفون أن العمل المستقبلي يمكن أن يدمج نمذجة عدم اليقين بشكل أعمق ويمدد هذا التشفيد الواعي بالإنصاف إلى حوارات الصور المتعددة والفيديوهات الطويلة.

باختصار، يثبت DOP-OBC أنه من خلال معاقبة الأشياء التي تحظى باهتمام مفرط وتعزيز الأشياء النادرة والموثوقة، يمكن لنماذج MLLM توليد أوصاف أكثر دقة واكتمالاً وربطاً بالواقع دون تغيير بنيتها الأساسية.