System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

ملخص تقني: عدم توازن الانتباه بوساطة النظام يجعل نماذج الرؤية واللغة تجيب بـ "نعم"

1. المشكلة: "تحيز النعم" والمغالطة المتمحورة حول الصورة

تعاني نماذج الرؤية واللغة (VLMs) بشكل متكرر من الهلوسة، وتحديداً ظاهرة تُعرف باسم "تحيز النعم" (yes-bias). في المهام الثنائية (نعم/لا) — مثل كشف الأشياء، أو الاستدلال، أو الإجابة على الأسئلة الواقعية — تميل النماذج إلى الاستجابة بكلمة "نعم" بشكل عشوائي، بغض النظر عن الأدلة البصرية أو النصية الفعلية.

تتبع الأبحاث الحالية عادةً "فرضية التمركز حول الصورة"، والتي تفترض أن الهلوسة تنبع من عدم كفاية الانتباه المخصص لنمط الصورة (modality). وبناءً على ذلك، تركز معظم استراتيجيات التخفيف فقط على زيادة الانتباه للصورة. ويرى المؤلفون أن هذه الرؤية غير مكتملة لأنها تتجاهل دور نمط النظام (مثل رموز <BOS>، أو رسائل النظام)، والنمط النصي، وكلاهما قد يحمل أوزان انتباه غير متناسبة أو زائدة عن الحاجة.

2. المنهجية: فرضية الوساطة عبر النظام

يقترح المؤلفون "فرضية الوساطة عبر النظام" (system-mediated hypothesis): تنشأ الهلوسة لأن أوزان الانتباه الزائدة وظيفياً في نمط النظام (والتي تعمل غالباً كـ "بالوعات انتباه" - attention sinks) تحرم نمطي الصورة والنص من الانتباه الضروري.

إطار العمل التجريبي:

• التدخل المستهدف: تركز الدراسة على الطبقات المتأخرة (Q4، الطبقات 25-32) من فك تشفير النص في نموذج LLaVA-1.5 7B، حيث تم تحديدها كمواقع رئيسية للهلوسة.
• إعادة التوزيع السببي: بدلاً من مجرد القياس البسيط، يستخدم المؤلفون إعادة التوزيع النسبي. يقومون بإلغاء أوزان الانتباه لنمط "المصدر" (zero-ablate) وإعادة تخصيص هذه الكتلة للأنماط "المستلمة" بما يتناسب مع أوزانها الأصلية.
  • اختبار الوساطة عبر النظام: إعادة التوزيع من النظام إلى كل من الصورة والنص.
  • اختبار التمركز حول الصورة: إعادة التوزيع من النص إلى الصورة.
• المعايير المرجعية: يستخدمون ستة معايير اختبار مزدوجة المحفزات (مثل HallusionBench، وWinoground، وSugarCrepe) المصممة لاختبار التركيب الدقيق، حيث تتغير الحقيقة الأرضية بناءً على اختلافات بصرية أو نصية طفيفة.
• المقاييس: الدقة البسيطة، والدقة المزدوجة (الصحة في كلا المحفزين في الزوج)، و"معدل النعم" (تكرار الاستجابات بـ "نعم").

3. المساهمات الرئيسية

1. تحديد انتباه النظام كمحرك: أثبتوا أن انتباه النظام الزائد في الطبقات المتأخرة هو عامل سببي رئيسي في "تحيز النعم".
2. صياغة تفسير شامل: انتقلوا من الرؤية المتمحورة حول الصورة إلى رؤية وسيطة عبر النظام، موضحين أن الهلوسة هي نتيجة لعدم التوازن عبر جميع الأنماط الثلاثة.
3. التفسير الآلي: قدموا دليلاً على أن انتباه النظام يشجع على التجميع العابر للأنماط الخشن (coarse, cross-modal aggregation) (التمثيلات العالمية)، وهو أمر مفيد للمهام العامة ولكنه ضار بالمهام التركيبية دقيقة التفاصيل.

** 4. النتائج**

• تفوق إعادة التوزيع: تفوقت إعادة التوزيع النسبي للانتباه من نمط النظام إلى كل من نمطي الصورة والنص (Q4 system redistribution) بشكل كبير على طرق تعزيز الصورة فقط (PAI) وتقليل النص (AD-HH).
• التحقق من الفرضية: في الاختبارات الزوجية، حققت عمليات النقل من النظام إلى النص أعلى مكاسب في الأداء، تليها عملية النقل من النظام إلى الصورة. وهذا يتناقض مباشرة مع فرضية التمركز حول الصورة، التي تتوقع أن عمليات النقل من النص إلى الصورة ستكون أكثر فعالية.
• الفوارق النوعية للمهام: أدى التدخل إلى تحسين الأداء في المهام التي تتطلب تدقيقاً دقيقاً (مثل Winoground) ولكنه أدى في الواقع إلى خفض الأداء في مهام مثل MME، التي تعتمد على المعرفة العالمية عالية المستوى. وهذا يؤكد أن انتباه النظام يسهل الاستدلال "الخشن".
• الدليل التمثيلي: أظهر المؤلفون أن إعادة توزيع انتباه النظام تؤدي بشكل كبير إلى خفض تشابه جيب التمام (cosine similarity) بين التمثيلات الصورية والنصية، مما يثبت أن انتباه النظام كان يفرض بالفعل دمج الأنماط في تمثيل واحد خشن ومجمع.
• القدرة على التعميم: بينما كان التأثير أكثر وضوحاً في LLaVA-7B، لوحظت اتجاهات مماثلة (وإن كانت أقل حدة) في عائلة LLaVA-13B وQwen2-VL، مما يشير إلى أن هذه الظاهرة هي سمة هيكلية لنماذج الرؤية واللغة الحالية.

5. الأهمية

تغير هذه الورقة البحثية النموذج السائد في أبحاث الهلوسة في نماذج الرؤية واللغة من "النموذج لا ينظر إلى الصورة بما يكفي" إلى "النموذج ينظر إلى رموز النظام/البالوعات أكثر من اللازم". ومن خلال تحديد عدم توازن الانتباه بوساطة النظام كأداة للتحكم، توفر الدراسة مساراً جديداً وأكثر فعالية للتخفيف من الهلوسة. وهي تقترح أن استراتيجيات التخفيف المستقبلية لا ينبغي أن تكتفي بتعزيز الانتباه البصري فحسب، بل يجب أن تدير بنشاط إعادة توزيع الانتباه الزائد من رموز النظام غير المعلوماتية إلى الأنماط المدخلة المعلوماتية.