ملخص تقني: عندما تطغى اللغة على الرؤية

1. بيان المشكلة

تعاني نماذج الرؤية واللغة (VLMs)، ولا سيما تلك القائمة على بنى فك التشفير (decoder architectures)، من نمط فشل حرج رغم اعتمادها المتزايد في التطبيقات عالية المخاطر، وهو: هلوسة الأشياء (object hallucination). حيث تصف هذه النماذج بثقة محتوى بصرياً غير موجود في الصورة المدخلة.

تحدد الورقة البحثية السبب الجذري ليس مجرد نقص في المحاذاة، بل هو المحاذاة الهندسية المفرطة (geometric over-alignment).

• فجوة الأنماط (The Modality Gap): تشغل التمثيلات البصرية واللغوية بطبيعتها فضاءات فرعية (manifolds) منفصلة داخل فضاء كامن مشترك.
• آلية المحاذاة المفرطة: لتلبية متطلبات آليات الانتباه عبر الوسائط (cross-modal attention) في نماذج الـ VLM القائمة على فك التشفير، تقوم النماذج بقوة بفرض تداخل التمثيلات البصرية مع الفضاء اللغوي (text manifold).
• النتيجة: يؤدي هذا الانهيار القسري إلى حقن انحياز لغوي إحصائي (statistical linguistic bias) في التمثيلات البصرية. تستغل النماذج "اختصاراً هيكلياً" حيث يتم الاستيلاء على المكونات الرئيسية العليا (top principal components - PCs) لفضاء التمثيل البصري لتكون بمثابة مرساة للنمط اللغوي. وبناءً على ذلك، يتم طمس الأدلة البصرية الدقيقة بواسطة الأنماط النصية عالية الاحتمالية، مما يجعل النموذج يعتمد على الأولويات اللغوية بدلاً من الانتباه للصورة الفعلية.

لقد حاولت الأعمال السابقة إما سد فجوة الأنماط بقوة (مما قد يؤدي لتفاقم المحاذاة المفرطة) أو كبح الهلوسة عبر استراتيجيات فك تشفير "الصندوق الأسود" المكلفة (مثل فك التشفير التبايني - contrastive decoding) دون معالجة السبب الهندسي الكامن.

2. المنهجية

تقترح المؤلفة إطار عمل لإزالة الانحياز الهندسي (geometric debiasing framework) يعامل الانحياز النصي كفضاء فرعي يمكن عزله خطياً ضمن التمثيلات البصرية.

أ. التحليل الآلي (Mechanistic Analysis)

• تعريف الفضاء اللغوي: يحدد المؤلفون نظام إحداثيات للفضاء اللغوي من خلال إجراء تحليل المكونات الرئيسية (PCA) على تمثيلات الرموز (token embeddings) المستمدة من النصوص الوصفية (captions) المستخدمة في التدريب المسبق. ويثبتون أن المكونات الرئيسية العليا تشكل فضاءً عالمياً، غير مرتبط بمجموعة بيانات محددة، يمثل الانحياز اللغوي الإحصائي.
• المحاذاة على مستوى الطبقات: يكشف التحليل أنه في نماذج الـ VLMs القياسية، تتوافق الرموز البصرية بقوة مع هذا الفضاء اللغوي في طبقات فك التشفير المبكرة والمتوسطة.
• الطغيان البصري: تظهر عملية الاختبار الخطي (linear probing) أنه مع انتقال الرموز البصرية عبر الشبكة، تتدهور قابليتها للفك (decodability) لأن المكونات الرئيسية العليا تعمل كـ "قناع هيكلي"، مما يطغى على الإشارات البصرية الحقيقية بالبنى والأولويات النصية.

ب. الحلول المقترحة

تقدم الورقة طريقتين متكاملتين لإزالة هذا الانحياز:

1. استراتيجية الاستدلال الخالية من التدريب (بعد المعالجة - Post-hoc):

   • عند الاستدلال، تقوم الطريقة بإسقاط التمثيلات البصرية بشكل متعامد على المكونات الرئيسية العليا ($k$) للفضاء اللغوي.
   • الصيغة: $\vec{v}_{debiased} = \vec{v} - \sum_{i=1}^{k} ((\vec{v} - \vec{m}) \cdot \vec{k}_i)\vec{k}_i$، حيث $\vec{v}$ هو التمثيل البصري، و$\vec{m}$ هو متوسط الفضاء اللغوي، و$\vec{k}_i$ هي المكونات الرئيسية العليا.
   • تقوم هذه العملية بإزالة "المرساة النصية" دون الحاجة إلى تدريب إضافي للنموذج أو تكلفة حسابية زائدة.

2. نموذج الضبط الدقيق الواعي بالانحياز (Bias-Aware Fine-Tuning):

   • خلال عملية الضبط الدقيق، يتم تطبيق نفس عملية إزالة المكونات الرئيسية العليا ($k$) على مخرجات جهاز الإسقاط عبر الوسائط (cross-modal projector) قبل دخولها إلى مُفكك الشفرة (LLM decoder).
   • هذا يحرم الشبكة هيكلياً من الاختصارات اللغوية الإحصائية أثناء تحديثات المعلمات، مما يجبر النموذج على ترميز الأدلة البصرية بشكل أصيل من أجل الربط (grounding).

3. المساهمات الرئيسية

• التوصيف الكمي للمحاذاة المفرطة: تقدم الورقة أول تحليل صريح يوضح أن الانحياز اللغوي في نماذج الـ VLM القائمة على فك التشفير يتركز في المكونات الرئيسية العليا لفضاء التمثيل البصري، مما يؤدي لتدهور القدرة على فك الترميز البصري.
• إطار عمل هندسي مبتكر: طريقة غير مرتبطة بمهمة محددة لعزل وقياس تغلغل الانحياز اللغوي، مع تحديد أن هذا الانحياز يتركز بكثافة في المكونات الرئيسية العليا للفضاء الكامن.
• إزالة الانحياز الخالية من التدريب: تدخل مبدئي قائم على معالجة ما بعد الاستدلال، يعزز الربط البصري بشكل كبير عبر اختبارات متنوعة مع صفر تكلفة حسابية إضافية فوق النموذج الأساسي.
• الضبط الدقيق الواعي بالانحياز: إطار عمل تدريبي متخصص يجبر النموذج على الاعتماد على الأدلة البصرية عبر إزالة الاختصارات اللغوية الإحصائية خلال حلقة التدريب.

4. النتائج التجريبية

تم تقييم الطرق على عدة بنيات (Qwen2.5-VL-7B, LLaVA-1.5-7B) ومعايير قياسية.

• تقليل الهلوسة:

  • POPE: تحسن من 87.3 إلى 88.4 (Qwen) ومن 82.8 إلى 83.8 (LLaVA).
  • CHAIR: انخفاضات كبيرة في معدلات الهلوسة. بالنسبة لـ Qwen2.5-VL-7B، انخفضت CHAIR من 5.14 إلى 4.23 (-17.7%)؛ وبالنسبة لـ LLaVA-1.5-7B، انخفضت من 9.20 إلى 6.74 (-26.7%).
  • AMBER: تحسينات جوهرية في كل من مقاييس مستوى الحالة (instance-level) ومستوى الجملة (sentence-level).
  • المقارنة: تفوقت الطريقة الخالية من التدريب على أو ساوت في الأداء مع النماذج المرجعية المكلفة حسابياً مثل VCD وSID وDMAS.

• الوصف الطويل (درجة CLAIR):

  • تم التقييم باستخدام VRSBench وTextCaps عبر درجة CLAIR (التي تعاقب المحتوى المهلوس).
  • تفوق نموذج الضبط الدقيق الواعي بالانحياز باستمرار على كل من نماذج Zero-shot ونماذج الضبط الدقيق الخاضعة للإشراف (SFT) القياسية.
  • مثال: في VRSBench مع Qwen2.5-VL-7B، تحسنت الدرجة من 72.30 (SFT القياسي) إلى 74.70.

• تحليل عدسة اللوجيت (Logit Lens Analysis):

  • كشف تتبع التمثيلات الكامنة أن النماذج المرجعية كانت تفك رموز الرقع البصرية (visual patches) كعلامات نحوية عالية الاحتمالية (مثل علامات الترقيم، حروف الجر).
  • بعد إزالة الانحياز الهندسي، نجحت النماذج في فك رموز دلالات بصرية دقيقة (مثل "مقعد"، "ثلاجة"، "سطح خشبي")، مما أكد إزالة البروتوكول النحوي.

5. الأهمية والادعاءات

تجادل الورقة بأن الافتراض السائد — وهو أن سد فجوة الوسائط هو الاستراتيجية الصحيحة — هو افتراض خاطئ. بدلاً من ذلك، يجب أن توجد فجوة وسائط متعمدة للحفاظ على السلامة الهندسية للتمثيلات البصرية.

• الرؤية الجوهرية: فرض التداخل الكامل بين الفضاءات البصرية والنصية يلوث التمثيلات البصرية بالانتظامات الإحصائية الزائفة للغة.
• الآثار المترتبة: من خلال إسقاط المكونات الرئيسية النصية العليا صراحةً، يُجبر النموذج على الانتباه للأدلة البصرية الفعلية بدلاً من الاعتماد على الأولويات اللغوية.
• الاعتراف بالقصور: يشير المؤلفون إلى أن بنية فك التشفير الحالية، التي تتطلب ضغط الفضاء البصري الدقيق في فضاء نصي، قد تكون معيبة بنيوياً. ويقترحون أن البنى المستقبلية قد تحتاج إلى مشفرات (encoders) منفصلة خاصة بكل وسيط. بالإضافة إلى ذلك، تعتمد الطريقة على افتراض أن الانحياز النصي يمكن عزله تماماً في فضاء فرعي خطي، وهو ما قد يواجه صعوبات في المجالات ذات التوزيعات الخارجة عن النطاق (out-of-distribution).

في الختام، يثبت هذا العمل أن الهلوسة في نماذج الـ VLMs ليست مجرد مشكلة فك تشفير، بل هي مشكلة تمثيل ناتجة عن المحاذاة الهندسية المفرطة، ويمكن التخفيف منها من خلال إزالة الانحياز الهندسي المبدئي.