Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

ملخص تقني: ما وراء مشفر الرؤية: تحديد وتخفيف التحيز المكاني في النماذج اللغوية البصرية الكبيرة

1. بيان المشكلة

حققت النماذج اللغوية البصرية الكبيرة (LVLMs) نجاحاً كبيراً في المهام متعددة الوسائط، لكنها تظهر عدم كفاية في المتانة فيما يتعلق بالتباينات المكانية. وتحديداً، غالباً ما تنتج هذه النماذج مخرجات غير متسقة أو متناقضة عندما توضع نفس المعلومات البصرية الرئيسية في مواقع مختلفة داخل الصورة. هذه الظاهرة، التي تُسمى التحيز المكاني، تشير إلى أن الفهم الدلالي للنماذج ليس ثابتاً تجاه الموقع (position-invariant) بل هو منحاز نحو تفضيلات مكانية محددة.

بينما ربطت الأبحاث السابقة التحيز المكاني بهلوسة الأشياء أو تأثيرات التحلل طويل الأمد لترميز الموضع الدوار (RoPE)، تجادل هذه الورقة بأن هذه التفسيرات تفتقر إلى القدرة على التعميم أو تفشل في معالجة السبب الجذري في الفهم الدلالي الأساسي. وتفترض الورقة أن هذا التحيز لا ينبع من قدرات الإدراك أو الترميز الخاصة بمشفر الرؤية، بل من عدم تطابق في آليات الانتباه بين مشفر الرؤية والنموذج اللغوي الكبير (LLM) الذي يشكل العمود الفقري.

2. المنهجية والتحليل

أ. الاستقصاء المنهجي للمتانة المكانية
لقياس التحيز المكاني، صمم المؤلفون مجموعة بيانات استقصائية محكومة تعتمد على مطابقة الصور والنصوص.

• بناء مجموعة البيانات: تم أخذ 1 / 10,000 زوج من (صورة-وصف) من مجموعة LAION. لكل صورة رئيسية، تم استرجاع 8 صور مشتتة. تم ترتيب الصورة الرئيسية والمشتتات في شبكة $3 \times 3$ لتشكيل صورة مركبة.
• الإعداد التجريبي: تم نقل الصورة الرئيسية بشكل منهجي إلى كل موقع من المواقع التسعة في الشبكة ($n=0$ إلى $8$) مع الحفاظ على الوصف والمشتتات ثابتة. طُلب من النموذج الإجابة على سؤال ثنائي لتحديد ما إذا كانت الصورة المركبة تحتوي على الصورة المستهدفة.
• النتائج: كشفت التجارب على ستة نماذج ممثلة لـ LVLMs (بما في ذلك Qwen2.5-VL و LLaVA-v1.6 و InternVL3) عن تقلبات كبيرة في الدقة عبر مواقع الشبكة المختلفة. ومن الجدير بالذكر أن الأداء لم يرتبط بقوة بالمسافة بين الرموز (tokens)، مما يشير إلى أن التحيز ليس ناتجاً بشكل أساسي عن تحلل RoPE طويل الأمد.

ب. تحليل السبب الجذري
قام المؤلفون بتفكيك مسار المعالجة البصرية إلى مرحلتين لعزل مصدر التحيز:

1. مرحلة الإدراك (البحث بالمسح - Eraser Search): باستخدام تجارب القناع (masking)، أكدت الدراسة أن النماذج (LVLMs) تحدد المناطق الحرجة باستمرار بغض النظر عن موقعها المكاني. الإدراك متين مكانياً.
2. مرحلة الفهم الدلالي (مشفر الرؤية): من خلال قياس تشابه جيب التمام (cosine similarity) بين السمات البصرية وتضمينات النصوص عبر مواقع مختلفة، وجدت الدراسة أن مشفر الرؤية ينتج تمثيلات مستقرة ومتوافقة دلالياً بشكل مستقل عن الموقع.
3. عنق الزجاجة في النموذج اللغوي الكبير (LLM): بما أن كلاً من الإدراك وتشفير الرؤية يتمتعان بالمتانة، فإن التحيز ينبع من الاستدلال عبر الوسائط في الـ LLM. يفترض المؤلفون أن آلية الانتباه الذاتي السببي (causal self-attention) في النماذج اللغوية الكبيرة (والتي تقيد الرموز بالانتباه فقط للرموز السابقة) تعطل تدفق المعلومات العالمي ثنائي الاتجاه الذي أنشأه محول الرؤية (ViT). هذا التعطيل يؤدي إلى فقدان رموز الصورة للوصول إلى السياق العالمي الشامل أثناء انتشارها عبر طبقات الـ LLM، مما يجعل مساهمتها تعتمد بشكل مفرط على موقعها.

ج. الحل المقترح: حقن السياق العالمي التكيفي (AGCI)
للتخفيف من ذلك دون تعديلات هيكلية، يقترح المؤلفون آلية AGCI، وهي آلية خفيفة الوزن تقوم بحقن سياق بصري عالمي مشترك ديناميكياً في كل رمز صورة.

• الآلية:
  1. حساب السياق الصوري العالمي $\tilde{g}$ كمتوسط تمثيل لجميع رموز الصورة.
  2. حساب التشابه الدلالي $w_i$ بين كل رمز صورة $\tilde{v}_i$ والسياق العالمي.
  3. حقن السياق العالمي في كل رمز بقوة تكيفية تتناسب مع $(1 - w_i)$:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. هنا، $\lambda$ هو معلمة فائقة (hyperparameter) تعمل كصمام أمان للحفاظ على التفاصيل الدقيقة؛ حيث تتلقى الرموز ذات الصلة الدلالية العالمية الأقل تعزيزاً أقوى.

3. النتائج الرئيسية

أ. المتانة المكانية (مهمة الاستقصاء)

• قللت AGCI بشكل كبير من تباين الدقة ($\Delta$) عبر مواقع الشبكة لجميع النماذج المختبرة.
• بالنسبة للنماذج ذات التحيز الأولي العالي (مثل LLaVA-v1.6)، قللت AGCI التباين من 14.93 إلى 8.05 وحسنت متوسط الدقة من 70.82 إلى 80.75.
• بالنسبة للنماذج الأكبر (مثل Qwen2.5-VL-72B)، حسنت AGCI متوسط الدقة من 70.12 إلى 86.11 مع الحفاظ على تباين منخفض.

ب. أداء المهام النهائية (Downstream Tasks)
تم تقييم AGCI على ستة معايير للمهام النهائية باستخدام ضبط دقيق خفيف باستخدام LoRA:

• الاستدلال المعقد (MMMU-Pro, ScienceQA): حسنت AG_CI الأداء، خاصة في إعدادات الخيارات العشرة، مما يشير إلى تكامل أفضل للمؤشرات البصرية والفهم العالمي.
  بما أن معايير الهلوسة (CRPE, HallusionBench, POPE): قللت AGCI عموماً من نزعات الهلوسة وحسنت موثوقية التنبؤ. على سبيل المثال، في اختبار POPE، تحسن متوسط دقة Qwen3-VL من 84.51 إلى 86.96.
• مهام التعرف الضوئي على الحروف (TextVQA): أظهرت AGCI مكاسب قوية (على سبيل المثال، +4.93 لـ LLaVA-v1.6)، مما يشير إلى أن السياق العالمي يساعد في تجميع المناطق النصية المشتتة.

ج. تصور تدفق المعلومات
أظهرت تصورات خرائط الانتباه أن النماذج الأساسية غالباً ما تركز على مناطق مكانية غير ذات صلة (مثل الزاوية العليا اليسرى) بسبب التحيز الموضعي. بعد تطبيق AGCI، أصبح الانتباه أكثر تركيزاً على المناطق ذات الصلة بالمهمة (مثل نص OCR محدد)، مما يؤكد أن AGCI تستعيد التمثيل السياقي المتوازن.

4. الأهمية والادعاءات

تدعي الورقة ثلاث مساهمات رئيسية:

1. الاستقصاء المنهجي: تقدم دليلاً تجريبياً على أن تنبؤات LVLMs تختلف بشكل كبير مع الموقع المكاني للمحتوى البصري المتطابق، مما يسلط الضوء على ضعف حرج في الفهم المكاني الحالي.
2. تحديد السبب الجذري: تحدد مصدر التحيز المكاني في فقدان السياق الصوري العالمي الناتج عن آلية الانتباه السببي في الـ LLMs، وتستبعد صراحةً مشفر الرؤية وتحلل RoPE كأسباب رئيسية.
3. التخفيف الفعال: تقدم AGCI، وهي طريقة بسيطة وغير مرتبطة بهيكل معين، تعزز المتانة المكانية والأداء في المهام النهائية دون التضحية بالقدرات الجوهرية.

يؤكد المؤلفون أن AGCI تعمل من خلال استعادة الوصول المستقر إلى السياق العالمي أثناء الاستدلال عبر الوسائط، وبالتالي تخفيف عدم الاتساق الناتج عن عدم التطابق بين ترميز الرؤية ثنائي الاتجاه والنمذجة اللغوية السببية. يشير العمل إلى أن تعزيز الدلالات البصرية العالمية بشكل صريح أمر بالغ الأهمية لتحقيق فهم متعدد الوسائط متين وغير مرتبط بالموقع.