Revealing Multi-View Hallucination in Large Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "كشف الهلوسة متعددة الرؤى في النماذج اللغوية البصرية الكبيرة" (Revealing Multi-View Hallucination in Large Vision-Language Models).

1. تعريف المشكلة: الهلوسة متعددة الرؤى (MVH)

تحدد الورقة نمط فشل حرج في النماذج اللغوية البصرية الكبيرة (LVLMs) عند معالجة الصور متعددة الرؤى (الصور التي تلتقط لنفس المشهد من زوايا نظر مختلفة، مثل منظور الشخص الأول ومنظور الشخص الثالث).

• الظاهرة: بينما تتفوق النماذج الللغوية البصرية الكبيرة في التفسير أحادي الرؤية، فإنها غالباً ما تخلط بين المعلومات المرئية الناشئة عن نماذج أو زوايا نظر مختلفة عند توفير صور متعددة. يطلق المؤلفون على هذا المصطلح الهلوسة متعددة الرؤى (Multi-View Hallucination - MVH).
• فئتان من الـ MVH:
  1. الهلوسة عبر النماذج (Cross-Instance Hallucination): يخلط النموذج بين النموذج المستعلم عنه ونموذج آخر مختلف في المشهد.
     • مثال: عند السؤال "ماذا يفعل الشخص الذي يرتدي قميصاً أبيض؟"، يجيب النموذج بناءً على الشخص الذي يرتدي قميصاً أسود.
  2. الهلوسة عبر الرؤى (Cross-View Hallucination): يتجاهل النموذج زاوية النظر المحددة ويعتمد على معلومات من رؤية غير مستعلم عنها.
     • مثال: عند السؤال "في الرؤية 1، في أي اتجاه تشير عبوة الري؟"، يجيب النموذج بناءً على الاتجاه في الرؤية 2.
• السبب الجذري: تجادل الورقة بأن الـ MVH تنشأ من عدم اكتمال فهم الاستعلام. فعندما يفشل النموذج في دمج السياق النصي بالكامل (تحديداً واصف النموذج وتحديد زاوية النظر) قبل الانتباه إلى الميزات المرئية، يصبح عرضة لـ "المثيرات البصرية المشتتة" من النماذج أو الرؤى غير المستهدفة.

2. المنهجية

أ. MVH-Bench: معيار جديد

قام المؤلفون ببناء MVH-Bench، وهو مجموعة بيانات تضم 4,800 زوج من الأسئلة والأجوبة.

• مصادر البيانات: مستمدة من مجموعات بيانات Ego-Exo4D و LEMMA، والتي تحتوي على فيديوهات متعددة الرؤى متزامنة للتفاعلات البشرية.
• خطوات البناء:
  1. الاستخراج: استخدام GPT-4o لاستخراج أزواج "النموذج-الواصف" (مثلاً: النموذج: "شخص يرتدي قميصاً أبيض"، الواصف: "يشير إلى الزهور") من كل رؤية.
  2. التوليد: توليد أسئلة ثنائية (نعم/لا) ومتعددة الخيارات تلقائياً عن طريق تبديل النماذج والواصفات عبر الرؤى لخلق "مشتتات".
  3. التحقق: يقوم مقيمون بشريون بالتحقق من الأزواج لضمان الصحة وإزالة الحالات التافهة.
• مقاييس التقييم:
  • p-Acc (دقة الزوج): يقيس ما إذا كان النموذج يجيب بشكل صحيح على كلا نسختي "نعم" و "لا" لزوج الأسئلة.
  • q-Acc (دقة الرباعية): يتطلب من النموذج الإجابة على جميع الأسئلة الثنائية الأربعة في المجموعة بشكل صحيح (فحص أكثر صرامة للاتساق).
  • YER (نسبة خطأ "نعم") و AER (نسبة الخطأ العدائي): تقيس الانحياز نحو إجابات "نعم" أو اختيار مشتتات عدائية محددة.
  • MVH-Score: مقياس مركب يجمع كافة المقاييس القائمة على الدقة.

ب. تحليل تكوين سياق الاستعلام

بحث المؤلفون في أين يتم تشكيل سياق الاستعلام في بنية الـ LVLM.

• التجربة: طبقوا قناعاً (mask) لمنع الانتباه من نص إلى نص (text-to-text attention) في طبقات محددة من مفسر المحول (Transformer decoder).
• النتيجة: أدى حجب الانتباه في الطبقات المتوسطة (مثل الطبقات 13-20 في LLaVA-OneVision) إلى انخفاض كبير في "دقة المرجع" (القدرة على ربط الوصف بالصورة الصحيحة). وهذا يعني أن الطبقات المتوسطة حاسمة لتوليف الاستعلام النصي الكامل قبل الانتباه إلى الرموز المرئية (visual tokens).

ج. الحل المقترح: فك التشفير التبايني لإزاحة المرجع (RSCD)

للحد من الـ MVH دون إعادة تدريب، اقترح المؤلفون RSCD، وهي تقنية فك تشفير لا تتطلب تدريباً.

• الفكرة الجوهرية: تضخيم التباين بين تنبؤ النموذج الأصلي والتنبؤ الناتج تحت ظروف "الفهم المختل".
• الآلية:
  1. قناع إزاحة المرجع ($M_{rs}$): في الطبقات المتوسطة ($\Lambda^*$)، يقوم النموذج بحجب أعلى نسبة مئوية ($\rho\%$) من أوزان الانتباه من الرموز النصية إلى الرمونات النصية الأخرى. هذا يعطل عمداً تشكيل سياق الاستعلام الكامل، مما يجبر النموذج على الاعتماد على فهم جزئي وبالتالي الانتباه إلى ميزات مرئية غير صحيحة (توليد "لوجيتات سالبة").
  2. فك التشفير التبايني: يتم تعديل اللوجيتات النهائية بطرح اللوجيتات السالبة من اللوجيتات الأصلية:
     $$\text{logit}_{rscd} = (1 + \alpha) \cdot \text{logit}_{orig} - \alpha \cdot \text{logit}_{disrupted}$$
  3. النتيجة: تعمل هذه العملية على كبح التنبؤات القائمة على المثيرات المرئية غير المستهدفة (المشتتات) وتضخيم تلك القائمة على النموذج/الرؤية الصحيحة.

3. المساهمات الرئيسية

1. التعريف والتصنيف: صياغة مفهوم الهلوسة متعددة الرؤى، والتمييز بين أخطاء النماذج (Cross-Instance) وأخطاء الرؤى (Cross-View).
2. MVH-Bench: تقديم معيار صارم يحتوي على 4.8 ألف زوج من الأسئلة والأجوبة ومقاييس متخصصة (p-Acc, q-Acc) لتقييم المتانة متعددة الرؤى.
3. اكتشاف الآلية: إثبات أن طبقات الانتباه من نص إلى نص في الطبقات المتوسطة حاسمة لربط الاستعلام؛ حيث يؤدي تعطيلها إلى كشف اعتماد النموذج على المشتتات المرئية.
4. خوارزمية RSCD: اقتراح طريقة فك تشفير بسيطة لا تتطلب تدريباً تتفوق بشكل كبير على تقنيات الحد من الهلوسة الحالية.

4. النتائج التجريبية

قيم المؤلفون 15 نموذجاً من أحدث النماذج اللغوية البصرية الكبيرة (سواء كانت مغلقة المصدر مثل GPT-4o أو مفتوحة المصدر مثل LLaVA-OneVision و Qwen2.5-VL) على MVH-Bench.

• أداء خط الأساس: عانت جميع النماذج بشكل كبير، مع درجات منخفضة في p-Acc و q-Acc، مما يشير إلى عدم قدرة واسعة النطاق على التمييز بين الرؤى والنماذج.
• أداء RSCD:
  • تفوق RSCD باستمرار على الطرق الموجودة (VCD, ICD, AvisC).
  • التحسينات:
    • Qwen2.5-VL-7B: حسن درجة MVH-Score بمقدار 21.1 نقطة عن أفضل طريقة تالية.
    • LLaVA-OneVision-7B: حسن درجة MVH-Score بمقدار 34.6 نقطة.
  • الكفاءة: على عكس الطرق التباينية الأخرى التي تتطلب إعادة معالجة الرموز المرئية أو تعديل المدخلات، يعيد RSCD استخدام حالات المفتاح والقيمة (KV cache) المخزنة، مما يؤدي إلى حد أدنى من العبء الإضافي في الاستدلال (0.89 ثانية لكل استعلام مقابل 1.38 ثانية للنماذج المرجعية).
• التحليل النوعي: أكدت تصورات خرائط الانتباه أن RSCD نجح في تحويل انتباه النموذج بعيداً عن المناطق المشتتة (مثل حوض غسيل في الرؤية الخاطئة) نحو المنطقة المستهدفة الصحيحة المحددة في الاستعلام.

5. الأهمية

يعالج هذا العمل فجوة حرجة في نشر النماذج اللغوية البصرية الكبيرة في الذكاء الاصطاذي المتجسد (Embodied AI)، والتوائم الرقمية، والمراقبة، حيث تعتبر المدخلات متعددة الرؤى معياراً أساسياً.

• السلامة والموثوقية: من خلال تحديد وتخفيف الـ MVH، تعزز الورقة موثوقية وكلاء الذكاء الاصطناعي الذين يجب أن يعملوا بناءً على زوايا نظر محددة أو أجسام متميزة في مشاهد معقدة.
• الكفاءة: يوفر RSCD حلاً عالي الكفاءة وقابلاً للتركيب (plug-and-play) لا يتطلب ضبطاً دقيقاً مكلفاً، مما يجعله قابلاً للتطبيق الفوري على النماذج الحالية والمستقبلية.
• الرؤية العميقة: إن اكتشاف أن طبقات النص المتوسطة محورية للربط البصري يوفر اتجاهاً جديداً للتحليل الهيكلي واستراتيجيات فك التشفير المستقبلية في النماذج متعددة الوسائط.