ملخص تقني: التخفيف من الهلوسة في النماذج اللغوية البصرية الكبيرة عبر بوابات المسار السببي

1. بيان المشكلة

تعاني النماذج اللغوية البصرية الكبيرة (LVLMs) بشكل متكرر من الهلوسة، حيث تولد محتوىً بليغاً ومحتمل الحدوث ولكنه يفتقر إلى الدعم من الصورة المدخلة. تقوض هذه المشكلة موثوقية النماذج اللغوية البصرية الكبيرة في النشر الواقعي، لا سيما في الإعدادات الحرجة للسلامة أو دعم اتخاذ القرار.

يحدد البحث نمط فشل محدد: منافسة المسارات (route competition). فحتى عندما تتلقى الرموز البصرية (visual tokens) انتباهاً، يمكن أن يهيمن المسار النصي على قرار الرمز النهائي. ونتيجة لذلك، يتبع فك التشفير (decoder) الأولويات اللغوية (ما هو منطقي لغوياً) بدلاً من الأدلة البصرية (ما هو مرئي). وتجادل الاستراتيجيات الحالية للتخفيف من الهلوسة التي لا تتطلب تدريباً بأنها تعتمد على وسطاء قائمة على الانتباه (مثل نسبة الانتباه البصري، VAR) أو إعادة تحجيم الرؤوس بشكل عام. ويرى المؤلفون أن هذه الأساليب غير كافية لأن:

• الكتلة العالية للانتباه لا تترجم بالضرورة إلى مساهمة سببية في المخرجات.
• قد يؤدي تطبيع "softmax" إلى تضخيم حصص الانتباه البصري بشكل زائف عن طريق إضعاف المنافسة النصية دون ترسيخ القرار فعلياً.
• إعادة التحجيم العام (Coarse rescaling) تقمع المسارات البصرية والنصية معاً، مما قد يضر بالاستدلال المرتكز على الأدلة بشكل حقيقي.

2. المنهجية: بوابة المسار السببي (CRG)

الأسلوب المقترح، بوابة المسار السببي (CRG)، هو تدخل أثناء الاستنتاج ولا يتطلب تدريباً، يعمل على مستوى الرمز (token level) من خلال تفكيك رؤوس الانتباه إلى مسارين بصري ونصي متميزين.

2.1. تفكيك المسار داخل الرأس

يستفيد المؤلفون من خطية عمليات "Transformer" لتفكيك مخرجات كل رأس انتباه $h$ في الطبقة $l$ إلى مكونين جمعيين:

• المسار البصري ($O^{vis}_{l,h}$): المساهمة المستمدة من الرموز البصرية.
• المسار النصي ($O^{txt}_{l,h}$): المساهمة المستمدة من الرموز النصية.
  إجمالي مخرج الرأس هو $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$.

2.2. تأثيرات المسار السببي المتوافقة مع القرار (CRE)

بدلاً من الاعتماد على أوزان الانتباه، يقيس CRG الأثر السببي لكل مسار على درجة قرار الرمز الحالي $\ell$ (على سبيل المثال، لوغاريتم احتمالية الرمز المولد أو هامش الاحتمال اللوغاريتمي للاختبار الثنائي). باستخدام تدخلات "do" (do-interventions)، تُعرف التأثيرات كما يلي:

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$: التغير في الدرجة عند إزالة المسار البصري.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$: التغير في الدرجة عند إزالة المسار النصي.

تشير القيمة الموجبة لـ $\Delta$ إلى أن المسار يدعم القرار؛ بينما تشير القيمة السالبة إلى أنه يعارضه.

2.3. تحديد الصراع ومؤشر الاعتماد البصري (VRI)

تحدد الطريقة صراعات المسارات حيث تدفع المسارات البصرية والنصية القرار في اتجاهات متعاكسة (اختلاف إشارات $\Delta^{vis}$ و $\Delta^{txt}$).

• الصراع-أ (+، -): البصري يدعم، والنصي يعارض.
• الصراع-ب (-, +): البصري يعارض، والنصي يدعم (وهو العلامة المميزة للهلوسة حيث تطغى الأولويات اللغوية على الأدلة البصرية).

لتحديد أولويات التدخل، وضع المؤلفون مؤشر الاعتماد البصري (VRI):
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
يشير انخفاض VRI إلى أن الرأس مدفوع بالنص (يهيمن عليه الأولويات اللغوية).

2.4. التقدير الفعال والتدخل

• تقريب "تمريرة واحدة/تدرج واحد": يتطلب حساب تأثيرات "do" الدقيقة عدة تمريرات أمامية. يستخدم CRG تقريباً من الدرجة الأولى يتطلب فقط تمريرة أمامية واحدة واستعلام تدرج واحد لكل رمز. يتم اشتقاق التقديرات من الضرب الداخلي لمخرجات المسار وتدرج درجة القرار ($\nabla \ell$).
• البوابات الواعية بالصراع:
  1. اختيار أفضل $k$ من الرؤوس ذات أدنى قيم VRI ضمن مجموعات الصراع.
  2. تطبيق بوابة المسار النصي ($g^{txt}_{l,h}$) لقمع المساهمة النصية مع الحفاظ على المسار البصري سليماً ($g^{vis}_{l,h} = 1$).
  3. التقمع المتمايز:
     • الصراع-أ: تقمع خفيف (نطاق البوابة [0.5, 1.0]) لاستقرار الضجيج.
     • الصراع-ب: تقمع قوي (نطاق البوابة [0, 0.5]) لقطع الأولويات اللغوية التي تتعارض مع الأدلة البصرية.

3. المساهمات الرئيسية

1. التأثيرات السببية على مستوى المسار: تقديم تأثيرات سببية متوافقة مع القرار للمسارات البصرية والنصية داخل رؤوس الانتباه، متجاوزةً بذلك وسائط الانتباه الارتباطية.
2. مؤشر الاعتماد البصري (VRI): مقياس معياري لتحديد الرؤوس التي تهيمن عليها الأولويات اللغوية والتي تقود الهلوسة.
3. المقدر الفعال: مقدر من الدرجة الأولى يتيح اختيار الرؤوس في كل خطوة بأقل تكلفة حسابية (تمريرة واحدة، تدرج واحد).
4. التدخل الواعي بالصراع: آلية بوابات انتقائية تقمع المسار النصي فقط في الرؤوس المتصارعة، مما يحافظ على التجذر البصري.
5. التحليل النظري: إثبات أن كتلة الانتباه (VAR) ليست وسيطاً كافياً للتجذر البصري ذي الصلة بالقرار بسبب محتوى القيمة وتأثيرات منافسة "softmax".

4. النتائج التجريبية

تم تقييم الطريقة على خمسة معايير تشمل الإعدادات التمييزية (POPE, AMBER) والتوليدية (CHAIR, MMHal-Bench, MME) عبر ثلاثة نماذج (LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct).

• تقليل الهلوسة: قلل CRG باستمرار من الأخطاء المتعلقة بالهلوسة. في معيار POPE، حسن الدقة بنسبة 6.3% إلى 7.0% مقارنة بالتوليد العادي، وتفوق على نماذج قوية مثل VCD و OPERA و VTI.
• الأداء التوليدي: في معيار CHAIR، حقق CRG أدنى معدلات هلوسة (CS/CI) مع الحفاظ على استدعاء (recall) عالٍ وزيادة طفيفة فقط في طول التوليد.
• القدرة متعددة الوسائط: في معيار MME، حسنت الطريقة الأداء عبر الفئات الحساسة للتجذر (الوجود، العدد، الموقع، اللون) ومهام الاستدلال عالية المستوى، مما يشير إلى أن تقليل الهلوسة لم يأتِ على حساب الأداء العام متعدد الوسائط.
• الكفاءة: تسبب CRG في زيادة زمن انتقال قدرها 2.27 ضعفاً (حوالي 139 مللي ثانية/خطوة) مقارنة بالتوليد العادي، وهو ما يضاهي VCD ويعد أسرع بكثير من OPERA (7.12 ضعفاً). والأهم من ذلك، أنه لم يتسبب في أي زيادة في ذروة ذاكرة GPU (1.00x).

5. الأهمية والادعاءات

يدعي البحث أن الهلوسة في النماذج اللغوية البصرية الكبيرة هي غالباً نتيجة لـ منافسة المسارات غير المتوافقة حيث تطغى الأولويات اللغوية على الأدلة البصرية. ومن خلال كشف هذه المسارات الداخلية والتدخل فيها، يقدم CRG حلاً مستهدفاً:

• استعادة التجذر البصري: يسمح للنموذج بالاعتماد على الأدلة البصرية حتى عندما توحي الأولويات اللغوية بإجابة مختلفة.
• تجنب التقمع العشوائي: على عكس الطرق التي تعيد تحجيم الرؤوس بأكملها، يقوم CRP بتقمع المسار النصي فقط في الرؤوس المتصارعة، مما يحافظ على المسار البثري.
• توفير القابلية للتفسير: يوفر استخدام التأثيرات السببية و VRI تشخيصاً أوضح لسبب حدوث الهلوسة (أي رؤوس محددة تهيمن فيها الأولويات النصية على الأدلة البصرية) مقارنة بوسائط كتلة الانتباه.

6. القيود

أشار المؤلفون صراحةً إلى عدة قيود:

• النطاق: يستهدف CRG الهلوسات الناجمة عن الصراع. لا يمكنه تصحيح الأخطاء حيث يتشارك كل من المسارين البصري والنصي نفس الانحياز (مثل "موزة وردية" حيث يكون المشفر البصري نفسه منحازاً) أو الأخطاء التي يهيمن عليها الفشل في الإدراك أو التعرف على النصوص (OCR).
• الأدلة الضعيفة: في حالات الأدلة البصرية الغامضة، قد يصبح الأسلوب متحفظاً للغاية، مما يقمع الأولويات اللغوية المفيدة التي قد تساعد في التخمين.
• متطلب "الصندوق الأبيض": تتطلب الطة الوصول إلى التنشيطات الداخلية والتدرجات، مما يجعلها غير مناسبة لواجهات البرمجة (APIs) مغلقة المصدر دون تعديل.
• العبء الحسابي: رغم أنه متواضع، إلا أن حساب التدرج لكل رمز يضيف تأخراً في زمن الاستجابة، وهو ما قد يكون مؤثراً في عمليات التوليد طويلة المدى.