Hallucination-aware intermediate representation edit in large vision-language models

إليك ملخص تقني مفصل لورقة البحث بعنوان "HIRE: تعديل التمثيل الوسيط المدرك للهلوسة في النماذج اللغوية البصرية الكبيرة".

1. بيان المشكلة

حققت النماذج اللغوية البصرية الكبيرة (LVLMs) نجاحاً ملحوظمًا في الاستدلال متعدد الوسائط وفهم المشاهد، لكنها تعاني بشكل كبير من الهلوسة (hallucinations)، حيث تتعارض المخرجات المولدة مع المدخلات البصرية الفعلية (مثل وصف أشياء غير موجودة).

تواجه استراتيجيات التخفيف الحالية قيوداً حرجة:

• طرق إعادة التدريب (Retraining Methods): تتطلب بناء مجموعات بيانات متخصصة وضبط النموذج بالكامل، مما يؤدي إلى تكالوف حوسبية عالية وأعباء في جمع البيانات.
• طرق فك التشفير التبايني (Contrastive Decoding - CD): تخفف من الهلوسة أثناء الاستدلال عبر مقارنة المخرات الأصلية بنسخ معدلة، ومع ذلك، فهي تتطلب عمليتي استدلال (dual inference passes) (مما يضاعف زمن التأخير) وتطبق تعديلات موحدة على جميع الرموز (tokens)، بغض النظر عما إذا كان الرمز عرضة للهلوسة أم لا، مما يضر بالكفاءة وتماسك المخرجات.
• الافتقار إلى القدرة على التحكم: معظم الطرق لا يمكنها التحكم بمرونة في درجة الهلوسة، وهو أمر غير مرغوب فيه في سيناريوهات مثل الكتابة الإبداعية حيث تعزز بعض الهلوسة من التعبيرية.

2. المنهجية: إطار عمل HIRE

يقترح المؤلفون إطار عمل HIRE (تعديل التمثيل الوسيط المدرك للهلوسة)، وهو إطار يعمل على اكتشاف وتعديل التمثيلات الوسيطة داخل النماذج اللغوية البصرية الكبيرة ديناميكياً دون تعديل أوزان النموذج أو الحاجة لإعادة التدريب. يعمل الإطار في مسار استدلال واحد ويتكون من ثلاثة مكونات أساسية:

أ. المحرر (تعديل الميزات - Feature Editing)

يتعلم المحرر عزل وقمع الميزات المتعلقة بالهلوسة مع الحفاظ على السلامة الدلالية.

• البنية: يستخدم مشفر تلقائي ثنائي (dual-encoder autoencoder) يرمز له بـ ($G_\phi$) يتكون من مشفر دلالي ($E_{sem}$) ومشفر هلوسة ($E_{hal}$)، ووحدة دمج انتباه متعدد الرؤوس، وفك تشفير.
• الآلية:
  1. التفكيك (Decomposition): يتم تقسيم التمثيلات المدخلة من طبقات الانتباه إلى مكونات دلالية ($h_{sem}$) ومكونات هلوسة ($h_{hal}$).
  2. تعلم الاتجاه (Direction Learning): يحسب النموذج "اتجاه تقليل الهلوسة" ($\delta$) من خلال تحليل التباين بين التمثيلات الأصلية والمهلوسة في الفضاء الفرعي للهلوسة.
  3. التعديل (Editing): يتم حساب اتجاه التعديل الأمثل ($\Delta$) عن طريق دمج الميزات الدلالية وميزات الهلوسة. ويتم الحصول على التمثيل المعدل النهائي عن طريق إسقاط الميزات الأصلية على طول هذا الاتجاه: $h_{aug} = h + \alpha \cdot \Delta$.

ب. الموجه (التعديل الانتقائي - Selective Editing)

لتجنب العبء الحوسبي غير الضروري، يقوم موجه خفيف الوزن (Router $R_\theta$) بتحديد الرموز التي تتطلب التعديل.

• الاستراتيجية: بدلاً من تعديل كل الرموز، يقوم الموجه بتحليل تمثيل المحول (transformer) في الطبقة الأولى لاتخاذ قرار ثنائي ($c=1$ أو $0$).
• المنطق: إذا كانت $c=1$، يتم تفعيل المحرر لجميع الطبقات اللاحقة؛ وإلا، يمر الرمز دون تغيير. يستفيد هذا من الملاحظة القائلة بأن الطبقات الضحلة غالباً ما تحتوي على الإشارات الأكثر معلوماتية لاكتشاف الهلوسة.

ج. منظم الهلوسة (Hallucination Regulator)

يتحكم المعامل الفائق $\alpha$ في شدة واتجاه التعديل:

• $\alpha > 0$: يقمع الهلوسة (توجيه الميزات نحو اتجاهات منخفضة الهلوسة).
• $\alpha < 0$: يعزز الهلوسة (مفيد للمهام الإبداعية).
• $\alpha = 0$: لا يوجد تعديل.

د. استراتيجية التدريب

نظراً لندرة بيانات الهلوسة المصنفة، استخدم المؤلفون تقنيتين متخصصتين للتدريب:

1. التعلم التبايني (للمحرر): يستخدم أزواجاً من المدخلات "الأصلية" (صورة حقيقية) و"المهلوسة" (صورة متدهورة بصرياً/مشوشة). يعمل المشفر الدلالي على تعظيم التشابه بين الرموز المتطابقة، بينما يعمل مشفر الهلوسة على تعظيم الفصل بين المجموعات الأصلية والمهلوسة.
2. تحسين التفضيل المباشر (DPO) (للموجه): يدرب الموجه على تفضيل قرارات التعديل التي تؤدي إلى درجات أقل من الهلوسة (مقاسة بواسطة CHAIR) دون الحاجة إلى نموذج مرجعي.

3. المساهمات الرئيسية

1. نموذج جديد: يقدم نهج تعديل الميزات الذي يخفف من الهلوسة عن طريق تعديل التمثيلات الوسيطة، مما يلغي الحاجة إلى إعادة تدريب النموذج أو عبء الاستدلال المزدوج.
2. التحكم الديناميكي: يقترح إطار عمل قادراً على توليد هلوسة قابلة للتحكم، مما يسمح للمستخدمين بضبط درجة الهلوسة عبر معامل بسيط ($\alpha$).
3. الكفاءة: يحقق أداءً رائداً (state-of-the-art) بأقل تكلفة حوسبية باستخدام موجه خفيف الوزن لتعديل الرموز عالية المخاطر فقط.
4. التحقق الشامل: يثبت فعاليته عبر المهام التوليدية (الوصف) والتمييزية (VQA) على عدة اختبارات معيارية.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج LLaVA-1.5 و InstructBLIP عبر ثلاثة اختبارات معيارية رئيسية: CHAIR، و POPE، و AMBER.

• تقليل الهلوسة:
  • في اختبار CHAIR (أوصاف طويلة، 512 رمزاً)، قلل HIRE من الهلوسة على مستوى الجملة (CHAIRS) بنسبة ~40% ومن الهلوسة على مستوى الأشياء (CHAIRI) بنسبة ~50% مقارنة بالنماذج المرجعية.
  • تفوق على النماذج المرجعية القوية مثل VCD و M3ID و Octopus.
• المهام التمييزية:
  • في اختبار POPE، حقق HIRE أعلى دقة ودرجات F1، متجاوزاً أفضل النتائج السابقة (Octopus) بفوارق كبيرة (على سبيل المثال، +1.48% في الدقة على LLaVA-1.5).
• اختبار AMBER:
  • حقق أعلى درجات AMBER الإجمالية، مما يشير إلى أداء متفوق في كل من تحديد الهلوسة التوليدي والتمييزي.
• الكفاءة:
  • تقدم الطريقة حِملاً إضافياً ضئيلاً في الاستدلال (على سبيل المثال، ~3.45 TFLOPs لـ InstructBLIP مقابل 5.61 لـ VCD)، وهو أقل بكثير من طرق فك التشفير التبايني التي تتطلب مسارين.
• التعميم والاستقرار:
  • تتعمم الطريقة بشكل جيد عبر أحجام النماذج المختلفة (TinyLLaVA, Qwen-VL) ومجموعات البيانات (Visual Genome).
  • أكدت دراسات الاستئصال (Ablation studies) أن كلاً من المحرر (المشفر الثنائي) والموجه ضروريان للأداء والكفاءة.

5. الأهمية

يمثل HIRE تحولاً كبيراً في استراتيجيات التخفيف من الهلوسة. فمن خلال الابتعاد عن إعادة التدريب الثقيلة وعمليات فك التشفير باهظة التكلفة حوسبياً، فإنه يقدم حلاً عملياً جاهزاً للاستخدام (plug-and-play) للنماذج اللغوية البصرية الكبيرة. إن قدرته على التحكم الديناميكي في مستوى الهلوسة تجعله متعدد الاستخدامات بشكل فريد، فهو مناسب ليس فقط للمهام الواقعية الصارمة ولكن أيضاً للتطبيقات الإبداعية حيث تكون "الهلوسة المحكومة" مطلوبة. يثبت هذا النهج أن الهلوسة يمكن فصلها في الفضاء الكامن ويمكن تحييدها بفعالية من خلال تعديل الميزات المستهدف.