First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models" (تعزيز اللوجيت الأول: طريقة تجذير بصري للحد من هلوسة الكائنات في النماذج اللغوية البصرية الضخمة).

1. بيان المشكلة

حققت النماذج اللغوية البصرية الضخمة (LVLMs) نجاحاً كبيراً في المهام متعددة الوسائط مثل وصف الصور والإجابة على الأسئلة البصرية (VQA). ومع ذلك، فهي تعاني من هلوسة الكائنات (object hallucination)، حيث تولد النماذج أوصافاً لكائنات غير موجودة في الصورة المدخلة.

تحدد الورقة البحثية قصورين أساسيين في استراتيجيات التخفيف الحالية:

• الطرق القائمة على التدريب أو الطرق الخارجية: الأساليب مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو استخدام نماذج تجذير خارجية فعالة، ولكنها تتطلب تكاليف بيانات عالية، أو عبئاً حسابياً كبيراً، أو تعقيداً هيكلياً.
• الطرق الخالية من التدريب (مثل فك التشفير التبايني - Contrastive Decoding): رغم كفاءتها، تعاني أساليب مثل فك التشفير التبايني البصري (VCD) من الاضمحلال طويل الأمد (long-term decay). فمع تقدم توليد النص، يبتعد انتباه النموذج عن الأدلة البصرية ويصبح مهيمناً بالنماذج اللغوية المسبقة، مما يؤدي إلى زيادة الهلوسة في الرموز (tokens) اللاحقة. علاوة على ذلك، تتطلب هذه الأساليب غالباً عمليتي تمرير أمامي (dual forward passes) لكل خطوة فك تشفير (واحدة للمدخل الأصلي، وأخرى للمدخل المضطرب)، مما يضاعف وقت الاستنتاج.

2. المنهجية: تعزيز اللوجيت الأول (First Logit Boosting - FLB)

يقترح المؤلفون تعزيز اللوجيت الأول (FLB)، وهي تقنية بسيطة خالية من التدريب مصممة للحد من الاضمحلال طويل الأمد دون الحاجة لعمليات استنتاج إضافية.

الآلية الجوهرية

يعمل FLB بناءً على ملاحظة أن الرمز الأول المولد (first generated token) في النموذج اللغوي البصري الضخم يحتوي على أقوى تجذير بصري، لأنه يُولد مباشرة بعد الرموز البصرية، قبل أن يؤدي اضمحلال الموضع (الناتج عن تمثيلات الموضع الدوارة - RoPE) إلى إضعاف الانتباه عبر الوسائط.

تتضمن الطريقة ثلاث خطوات:

1. تخزين اللوجيت (Logit Storage): عند خطوة فك التشفير الأولى ($t=0$)، يقوم النموذج بتوليد "اللوجيتات" (logits) بناءً على الصورة والمطالبة (prompt). يتم تخزين هذه اللوجيتات ($l_0$).
2. إعادة استخدام اللوجيت (Logit Reuse): لجميع خطوات فك التشفير اللاحقة ($t > 0$)، يتم إضافة اللوجيتات المخزنة $l_0$ إلى لوجيتات الخطوة الحالية.
3. التعزيز الموزون (Weighted Boosting): يتم قياس مساهمة اللوجيت الأول بواسطة دالة وزن زمنية $w_t$ تزداد بمرور الوقت لمواجهة التأثير المتزايد للنماذج اللغوية المسبقة:
   $$w_t = \gamma(1 - e^{-\lambda t})$$
   حيث $\gamma$ هو معامل القياس الأقصى و $\lambda$ يتحكم في معدل الزيادة.

يتم حساب توزيع الاحتمالات النهائي كالتالي:
$$p(y_t) \propto \text{softmax}(\text{logit}_\theta(y_t | v, x, y_{<t}) + w_t \cdot l_0)$$

قيد المعقولية التكيفي (Adaptive Plausibility Constraint)

لمنع إعادة استخدام لوجيتات الرمز الأول من التسبب في اختيار رموز غير طبيعية (مثل إدراج كلمة "The" في منتصف الجملة)، يطبق FLB قيداً تكيفياً. يقوم بفلترة الرموز المرشحة التي تقل عن عتبة احتمالية معينة ($\beta$) بالنسبة لأقصى احتمالية في التوزيع الأصلي.

3. المساهمات الرئيسية والرؤى النظرية

تحدد الورقة تأثيرين متكاملين يقودان نجاح FLB:

1. تأثير التجذير البصري المباشر:

   • يحمل لوجيت الرمز الأول بطبيعته أقوى دليل بصري. ومن خلال إعادة استخدام هذا اللوجيت، يعمل FLB كـ "مرساة بصرية" مستمرة، مما يعزز الإشارة البصرية باستمرار طوال عملية التوليد ويمنع اضمحلال الانتباه البصري.

2. تأثير "The" (الإسناد البصري الضمني):

   • أظهر التحليل التجريبي أن الرمز الأول غالباً ما يكون أداة تعريف مثل "The".
   • الجمل التي تبدأ بـ "The" تظهر معدلات هلوسة أقل بكثير مقارنة بتلك التي تبدأ بـ "A" أو رموز أخرى.
   • تعمل "The" كإسناد بصري ضمني، مما يشجع النموذج على الرجوع إلى الكيانات التي تم تأسيسها بالفعل في السياق (والتي هي مجذرة بصرياً) بدلاً من هلوسة كائنات جديدة غامضة.
   • يكشف تحليل الإنتروبيا (Entropy) أن الرموز التي تتبع "The" لديها إنتروبيا تنبؤ أقل، مما يشير إلى ثقة أعلى للنموذج وانخفاض في عدم اليقين.

4. النتائج التجريبية

قام المؤلفون بتقييم FLB على عدة معايير (CHAIR, AMBER, MMHalBench, ConvBench) باستخدام نماذج أساسية مثل LLaVA-1.5 و InstructBLIP.

• تخفيف الهلوسة: تفوق FLB بشكل كبير على أفضل الأساليب المرجعية الخالية من التدريب (VCD, ICD, M3ID).
  • في معيار AMBER، خفض FLB درجة CHAIR (نسبة الكائنات المهلوسة) من ~11.5 (للنموذج الأساسي) إلى 6.1 لنموذج LLaVA-1.5، وهو تحسن كبير مقارنة بـ VCD (9.9) و ICD (9.1).
  • في معيار CHAIR، حقق FLB أدنى معدلات هلوسة (CHAIRs: 43.5 مقابل 57.5 للنموذج الأساسي) مع الحفاظ على معدل استدعاء (recall) عالٍ للكائنات الحقيقية.
• كفاءة الاستنتاج: على عكس أساليب فك التشفير التبايني التي تتطلب عمليتي تمرير أمامي، يتطلب FLF عملية تمرير أمامي واحدة فقط. وبناءً على ذلك، يحافظ FLF على سرعات استنتاج مطابقة تقريباً للنموذج الأساسي، بينما تكون أساليب فك التشفير التبايني (CD) أبطأ بنحو ضعفين.
• الحفاظ على الجودة: أكدت التقييمات النوعية باستخدام GPT-4V أن FLF لا يؤدي إلى تدهور سلاسة الجملة، أو القواعد النحوية، أو تنوع التعبير. ظلت الأوصاف المولدة طبيعية ومفصلة.
• التعميم: أظهر FLF متانة عبر بنيات نماذج مختلفة (MLP projector مقابل Q-Former) وأنواع مهام متنوعة (الوصف، المحادثة متعددة الأدوار، والأسئلة والأجوبة المتنوعة).

5. الأهمية

• الكفاءة: يقدم FLF حلاً عملياً للغاية للأنظمة متعددة الوسائط في الوقت الفعلي من خلال القضاء على العبء الحسابي المرتبط بطرق فك التشفير ذات التمرير المزدوج.
• البساطة: لا يتطلب إعادة تدريب، ولا نماذج خارجية، ولا تغييرات هيكلية معقدة، مما يجعله سهل النشر على النماذج اللغوية البصرية الضخمة الموجودة.
• رؤية الآلية: تقدم الورقة فهماً جديداً لكيفية تأثير "الاضمحلال طويل الأمد" على النماذج اللغوية البصرية الضخمة وكيف يمكن للبدء اللغوي (تحديداً رمز "The") أن يعمل كآلية تثبيت للتجذير البصري.
• الأداء الرائد: يضع معياراً جديداً لتخفيف الهلوسة، محققاً نتائج متفوقة في تقليل هلوسة الكائنات مع الحفاظ على دقة وتغطية الكائنات الحقيقية.

في الختام، يمثل First Logit Boosting خطوة مهمة نحو جعل النماذج اللغوية البصرية الضخمة أكثر موثوقية للتطبيقات الحرجة من حيث السلامة، وذلك من خلال معالجة السبب الجذري للهلوسة (الاضمحلال طويل الأمد) بأقل تكلفة حسابية.