SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

إليك ملخص تقني مفصل لورقة البحث بعنوان "SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding" (ثاني: التخفيف من الهلوسة الإدراكية في نماذج الرؤية واللغة عبر فك التشفير الانتقائي والتبايني).

1. تعريف المشكلة

تظل الهلوسة الكائنية (Object Hallucination) عائقاً حرجاً في نماذج الرؤية واللغة (VLMs). وتحدث هذه الظاهرة عندما تولد النماذج استجابات تبدو منطقية ولكنها غير صحيحة واقعياً فيما يتعلق بالمحتوى البصري (مثل الادعاء بوجود كائن بينما هو غير موجود).

• السبب الجذري: حددت الورقة أن نماذج الرؤية واللغة متعددة المقاييس الحالية (مثل LLaVA-NeXT) غالباً ما تدمج المعلومات البصرية بشكل عشوائي عبر مختلف المقاييس. إن مجرد رفع دقة الصور يؤدي إلى زيادة عدد الرقع (patches) بشكل أسي، مما يؤدي إلى تمييع المعلومات والفشل في مواءمة الانتباه البصري مع أقنعة كائنات محددة.
• الفجوة النظرية: بينما يؤدي تقليل حجم الرقع (زيادة الدقة) نظرياً إلى تحسين محاذاة الانتباه (مقاساً بـ معامل دايس للانتباه - Attention Dice Coefficient)، إلا أن التوسع العشوائي يُدخل ضجيجاً خلفياً مفرطاً، مما يجعل النموذج يعاني من أجل التركيز الدقيق على الكائنات.

2. المنهجية: إطار عمل SECOND

يقترح المؤلفون إطار عمل SECOND (فك التشفير الانتقائي والتبايني)، وهو إطار عمل لا يتطلب تدريباً (training-free)، يعمل على التخفيف من الهلوسة عبر اختيار الرقع البصرية ذات الصلة ومباينة المخرجات متعددة المراحل.

أ. التكامل الانتقائي للميزات متعددة المقاييس

بدلاً من معالجة جميع الرقع عند جميع المقاييس، يستخدم SECOND نهجاً تكرارياً من الخشن إلى الناعم:

1. بنية متعددة المراحل: يستخدم إطار العمل عدة مشفرات رؤية تعالج الصور بدقات مختلفة (على سبيل المثال، $H/4 \times W/4$، و $H/2 \times W/2$، والدقة الأساسية).
2. الاختيار الديناميكي للرقع:
   • في كل مرحلة، يولد النموذج خرائط انتباه بصري.
   • تقوم آلية ديناميكية باختيار أعلى نسبة $p_{select}\%$ من الرقع للمرحلة التالية ذات الدقة الأعلى بناءً على الاعتلاج (entropy) في الانتباه البصري ($H(V)$).
   • المنطق: الاعتلاج المنخفض (تركيز واضح) يتطلب رقعاً إضافية أقل؛ بينما الاعتلاج العالي (تركيز غير واضح) يستوجب اختيار المزيد من الرقع دقيقة التفاصيل لتنقيح تمثيل الكائن.
   • يضمن ذلك نقل المعلومات المتعلقة بالكائن فقط إلى الدقات الأعلى، مما يحافظ على كثافة الكائن مع تصفية الضجيج الخلفي.

ب. فك التشفير التبايني متعدد المراحل (CD)

يقدم SECOND استراتيجية فك تشفير تبايني متعدد المراحل مبتكرة، تتجاوز التباين التقليدي أحادي الخطوة بين "الهاوي والخبير":

• الهاوي مقابل الخبير: تعمل المراحل المبكرة (الخشنة، ذات المعلومات المتفرقة) كـ "هواة"، بينما تعمل المراحل اللاحقة (دقيقة التفاصيل، ذات المعلومات الكثيفة) كـ "خبراء".
• التباين الهرمي: بدلاً من مجرد مباينة مخرج الخبير النهائي مع مخرج الهاوي الأولي، يقوم SECOND بمباينة المخرجات عبر جميع المراحل المتوسطة.
• صياغة اللوجيت (Logit Formulation): يتم حساب اللوجيتات النهائية عن طريق تضخيم الفروق بين المراحل:
  $$\text{logit}_{SECOND} = \text{logit}_{expert} + \alpha(\text{logit}_{expert} - \text{logit}_{amateur3}) + \beta(\text{logit}_{amateur3} - \text{logit}_{amateur2}) + \gamma(\text{logit}_{amateur2} - \text{logit}_{amateur1})$$
  تعمل هذه العملية على تضخيم التمييز بين المعلومات البصرية المتفرقة والكثيفة، مما يقلل بفعالية من الهلوسة المدفوعة بالنماذج اللغوية المسبقة أو الضجيج الخلفي.

3. المساهمات الرئيسية

1. إطار عمل مبتكر لا يتطلب تدريباً: يعالج SECOND الهلوسة دون الحاجة إلى تدريب إضافي للنموذج أو نماذج رؤية مساعدة، مستفيداً من قدرات نماذج الرؤية واللغة الموجودة.
2. رؤية نظرية: قدم المؤلفون تحليلاً نظرياً (النظرية 3.2 و 3.3) يثبت أن اختيار الرقع متعدد المراحل يزيد من معامل دايس للانتباه (المحاذاة مع الحقيقة الأرضية) مقارنة بالتوسع الموحد، مما يقلل من احتمالية الهلوسة ($P_{Hal}$).
3. فك التشفير التبايني متعدد المراحل: على عكس الأعمال السابقة التي تركز على قمع النماذج اللغوية المسبقة عبر تباين أحادي الخطوة، يستفيد SECOND من المسار التطوري للمعلومات البصرية عبر المقاييس لتنقيح الإدراك الكائني.
4. آلية اختيار الرقع: استراتيجية اختيار ديناميكية تعتمد على الاعتلاج توازن بين كمية المعلومات وصلتها.

4. النتائج التجريبية

تم تقييم الطريقة على عدة نماذج رؤية ولغة (LLaVA-NeXT, LLaVA-OneVision, Yi-VL) عبر اختبارات متنوعة:

• اختبار POPE (اختبار الهلوسة الإدراكية):
  • تفوق SECOND على النماذج المرجعية (بما في ذلك VCD و LLaVA-NeXT القياسي) في 11 من أصل 12 تكويناً تجريبياً.
  • في نموذج LLaVA-NeXT (Vicuna-7B)، حقق SECOND باستخدام CD دقة بلغت 89.7% و F1 بنسبة 89.2% على MSCOCO، متجاوزاً بشكل كبير النموذج المرجعي (87.7% دقة، 86.5% F1).
• المهام العامة (VQAv2, MMStar, MMBench):
  • أظهر SECOND تحسناً مستمراً في مهام السؤال والجواب البصري (VQA) مفتوحة النهايات ومهام الاستدلال.
  • في MMStar، حسن SECOND الدرجة من 37.3 (المرجع) إلى 38.6، مما يثبت أن تحسين الإدراك يترجم إلى استدلال أفضل دون إضعاف القدرات عالية المستوى.
• دراسات الاستئصال (Ablation Studies):
  • اختيار الرقع: تفوق الاختيار الديناميكي على النسب الثابتة (مثل 70% ثابتة) وعلى استخدام جميع الرقع (100%)، مما يؤكد ضرورة التصفية الانتقائية.
  • التباين متعدد المراحل مقابل أحادي المرحلة: أظهر التباين متعدد المراحل متانة فائقة في المهام العامة (MMStar) مقارنة بالتباين أحادي المرحلة، حتى وإن كان التباين أحادي المرحلة قد أدى أداءً مشابهاً في POPE.

5. الأهمية

• تحول في النموذج المعرفي: تتحدى الورقة افتراض "الدقة الأعلى هي دائماً الأفضل" في نماذج الرؤية واللغة، وتثبت أن التكامل الانتقائي للبيانات متعددة المقاييس هو الأفضل من التراكم العشوائي.
• الكفاءة: من خلال كونه لا يتطلب تدريباً ويستخدم المشفرات الموجودة مع الاستيفاء (interpolation)، يوفر SECOND مساراً فعالاً حاسوبياً لتقليل الهلوسة.
• الإدراك الشبيه بالبشر: يحاكي هذا النهج الإدراك البشري (المسح الواسع ثم التركيز على التفاصيل)، مما يوفر حلاً مستوحى بيولوجياً لمشكلة تقنية.
• التأثير المستقبلي: تسلط الورقة الضوء على الإمكانات غير المستغلة للتطبيقات متعددة المقاييس في نماذج الرؤية واللغة، مما يشير إلى أن البنى المستقبلية يجب أن تعطي الأولوية لتكامل الميزات الديناميكي الموجه بالانتباه على التوسع الموحد والثابت.

توافر الكود: أتاح المؤلفون الكود برابط عام: https://github.com/AIDASLab/SECOND.