Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning" (IECD2).

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) قدرات قوية في اتباع التعليمات والاستنتاج المفتوح. ومع ذلك، فهي تعاني بشكل كبير من الهلوسة (Hallucination)، حيث تولد النماذج محتوىً بليغاً ومنطقياً ولكنه غير مدعوم بصرياً (مثل: وجود كائنات غير موجودة، أو سمات خاطئة، أو علاقات مختلقة).

• السبب الجذري: تحدد الورقة أن التلقين بالتعليمات القياسي (Standard instruction prompting) يضخم التحيزات اللغوية (Language Priors). فعندما تكون الإشارات البصرية غامضة أو ضعيفة، تعطي النماذج الأولوية للاحتمالات الإحصائية من بيانات التدريب الخاصة بها على حساب الأدلة الفعلية للصورة.
• المقايضة: المحاولات الحالية لمعالجة هذه المشكلة غالباً ما تخلق ثنائية:
  • التلقينات المدفوعة بالتعليمات (Instruction-driven prompts): تنتج نصوصاً غنية ووصفية ولكن بمعدلات هلوسة عالية.
  • التلقينات المقيدة بالأدلة (Evidence-constrained prompts): تقلل من الهلوسة ولكنها تؤدي إلى مخرجات متحفظة للغاية، حرفية، وغير معلوماتية.
• الفجوة: تعتمد طرق فك التشفير التبايني (Contrastive Decoding - CD) الحالية غالباً على أوزان ثابتة أو أنواع محددة من الاضطرابات (مثل تشويه الصورة) التي قد لا توازن ديناميكياً بين الحاجة إلى الثراء اللغوي والأمانة البصرية أثناء عملية التوليد.

2. المنهجية: IECD2

يقترح المؤلفون إطار عمل "فك التشفير مزدوج المسار التبايني بين التعليمات والأدلة" (IECD2)، وهو إطار عمل لفك التشفير لا يتطلب إعادة تدريب ومستقل عن النموذج (Model-agnostic). يعمل الإطار من خلال الحفاظ على توزيعين احتماليين متوازيين عند كل خطوة من خطوات فك التشفير ودمجهما بشكل تكيفي.

أ. صياغة المسارين المزدوجين

عند كل خطوة فك تشفير $t$، وبالنظر إلى التاريخ $y_{<t}$، يقوم النموذج بتوليد توزيعين احتماليين للرموز (Tokens) عبر المفردات:

1. مسار التعليمات ($p^{(I)}_t$): مشروط بتلقين تعليمات لغة طبيعية قياسي ($S$). يلتقط هذا المسار التحيزات اللغوية، مما يشجع على الطلاقة، والتماسك، والثراء الوصفي. وهو عرضة للهلوسة عندما تكون الأدلة البصرية ضعيفة.
2. مسار الأدلة ($p^{(E)}_t$): مشروط بنسخة من التلقين ($x_{evidence}$) توجه النموذج صراحةً للاعتماد حصرياً على المحتوى المرئي الملحوظ. يعمل هذا المسار كخط أساس محافظ ومثبت بصرياً، حيث يقمع الاستنتاجات التخمينية.

ملاحظة: يستخدم كلا المسارين نفس معلمات نموذج الرؤية واللغة (VLM)، والاختلاف ينبع فقط من التلقينات الشرطية.

ب. البوابة التباينية المدركة للانحراف (Divergence-Aware Contrastive Gating)

الابتكار الأساسي هو آلية دمج تكيفية توازن بين هذين المسارين بناءً على عدم توافقهما.

• الدمج الهندسي: التوزيع الاحتمالي النهائي $p^{(IECD2)}_t$ هو المتوسط الهندسي للمسارين:
  $$p^{(IECD2)}_t(v) \propto (p^{(I)}_t(v))^{g_t} \cdot (p^{(E)}_t(v))^{1-g_t}$$
  حيث أن $g_t \in [0, 1]$ هو معامل البوابة.
• تباعد KL المتماثل: يتم تحديد البوابة $g_t$ بواسطة تباعد كولباك - ليبلر (KL) المتماثل ($D_t$) بين المسارين:
  $$D_t = KL(p^{(I)}_t || p^{(E)}_t) + KL(p^{(E)}_t || p^{(I)}_t)$$
• المنطق التكيفي:
  • الانحراف المنخفض ($D_t \approx 0$): المساران متوافقان. تسمح البوابة لـ مسار التعليمات بأن يكون له تأثير أعلى، مما يحافظ على الطلاقة اللغوية والقدرة الوصفية.
  • الانحراف العالي ($D_t \gg 0$): المساران مختلفان (مما يشير إلى أن مسار التعليمات يهلوس على الأرجح). تنخفض البوابة ($g_t$) بشكل حاد نحو 0، مما يقمع مسار التعليمات ويجبر النموذج على الاعتماد على مسار الأدلة لمنع الهلوسة.

3. المساهمات الرئيسية

1. إطار العمل مزدوج المسار: تقديم IECD2، الذي يحافظ صراحةً على توزيعات الرموز المدفوعة بالتعليمات والمثبتة بالأدلة بالتوازي طوال عملية التوليد دون الحاجة لإعادة تدريب.
2. البوابة القائمة على الانحراف: آلية مبتكرة تستخدم تباعد KL المتماثل لحل النزاعات ديناميكياً بين التحيزات اللغوية والأدلة البصرية، مما يسمح باختيار تقليل الرموز المعرضة للهلوسة مع الاحتفاظ بالمحتوى المعلوماتي.
3. التقييم الشامل: تجارب مكثفة عبر مهام متنوعة (VQA، التعليق الصوري، كشف الكائنات) وقواعد بيانات (POPE, MME, VQAv2, AMBER, MS-COCO, LLaVA-Bench) أظهرت تحسينات مستمرة.

4. النتائج التجريبية

قيم المؤلفون IECD2 على نماذج LLaVA-1.5-7B و InstructBLIP عبر معايير متعددة.

• تقليل الهلوسة:
  • تعليق MSCOCO: قلل IECD2 من معدل CHAIRs (الهلوسة على مستوى الجملة) بنسبة 85.2% لنموذج LLaVA-1.5 و 98.8% لنموذج InstructBLIP مقارنة بفك التشفير القياسي. كما تفوق على نماذج قوية مثل IFCD و CATCH و Octopus.
  • مهمة AMBER التوليدية: حقق انخفاضات هائلة في معدل الهلوسة (Hal) والهلوسة الإدراكية (Cog)، على سبيل المثال، تقليل Cog من 31.0 إلى 0.4 لنموذج LLaVA-1.5.
• دقة المهمة والتثبيت (Grounding):
  • POPE (وجود الكائنات): حسن الدقة بنسبة تصل إلى 5.1% و F1 بنسبة 4.8% مقارنة بفك التشفير القياسي، مما أظهر متانة ضد التحيزات في أخذ العينات وتكرار الظهور.
  • VQAv2: حسن الدقة بنسبة +7.76% (LLaVA-1.5) و +14.24% (InstructBLIP) مع الحفاظ على أداء تنافسي.
  • MME: أظهر أداءً مستقراً عبر مهام الإدراك (الوجود، العد، اللون) ومهام الإدراك (المنطق العام، البرمجة)، مما يثبت أن الطريقة تتعامل مع أنواع مختلفة من الهلوسة.
• الكفاءة:
  • الطريقة لا تتطلب إعادة تدريب.
  • زيادة وقت الاستدلال ضئيلة (حوالي 2.3 ثانية لكل استعلام للمهام التوليدية بدون KV cache؛ وانخفضت إلى 1.1 ثانية مع استخدام KV cache).

5. الأهمية والأثر

• حل مقايضة الطلاقة والأمانة: نجح IECD2 في كسر المقايضة التي تجعل تقليل الهلوسة يؤدي عادةً إلى تدهور جودة المخرجات. فهو ينتج تعليقات وصفية (غنية لغوياً) ودقيقة واقعياً (مثبتة بصرياً) في آن واحد.
• القدرة على التعميم: كاستراتيجية لفك التشفير أثناء التشغيل، يمكن تطبيقها على أي نموذج رؤية ولغة (VLM) مضبوط بالتعليمات دون الحاجة لتحديث المعلمات أو إعادة التدريب، مما يجعلها عالية القابلية للتوسع.
• فهم الآلية: تقدم الورقة دليلاً تجريبياً على أن الهلوسة ليست مجرد عيب في النموذج، بل هي نتيجة لتوزيعات احتمالية متضاربة بين اتباع التعليمات وتثبيت الأدلة. تعمل بوابة KL المتماثلة بفعالية كـ "كاشف للصراع" للتخفيف من حدة الهلوسة.
• الأداء الأفضل (State-of-the-Art): تثبت النتائج أن IECD2 يمثل نهجاً جديداً رائداً لعمليات الاستنتاج القائم على الرؤية واللغة، حيث يتفوق على الطرق المتخصصة مثل VCD و ICD و RBD عبر المهام التمييزية والتوليدية على حد سواء.