Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

إليك شرح لورقة البحث "Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation" (أو اختصاراً GIFT)، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: الذكاء الاصطناعي "الخيالي"

تخيل أن لديك مساعداً ذكياً جداً ومطلعاً، يحب سرد القصص. تعرض عليه صورة قطة تجلس على سجادة وتسأله: "ماذا تفعل القطة؟".

ولأن هذا المساعد قد قرأ ملايين الكتب عن القطط، فقد يقول بثقة: "القطة تطارد فأراً أحمر!" رغم عدم وجود فأر في الصورة. إنه يقوم بـ "الهلوسة" (Hallucination)؛ فهو يعتمد كثيراً على ما يعتقد أنه يجب أن يكون موجوداً (معرفته السابقة) بدلاً من النظر بدقة إلى ما هو موجود بالفعل (المدخلات البصرية).

تحاول الأساليب الحالية إصلاح ذلك بإخبار الذكاء الاصطناعي: "انظر بتركيز أكبر إلى الصورة!". لكن الورقة البحثية تجادل بأن هذه الأساليب بها عيبان:

1. ينظرون إلى الأماكن الخاطئة: أحياناً يتشتت انتباه الذكاء الاصطناعي بالضوضاء في الخلفية (مثل جدار باهت) بدلاً من التركيز على القطة. يُسمى هذا "بالبالوعة البصرية للانتباه" (Visual Attention Sink). الأمر يشبه طالباً يحدق في بقعة على كتابه بدلاً من التركيز على المسألة الرياضية.
2. ينسون السؤال: إذا أخبرت الذكاء الاصطناعي فقط "انظر إلى الصورة!" دون تذكيره بما الذي يجب أن يبحث عنه، فقد يصاب بالارتباك. هو بحاجة إلى موازنة النظر إلى الصورة مع فهم سؤالك المحدد.

الحل: GIFT (متتبع "تحول النظرة")

يقترح المؤلفون طريقة جديدة تسمى GIFT (تعزيز دمج الوسائط المتعددة الموجه بتحول النظرة).

لفهم GIFT، تخيل محققاً بشرياً ينظر إلى صورة لمسرح جريمة أثناء قراءة شهادة شاهد.

• الطريقة القديمة (النظرة الثابتة): يأخذ المحقق لقطة سريعة للصورة بأكملها ويقوم بتوسيط انتباهه. قد يتشتت انتباهه بسبب كرسي عشوائي في الزاوية لأنه يقع في منتصف الصورة.
• طريقة GIFT (تحول النظرة): يقرأ المحقق شهادة الشاهد كلمة بكلمة.
  • عندما يسمع كلمة "أحمر"، تقفز عيناه (تتحول نظراته) نحو عمود الإطفاء الأحمر.
  • عندما يسمع كلمة "كلب"، تقفز عيناه نحو الكلب.
  • عندما يسمع كلمة لا تهم (مثل "الـ" أو "و")، لا تتحرك عيناه كثيراً.

تقوم GIFT بهذا بالضبط للذكاء الاصطناعي. إنها تراقب كيف تتحرك "عيون" الذكاء الاصطناعي (الانتباه) أثناء قراءته لسؤال المستخدم. هي تتجاهل الأجزاء التي يكون فيها نظر الذكاء الاصطناعي ثابتاً أو تائهاً بلا هدف. هي تركز فقط على اللحظات التي تتحول فيها نظرة الذكاء الاصطناعي بشكل إيجابي نحو جزء جديد من الصورة لأن كلمة محددة في السؤال حفزت ذلك.

كيف تعمل (الخطوات الثلاث)

1. رسم خرائط "تحولات النظرة" (الحساب المسبق)
قبل أن يبدأ الذكاء الاصطناعي في كتابة إجابته، تقوم GIFT بعمل محاكاة سريعة. تسأل: "بينما يقرأ الذكاء الاصطناعي كلمة 'دراجة نارية' في سؤالك، إلى أين تقفز عيناه في الصورة؟"
تقوم بإنشاء خريطة بروز (Saliency Map) (خريطة حرارية).

• السحر هنا: لأنها تتبع التغيرات (التحولات) فقط، فإنها تتجاهل تلقائياً "البالوعة البصرية للانتباه" (ضوضاء الخلفية). إذا لم تتحرك عينا الذكاء الاصطناعي إلى مكان ما عند قراءة السؤال، فإن هذا المكان لن يكون موجوداً في الخريطة. الأمر يشبه تصفية التشويش في الراديو لسماع الموسيقى بوضوح.

2. توجيه الإجابة (فك التشفير/Decoding)
الآن، يبدأ الذكنا الاصطناعي في توليد الإجابة. تستخدم GIFT تلك الخريطة الحرارية لتوجيه العملية:

• تعزيز المرئيات: إذا قالت الخريطة الحرارية "الدراجة النارية مهمة"، تقوم GIFT برفع مستوى انتباه الذكاء الاصطناعي لجزء الدراجة النارية في الصورة.
• تعزيز السؤال: والأهم من ذلك، تقوم GIFT أيضاً برفع مستوى التركيز على السؤال نفسه. فهي تضمن ألا يصبح الذكاء الاصطناعي مهووساً بالصورة لدرجة تجعله ينسى ما سألته عنه. إنها تحافظ على توازن الحوار.

3. النتيجة
الذكاء الاصطناعي الآن يشبه المحقق الذي يركز تماماً على الأدلة ذات الصلة ويتذكر السؤال بدقة. هو أقل عرضة لابتكار "فأر أحمر" ليس موجوداً في الواقع.

النتائج: أسرع وأذكى

اختبرت الورقة البحثية هذه الطريقة على عدة نماذج ذكاء اصطناعي (مثل LLaVA و Qwen) ووجدت:

• هلوسة أقل: ابتكر الذكاء الاصطناعي أشياء وهمية بنسبة أقل. في بعض الاختبارات، تحسنت الدقة بأكثر من 20%.
• لا تزال ذكية: لم تفقد قدرتها على الاستنتاج أو الإجابة على الأسئلة العامة. لم تصبح مجرد "آلة التعرف على الصور"، بل أصبحت أكثر صدقاً.
• سريعة: لم تبطئ الذكاء الاصطناعي كثيراً. لقد أضافت حوالي 13% فقط إلى الوقت الذي يستغرقه توليد الإجابة، وهي كفاءة عالية جداً مقارنة بالأساليب الأخرى التي قد تكون أبطأ بـ 10 أضعاف.

ملخص التشبيه

فكر في الذكاء الاصطناعي كأنه مرشد سياحي في متحف.

• المشكلة: المرشد يعرف الكثير من التاريخ، لدرجة أنه عندما تسأله عن لوحة ما، يبدأ في سرد حقائق عن لوحة أخرى يعتقد أنك تقصدها، أو يبتكر تفاصيل عن الإطار ليست موجودة.
• الإصلاح القديم: "انظر إلى اللوحة!" (لكن المرشد يستمر في النظر إلى الأرض أو السقف).
• إصلاح GIFT: لدى المرشد نظارات خاصة. عندما تقول "الزهرية الزرقاء"، تقوم النظارات فوراً بتسليط الضوء على الزهرية الزرقاء في رؤيته وتعتيم بقية الغرفة. وفي الوقت نفسه، تذكره النظارات: "لا تنسَ، الضيف سأل عن الزهرية الزرقاء، وليس الحمراء".

من خلال تتبع المكان الذي تتحرك إليه نظرة المرشد عند سماع كلماتك، تضمن GIFT أنه يصف بالضبط ما هو موجود أمامه، دون اختلاق أي شيء.