Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention
تقترح هذه الورقة البحثية "الانتباه الموجه بالرؤية" (VGA)، وهي طريقة لا تتطلب تدريباً تعمل على الحد من الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط من خلال توجيه تركيز النموذج ديناميكياً إلى المناطق المرئية ذات الصلة بناءً على محتوى الرموز الدلالية، مما يحقق أداءً رائدًا في تقليل الهلوسة مع زمن انتقال ضئيل للغاية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً ذكياً ومطلعاً، وهو أيضاً ناقد فني. تعرض عليه صورة لحديقة وتسأله: "ماذا ترى؟"
عادةً، يقدم وصفاً رائعاً. لكن في بعض الأحيان، قد يستغرق في "أحلام اليقظة". قد يقول مثلاً: "أرى كلباً من نوع جولدن ريتريفر يطارد كرة حمراء"، رغم أن الصورة لا تحتوي إلا على سنجاب وقرص طائر (فريزبي) أزرق. في عالم الذكاء الاصطناعي، يُطلق على هذا اسم "الهلوسة" (Hallucination). النموذج هنا واثق من نفسه، لكنه يختلق أشياءً من خياله.
تقدم هذه الورقة البحثية حلاً ذكياً يسمى "الانتباه الموجه بالرؤية" (Vision-Guided Attention - VGA). إليك كيفية عمله، مشروحاً ببساطة عبر بعض التشبيهات.
المشكلة: "الطالب المشتت"
فكر في النموذج اللغوي الكبير متعدد الوسائط (MLLM) كطالب يؤدي اختباراً وأمامه صورة.
- المشكلة: الطالب قد قرأ الصورة (الرموز البصرية) ويعرف الحقائق. ولكن عندما يبدأ في كتابة إجابته، يتشتت انتباهه. تزيغ عيناه؛ قد يركز على ذرة غبار صغيرة في الزاوية بدلاً من الموضوع الرئيسي، أو قد يخمن بناءً على ما "يعتقد" أنه يحدث عادةً في الحديقة، بدلاً مما هو موجود بالفعل.
- الطريقة القديمة: حاولت الطرق السابقة إصلاح ذلك عن طريق إعادة تدريب الطالب (وهو أمر مكلف وبطيء) أو بطلب مراجعة من خبير ثانٍ (وهو أمر بطيء وغير مرن).
الحل: "دليل تسليط الضوء"
أدرك المؤلفون أن الطالب يعرف الإجابة بالفعل في أعماقه؛ هو فقط يحتاج إلى مساعدة للتركيز بعينيه على المكان الصحيح.
لقد ابتكروا نظاماً يسمى "الانتباه الموجه بالرؤية" (VGA). فكر فيه كأنه كشاف ضوئي أو بقعة ضوء يشغلها النموذج لنفسه.
1. "فحص الثقة" (الثقة الدلالية البصرية)
قبل أن يبدأ النموذج في كتابة إجابته، يقوم بعملية "فحص سريع وصامت للثقة".
- التشبيه: تخيل أن النموذج ينظر إلى كل بكسل في الصورة ويسأل نفسه: "ما مدى تأكدي من أن هذا الجزء من الصورة يحتوي على 'كلب'؟"
- هو لا يحتاج للنظر إلى الصورة بأكملها مرة أخرى؛ بل يكتفي بمراجعة الملاحظات التي دونها بالفعل. إذا كانت ملاحظاته تقول: "هذه الرقعة من البكسلات تفوح منها رائحة كلب"، فإنه يعطي تلك البقعة درجة ثقة عالية.
- هذا ينشئ خريطة للأهمية. هو يعرف بالضبط أين يوجد "الكلب"، حتى لو لم ينطق بكلمة "كلب" بعد.
2. "تسليط الضوء" (توجيه الانتباه)
الآن، يبدأ النموذج في الكتابة.
- بدون VGA: يكون انتباه النموذج مثل شعاع كشاف ضوئي متقلب. قد يسلط الضوء على السماء، ثم العشب، ثم الكلب، ثم يعود للسماء، مما يسبب له الارتباك.
- مع VGA: يستخدم النموذج "خريطة الثقة" ليقفل شعاع الكشاف على الكلب. يقول النموذج: "حسناً، أنا أكتب عن الكلب الآن، لذا سأسلط ضوئي فقط على الكلب".
- السحر: يحدث هذا فوراً. لا يحتاج النموذج لإعادة قراءة الصورة؛ بل يقوم فقط بتعديل تركيزه الداخلي، تماماً مثل عدسة الكاميرا التي تضبط بؤرتها لتصبح حادة وواضقة.
خدعة خاصة للقصص الطويلة: "الممحاة"
عندما يكتب النموذج وصفاً طويلاً (مثل وصف مشهد كامل)، فإنه يحتاج إلى الاستمرار في الحركة.
- المشكلة: إذا استمر النموذج في التحديق في "الكلب" الذي وصفه للتو، فقد يكتفي بالقول: "الكلب هنا. الكلب لا يزال هنا. الكلب كلب جداً". سيظل عالقاً في مكانه.
- الحل (التوجيه البصري المبرمج): يحتوي النظام على "ممحاة" مدمجة. بمجرد أن يكتب النموذج كلمة "كلب"، يخفت الضوء تلقائياً عن الكلب وينتقل إلى الشيء المثير للاهتمام التالي، مثل "الشجرة" أو "السياج".
- النتيجة: يتدفق الوصف بشكل طبيعي، ويغطي مساحات جديدة دون تكرار نفسه أو اختلاق أشياء ليست موجودة.
لماذا يعد هذا أمراً بالغ الأهمية؟
- مجاني (لا يتطلب إعادة تدريب): لا تحتاج لتعليم النموذج طريقة جديدة للتفكير. أنت فقط تعطيه طريقة أفضل للنظر إلى ما يعرفه بالفعل. الأمر يشبه إعطاء طالب "قلم تحديد" (Highlighter) بدلاً من جعله يعيد تعلم الكتاب المدرسي.
- سريع: لا يتسبب في إبطاء الكمبيوتر. الأمر يشبه شرطي المرور الذي يوجه السيارات؛ السيارات (البيانات) لا تتوقف، بل تتحرك فقط في المسار الصحيح.
- يعمل في كل مكان: يعمل سواء كان النموذج يجيب على سؤال بسيط ("هل توجد كب؟") أو يكتب قصة معقدة عن شارع مزدحم.
الخلاصة
تقول الورقة البحثية: "لا تكتفِ بجعل الذكاء الاصطناعي يخمن؛ بل أرِهِ أين ينظر."
من خلال استخدام "درجات الثقة" الداخلية للنموذج لإنشاء بقعة ضوء، نجح المؤلفون في منع الذكاء الاصطناعي من أحلام اليقظة. والنتيجة هي ذكاء اصطناعي أقل عرضة للكذب بشأن ما يراه، مما يجعله أكثر موثوقية للاستخدام في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.