Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

تخيل أنك تتحدث إلى صديق آلي فائق الذكاء، قد شاهد الملايين من الصور وقرأ مليارات الكتب. تعرض عليه صورة لحديقة مشمسة، فيبدأ بوصف المشهد. لكن أحياناً، يصبح هذا الروبوت مبدعاً أكثر من اللازم؛ فقد يخبرك بثقة بوجود "بالون أحمر ضخم" يطفو فوق الأشجار، رغم أن الصورة فارغة تماماً في ذلك الجزء. يُسمى هذا "الهلوسة"، وهي تسبب صداعاً كبيراً للعلماء الذين يبنون هذه الأنظمة الذكية. فإذا كان الروبوت يعتقد أنه يرى أشياء ليست موجودة، فلن نتمكن حقاً من الوثوق به للمساعدة في المهام الهامة.

لفترة طويلة، اعتقد الباحثون أن المشكلة تكمن في أن الروبوت لا "ينظر" بتركيز كافٍ إلى الصورة. كانوا يعتقدون أن الذكاء الاصطناائي يهذي لأن عينيه تتجولان، لذا حاولوا إجباره على إبداء المزيد من الاهتمام بالصورة. ولكن ماذا لو كان الروبوت ينظر بالفعل؟ ماذا لو كان يحدق مباشرة في البقعة التي يفترض أن يكون البالون الوهمي موجوداً فيها، لكنه فقط يسيء تفسير ما يراه؟ هذه الورقة البحثية، التي تحمل عنوان "نفس الانتباه، حقائق مختلفة"، تغوص في هذا اللغز تحديداً. إنها تستخدم خدعة ذكية تسمى "عدسة اللوجيت" (Logit Lens) - فكر فيها كأنها أشعة سينية لعقل الروبوت - لتلقي نظرة داخل عقل الذكاء الاصطناعي أثناء حديثه. والهدف هو معرف لسبب كذب الروبوت بشأن ما يراه، حتى نتمكن من تعليمه قول الحقيقة دون الحاجة إلى إعادة تدريبه من الصفر.

اللغز: يحدق بتركيز، لكنه يخطئ التقدير

بدأ المؤلفون باختبار فكرة شائعة: وهي أن هلوسات الذكاء الاصطناعي تحدث لأن النموذج لا يولي اهتماماً كافياً للصورة. راقبوا الذكاء الاصطناعي وهو يصف الصور، وتتبعوا بدقة أين استقرت "نظراته" (انتباهه). ووجدوا شيئاً مفاجئاً: لقد أولى الذكاء الاصطناعي اهتماماً للأشياء الحقيقية (مثل الكرسي) بقدر اهتمامه بالأشياء الوهمية (مثل وعاء غير موجود).

الأمر يشبه محققاً يحدق بتركيز شديد في جدار فارغ، مقتنعاً بأن هناك رسالة سرية مخبأة هناك. المحقق لا يتجاهل الجدار؛ بل هو ينظر إليه مباشرة! المشكلة ليست في مقدار ما ينظر به، بل في ما يعتقد أنه يراه. تسمي الورقة البحثية هذه الحالة "نفس الانتباه، حقائق مختلفة". فالذكاء الاصطناعي يركز طاقته، لكن الرابط بين ما يراه وما يقوله معطل.

الأشعة السينية: قراءة عقل الذكاء الاصطناعي

لفهم ما كان يحدث، استخدم الباحثون أداة تسمى "عدسة اللوجيت" (Logit Lens). تخيل عقل الذكاء الاصطناعي ككعكة متعددة الطبقات. بينما يعالج الذكاء الاصطناعي صورة ما، تنتقل المعلومات عبر هذه الطبقات. تسمح "عدسة اللوجيت" للباحثين باستراق النظر إلى "حشوة" الكعكة في طبقات مختلفة وسؤال: "لو أوقفنا الذكاء الاصطناعي هنا، فما هي الكلمة التي سيقولها؟".

عندما فعلوا ذلك، وجدوا انقساماً واضحاً:

• الأشياء الحقيقية: عندما كان الذكاء الاصطناعي ينظر إلى كرسي حقيقي، قامت "حشوة" عقله بفك تشفير الصورة بشكل صحيح ككلمة "كرسي". الدليل البصري تطابق مع الكلمة.
• الأشياء الوهمية: عندما كان الذكاء الاصطناعي ينظر إلى بقعة ضبابية من الأرض وقرر تسميتها "وعاء"، أظهرت "عدسة اللوجيت" أن العقل لم "يرَ" وعاءً في الواقع. كان الدليل البصري مشوشاً وغير مؤكد، ومع ذلك أصر الذكاء الاصطناعي على قول "وعاء".

نوعان من الكاذبين

اكتشفت الورقة أن الذكاء الاصطناعي يكذب لسببين مختلفين تماماً، مثل نوعين مختلفين من الطلاب أثناء الاختبار.

1. الكاذب بسبب "الرؤية الضبابية" (عدم اليقين البصري)
أحياناً، تكون الصورة مربكة فحسب. ربما هناك شكل داكن وضبابي يشبه الوعاء قليلاً. يحدق الذكاء الاصطناعي في هذه البقعة الضبابية، ويصاب بالارتباك، ثم يخمن: "أراهن أن هذا وعاء!".

• الإصلاح: وجد الباحثون أنه إذا قاموا ببساطة بتغطية (قناع/Masking) تلك البقعة الضبابية والمربكة، يتوقف الذكاء الاصطناعي عن الكذب. يدرك قائلاً: "أوه، لا يمكنني رؤية أي شيء هناك، لذا لن أخمن". وهذا ما يسمى "قناع مناطق الانتباه العالي" (HARM). الأمر يشبه قولك للمحقق: "لا تنظر إلى ذلك الجدار الضبابي؛ انظر إلى النافذة الواضحة بدلاً من ذلك".

2. الكاذب بسبب "أحلام اليقظة" (السياق المسبق)
في أحيان أخرى، تكون الصورة واضحة، لكن الذكاء الاصطناعي يتأثر بشدة بما يتوقع رؤيته. تخيل أن الذكاء الاصطناعي يصف مطبخاً. حتى لو لم يكن هناك ميكروويف في الصورة، قد يقول الذكاء الاصطناعي: "هناك ميكروويف"، لأنه في تدريباته، المطابخ عادة ما تحتوي على ميكروويف. إنه معتاد جداً على فكرة الميكروويف لدرجة أنه يتخيله.

• المفاجأة: إذا غطيت الجزء من الصورة الذي ينظر إليه الذكاء الاصطناعي، فإنه لا يتوقف عن الكذب! بل ينقل نظره إلى مكان آخر ويستمر في قول "ميكروويف". الذكاء الاصطناعي يتبع سيناريو: "يجب أن أنظر إلى شيء ما قبل أن أقول ميكروويف".
• الإصلاح: لهذا النوع، استخدم الباحثون طريقة تسمى "فك التشفير المعزز بالدليل البصري" (VEED). لقد أجبروا الذكاء الاصطناعي على إعطاء اهتمام إضافي لـ الدليل البصري الفعلي الذي وجده بالفعل (والذي لم يظهر ميكروويف في هذه الحالة) واستخدموا ذلك لإبطال مفعول أحلام اليقظة لديه. الأمر يشبه تذكير المحقق: "راجع ملاحظاتك مرة أخرى؛ الملاحظات تقول إنه لا يوجد ميكروويف، لذا توقف عن التخمين".

الحل: أدوات المحقق

بناءً على هذه النتائج، بنى المؤلفون مجموعة أدوات بسيطة "لا تتطلب إعادة تدريب". وهذا يعني أنهم لم يحتاجوا إلى إعادة تعليم الذكاء الاصطناعي من الصفر؛ بل أضافوا فقط خطوة فحص ذكية قبل أن يعطي الذكاء الاصطناعي إجابته النهائية.

1. الفحص: بينما يقوم الذكاء الاصطناعي بإنشاء جملة، يستخدم النظام "عدسة اللوجيت" للتحقق: "هل تدعم الصورة حقاً هذه الكلمة؟". إذا كانت الإجابة لا، فإنه يصنف الكلمة كهلوسة.
2. التشخيص: بعد ذلك، يحدد السبب وراء كذب الذكاء الاصطناعي. هل هو بسبب ضبابية الصورة (النوع 1) أم لأن الذكاء الاصطناعي كان في حالة "أحلام يقظة" (النوع 2)؟
3. العلاج:
   • إذا كان النوع 1، يتم تغطية الجزء الضبابي ويُطلب من الذكاء الاصطناعي المحاولة مرة أخرى.
   • إذا كان النوع 2، يتم تعزيز إشارة الدليل البصري الحقيقي لطغيانها على أحلام اليقظة.

النتائج

اختبر الفريق هذه الطريقة على عدة نماذج مختلفة من الذكاء الاصطناعي ووجدوا أنها تعمل بشكل ممتاز. لقد قللت من عدد الأشياء الوهمية التي اخترعها الذكاء الاصطناعي أكثر من أي طريقة أخرى اختبروها، دون أن تجعل الذكاء الاصطناعي ينسى ذكر الأشياء الحقيقية.

باختصار، تظهر هذه الورقة أن هلوسات الذكاء الاصطناعي ليست مجرد مسألة عدم نظر الروبوت بتركيز كافٍ. أحياناً، ينظر الروبوت مباشرة إلى المشكلة لكنه يسيء تفسير دليل ضبابي، وأحياناً أخرى، يكون متلهفاً جداً لاتباع قصة سمعها من قبل. ومن خلال فهم هذين النوعين من "الأكاذيب"، وجد الباحثون طريقة للإمساك بها وإصلاحها، مما يجعل أصدقاءنا الآليين أكثر صدقاً وأكثر موثوقية.