Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

في عالم الذكاء الاصطنا-عي المتطور بسرعة، ظهر جيل جديد من الأنظمة التي يمكنها الرؤية والتحدث في آن واحد. تعمل هذه النماذج اللغوية البصرية الضخمة كراصدين رقميين، قادرين على النظر إلى صورة ووصف ما يحدث داخلها، أو الإجابة على أسئلة حول المشهد. لقد تعلمت هذه النماذج ربط العالم المرئي باللغة البشرية، مما خلق جسراً بين البكسلات والكلمات. ومع ذلك، وعلى الرغم من قدرتها المثيرة للإعجاب على توليد جمل سلسة ومنطقية في كثير من الأحيان، إلا أن هذه الأنظمة تعاني من خلل مستمر ومحبط: فهي تكذب باستمرار. قد تصف بثقة شخصاً يحمل بالوناً أحمر بينما تُظهر الصورة طائرة ورقية زرقاء، أو تخترع تفاصيل غير موجودة ببساطة. هذا الميل لتوليد معلومات خاطئة، والمعروف باسم "الهلوسة"، ينبع من اعتماد عميق على ما قرأه النموذج من قبل بدلاً مما يراه فعلياً في اللحظة الراهنة. فعندما تكون الأدلة البصرية غير واضحة أو معقدة، غالباً ما يلجأ النظام إلى التخمين بناءً على مكتبته الداخلية من الأنماط اللغوية، منتجاً إجابات تبدو صحيحة ولكنها خاطئة واقعياً. وهذا عدم الموثوقية يمنع هذه الأدوات القوية من أن تكون موثوقة في المواقف الواقعية حيث تكون الدقة أمراً ضرورياً.

لقد حدد باحثون في جامعة شيديان وجامعة تسينغهوا الأسباب الجذرية لهذا الارتباك البصري وطوروا طريقة لمساعدة هذه النماذج على "الرؤية بوضوح" قبل أن تجيب. ويكشف عملهم أن المشكلة ليست مجرد نقص في المعرفة، بل هي فشل في كيفية معالجة النموذج لما يراه وتذكره خلال الجزء من الثانية الذي يقضيه في التفكير. اكتشف الفريق أنه بينما يقوم النموذج بتحليل صورة ما، غالباً ما يتم اختطاف انتباهه بواسطة تفاصيل خلفية غير مهمة، مما يجعله يتجاهل الأجزاء الأكثر أهمية في الصورة. علاوة على على ذلك، بينما يبدأ النموذج في توليد استجابته كلمة بكلمة، تتدهور ذاكرته للمشهد البصري، وتصبح مشوهة وأقل اتصالاً بالسؤال المطروح. ولإصلاح ذلك، قدم الباحثون إطار عمل لا يتطلب إعادة تدريب يُسمى "إعادة المحاذاة الإدراكية المدفوعة بالبروز" (Saliency-Driven Perceptual Realignment). لا يتطلب هذا النهج إعادة تدريب النموذج الضخم من الصفر؛ بل يعمل كدليل أثناء عملية التفكير، حيث يصحح بلطف تركيز النموذج وذاكرته لضمان بقائهما متجذرين في الواقع البصري للصورة.

تعالج الخطوة الأولى في عملية التصحيح هذه اللحظة التي ينظر فيها النموذج إلى الصورة لأول مرة. فقد وجد الباحثون أن آلية الانتباه الداخلية للنموذج غالباً ما تتعثر في "رموز المستودع" (sink tokens)، وهي عناصر خلفية عديمة المعنى تسحب الكثير من التركيز عن طريق الخطأ. تخيل شخصاً يحاول الاستماع إلى محادثة في غرفة صاخبة؛ إذا تم اختطاف انتباهه بواسطة ضجيج عالٍ وغير ذي صلة، فسيفتقد الكلمات المهمة التي تُقال. وبالمثل، كان النموذج يسمح لهذه المشتتات الخلفية بإغراق الإشارات البصرية البارزة، مثل وجه شخص أو كائن محدد. تكتشف الطريقة الجديدة متى يحدث هذا الاختطاف وتعيد توزيع انتباه النموذج، ساحبة التركيز بعيداً عن الضجيج وإعادته نحو الأجزاء ذات المعنى في الصورة. ومن خلال القيام بذلك، يستعيد النموذج الأدلة البصرية المكبوتة التي كان يتجاهلها سابقاً، مما يسمح له برؤية المشهد بدقة أكبر حتى قبل أن يبدأ في التحدث.

بمجرد أن يحصل النموذج على رؤية أوضح، يبرز التحدي الثاني مع بدئه في توليد إجابته. يخزن النموذج ذاكرة للصورة للرجوع إليها أثناء كتابة كل كلمة جديدة. ومع ذلك، لاحظ الباحثون أن هذه الذاكرة تصبح مشوهة بمرور الوقت. ولأن النموذج يعالج الصورة والسؤال بترتيب معين، تصبح ذاكرة التفاصيل البصرية مرتبطة بموقعها في التسلسل بدلاً من أهميتها الفعلية للسؤال. الأمر كما لو أن النموذج ينسى أن كائناً معيناً مهم لأنه شوهد في وقت مبكر من التسلسل، بينما تصبح التفاصيل الأقل أهمية في وقت لاحق بارزة للغاية في ذاكرته. ولمواجهة ذلك، يقوم إطار العمل الجديد بإعادة محاذاة هذه الذاكرة الداخلية؛ حيث يضخ إشارة تسلط الضوء على الأجزاء ذات الصلة بالسؤال الحالي من الصورة، مما يضمن بقاء ذاكرة النموذج مركزة على الأدلة البصرية الصحيحة طوال عملية التوليد بأكملها، بدلاً من الانجراف نحو التفاصيل غير ذات الصلة.

أخيراً، حتى مع وجود رؤية واضحة وذاكرة جيدة، لا يزال النموذج يواجه إغراء الاعتماد على عاداته اللغوية المسبقة. أحياناً، يعرف النموذج أن الإجابة هي "نعم" بناءً على الصورة، لكن أنماطه اللغوية الداخلية تشير بقوة إلى "لا" لأن ذلك تعبير شائع في بيانات التدريب الخاصة به. ولمنع ذلك، أضاف الباحثون فحصاً نهائياً يقارن تنبؤ النموذج القائم على الرؤية مقابل مرجع مبني من عاداته اللغية الخاصة. إذا اختلف الاثنان، يقوم النظام بنشاط بتثبيط التخمين القائم على اللغة ويجبر النموذج على التمسك بالأدلة البصرية. تضمن هذه العملية التباينية أن تكون الإجابة النهائية مدفوعة بما هو موجود بالفعل في الصورة، وليس بما يتوقعه النموذج.

إن نتائج تطبيق هذه الاستراتيجية المكونة من ثلاثة أجزاء كبيرة. فعند اختبارها عبر نماذج لغوية بصرية ضخمة مختلفة، قللت الطريقة باستمرار من عدد حالات الهلوسة وحسنت دقة الإجابات. وفي اختبارات محددة تقيس مدى تكرار تحديد الكائنات بشكل صحيح، أظهر النهج الجديد تحسينات تصل إلى ما يقرب من سبع نقاط، وفي الاختبارات التي تقيس وتيرة التفاصيل المهلوسة، قلل الأخطاء بأكثر من الثلث. والأهم من ذلك، تم تحقيق كل هذا دون الحاجة إلى إعادة تدريب مكلفة أو بيانات إضافية، ببساطة من خلال ضبط كيفية دفع النموذج للانتباه وتذكر المعلومات أثناء عمله. ومن خلال معالجة تدهور الوعي البصري بشكل منهجي من النظرة الأولى إلى الجملة الأخيرة، يقدم هذا البحث طريقة قوية لجعل أنظمة الذكاء الاصطناعي القوية هذه أكثر موثوقية، مما يضمن أنها تقول الحقيقة عما تراه.