When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs
تقدم هذه الورقة البحثية HalluScope، وهو معيار يكشف أن الهلوسة في النماذج اللغوية البصرية الكبيرة مدفوعة بشكل أساسي بالانحيازات المسبقة للتعليمات النصية، وتقترح HalluVL-DPO، وهو إطار عمل لتحسين التفضيل يعمل بفعالية على تخفيف هذه الهلوسات الناجمة عن الأوامر مع الحفاظ على القدرات البصرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج رؤية-لغة ضخم (LVGM) على أنه أمين مكتبة ذكي جداً ومثقف، قرأ ملايين الكتب ورأى ملايين الصور. هذا الأمين بارع للغاية في وصف ما يراه، لكن لديه عادة غريبة: أنه أحياناً يثق في ذاكرته حول كيفية سير العالم "عادةً" أكثر مما يثق فيما ينظر إليه الآن بالفعل.
إليك شرح بسيط لورقة البحث "عندما تتفوق المطالبات على الرؤية" (When Prompts Override Vision)، باستخدام قصة أمين المكتبة هذا.
1. المشكلة: "لعبة التخمين" لدى أمين المكتبة
عادةً، عندما تُريه صورة لشاطئ، يقول: "أرى رملاً وماءً". هذا مثالي.
لكن أحياناً، تسأله سؤالاً مخادعاً: "ما نوع الأحذية التي يرتديها راكب الأمواج؟"
حتى لو كانت الصورة تُظهر راكب أمواج حافي القدمين، فقد يقول أمين المكتبة بثقة: "إنه يرتدي صندل (شبشب) أحمر."
لماذا؟ لأن في بيانات التدريب الضخمة الخاصة بأمين المكتبة، عادةً ما يرتدي راكبو الأمواج صنادل. عقله اعتاد بشدة على نمط "راكب أمواج + صندل" لدرجة أنه يتجاهل حقيقة أن الشخص الذي أمامه حافٍ بالفعل. إنه يهلوس بناءً على "أولوية نصية" (ما يتوقع رؤيته) بدلاً من الدليل البصري.
2. التحقيق: "HalluScope" (عدسة المحقق المكبرة)
أدرك الباحثون أن الاختبارات الحالية كانت غامضة للغاية. لم يكونوا يعرفون لماذا يرتكب أمين المكتبة هذه الأخطاء. هل بصر أمين المكتبة ضعيف؟ أم أن عقله ممتلئ بالافتراضات؟
لقد بنوا اختباراً جديداً يسمى HalluScope. فكر في هذا كـ لعبة محقق مكونة من ثلاثة أجزاء:
- الجولة الأولى (العينان): "هل يوجد كرسي في هذه الغرفة؟" (الكرسي موجود بالفعل).
- النتيجة: ينجح أمين المكتبة في هذا. عيناه تعملان بشكل جيد.
- الجولة الثانية (الذاكرة): "هل يوجد كرسي في هذه الغرفة؟" (الكرسي ليس موجوداً، لكنها غرفة تحتوي عادةً على كراسي).
- النتيجة: غالباً ما يقول أمين المكتبة "نعم"، بناءً على التخمين من نوع الغرفة.
- الجولة الثالثة (الفخ): "ما هو لون الكرسي في هذه الغرفة؟" (لا يوجد كرسي أصلاً).
- النتيجة: هذا هو الفشل الأسوأ. أمين المكتبة لا يكتفي بقول "نعم" فقط، بل يصف بثقة "كرسياً خشبياً أزرق". السؤال نفسه أوقعه في الفخ. فمن خلال السؤال عن لون الكرسي، افترض السؤال وجود الكرسي. لم يستطع عقل أمين المكتبة قول "مهلاً، لا يوجد كرسي هنا!" لأن السؤال كان مقنعاً للغاية.
الاكتشاف الكبير: وجد الباحثون أن عيون أمين المكتبة جيدة في الواقع! المشكلة هي أن السؤال (المطالبة) قوي جداً. أمين المكتبة متحمس جداً للإجابة على السؤال لدرجة أنه يخترع تفاصيل لتناسب الإجابة، متجاهلاً الصورة.
3. الحل: "HalluVL-DPO" (إعادة تدريب أمين المكتبة)
لإصلاح ذلك، ابتكر الباحثون طريقة تدريب جديدة تسمى HalluVL-DPO.
تخيل أن أمين المكتبة يتم إعادة تدريبه مع مدرب صارم.
- الطريقة القديمة: كان المدرب يكتفي بالقول: "لا تكذب". (كان ذلك غامضاً جداً).
- الطريقة الجديدة (HalluVL-DPO): يجهز المدرب لعبة "اختر مغامرتك الخاصة".
- السيناريو (أ): يرى أمين المكتبة صورة لا يوجد فيها كرسي.
- السؤال: "ما لون الكرسي؟"
- الإجابة السيئة (المرفوضة): "إنه كرسي أحمر." (أمين المكتبة يهلوِس).
- الإجابة الجيدة (المختارة): "لا يوجد كرسي في الصورة." (أمين المكتبة متمسك بالواقع).
المدرب لا يكتفي بقول "عمل جيد". بل يستخدم نظام تسجيل خاص. إذا قدم أمين المكتبة "إجابة جيدة" تتعارض بوضوح مع "الإجابة السيئة" (مثل قول "لا يوجد كرسي" مقابل "كرسي أحمر")، فإن ذلك يحصل على درجة عالية. أما إذا كانت الإجابات مجرد نسخ مختلفة قليلاً من نفس الكذبة، فإنها تحصل على درجة منخفضة.
يتم بعد ذلك ضبط أمين المكتبة لـ يحب "الإجابات الجيدة" و يكره "الإجابات السيئة". يتعلم أن من الأفضل قول "أنا لا أرى ذلك" بدلاً من اختراع شيء ما لإرضاء السائل.
4. النتيجة: أمين مكتبة أكثر صدقاً
بعد هذا التدريب:
- عند سؤاله عن الكرسي غير الموجود، يقول أمين المكتبة الآن: "لا يوجد كرسي هنا."
- يتوقف عن اختراع التفاصيل لمجرد أن السؤال أوحى بوجودها.
- الأهم من ذلك، لم يصبح أقل ذكاءً. فهو لا يزال رائعاً في وصف الأشياء الحقيقية، وحل المسائل الرياضية، وكتابة القصص. لقد توقف فقط عن "التخمين" عندما يجب عليه أن "يرى".
تشبيه الملخص
فكر في الذكاء الاصطنا_ي كـ متنبئ بالطقس حفظ أن "الصيف = مشمس".
- المشكلة: إذا عرضت عليه صورة ليوم صيفي ممطر وسألته "هل الجو مشمس؟"، قد يقول "نعم" لأن ذاكرته تقول "الصيف = مشمس"، متجاهلاً المطر في الصورة.
- الإصلاح: علم الباحثون المتنبئ أن ينظر إلى الغيوم في الصورة أولاً، بدلاً من النظر إلى التقويم. الآن، حتى لو سألته "كم تبلغ حرارة الشمس؟"، سيجيب بشكل صحيح: "لا يمكنني إخبارك بمدى حرارة الشمس لأنها تمطر الآن".
الخلاصة: تثبت الورقة أن هلاوس الذكاء الاصطنا_ي ليست ناتجة عادةً عن كون الذكاء الاصطنا_ي "أعمى". بل لأن الذكاء الاصطنا_ي متحمس جداً لإرضاء النص ويعتمد كثيراً على افتراضاته المتعلقة بـ "المنطق العام". من خلال تدريبهم على إعطاء الأولوية لما يرونه بدلاً مما يتوقعونه، يمكننا جعلهم أكثر موثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.