Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time
تقترح هذه الورقة إطار عمل LIME، وهو إطار عمل للاستدلال في وقت التشغيل لا يتطلب تدريباً، يعمل على التخفيف من الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط عن طريق استخدام انتشار الصلة على مستوى الطبقات لضبط تمثيلات المفتاح والقيمة ديناميكياً وفرض اعتماد أكبر على المدخلات الإدراكية بدلاً من الأولويات النصية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً للغاية ومتعدد المواهب. هذا الروبوت يمكنه رؤية الصور، وسماع الأصوات، وقراءة النصوص جميعها في آن واحد. من المفترض أن يكون محققاً ينظر إلى صورة أو يستمع إلى تسجيل ليخبرك بالضبط بما يحدث.
ومع ذلك، لدى الروبوت عادة سيئة: فهو يكذب على نفسه.
أحياناً، تعرض عليه صورة لمنتزه فارغ، فيقول بثقة: "أرى كلباً يلعب بالكرة!" أو تشغل له تسجيلاً للصمت، فيصر على قول: "أسمع قطة تموء!" وهذا ما يسمى بـ الهلوسة (Hallucination). الروبوت معتاد جداً على قراءة القصص والتحدث عن الأشياء، لذا يبدأ في التخمين بناءً على ما يحدث "عادةً"، بدلاً من النظر إلى ما هو موجود "فعلياً".
المشكلة: الروبوت "ثقيل النص"
اكتشف مؤلفو هذه الورقة البحثية لما reason يفعل الروبوت ذلك. وجدوا أنه عندما يتخذ قراراً، فإنه يستمع كثيراً جداً إلى "دماغه النصي" (معرفته بالكلمات والقصص) ويكاد لا يستمع إلى "عينيه" أو "أذنيه" (الصورة أو الصوت الفعلي).
فكر في الأمر كطالب يجري اختباراً. لقد درس الطالب بجد ويعرف الكتاب المدرسي عن ظهر قلب. ولكن عندما يظهر له المعلم صورة ويسأله: "ماذا يوجد في هذه الصورة؟"، يتجاهل الطالب الصورة ويكتب أول شيء يخطر بباله من الكتاب المدرسي. الطالب "يهلوس" لأنه لا ينظر إلى الأدلة.
الحل: LIME (تعزيز الوسائط أثناء الاستدلال - Learning Inference-time Modality Enhancement)
ابتكر الباحثون حلاً يسمى LIME. والجزء المذهل؟ لم يضطروا لإعادة تعليم الروبوت أو تغيير دماغه (الكود الخاص به). بدلاً من ذلك، أعطوه "دفعة" في اللحظة التي يجيب فيها على سؤال.
إليك كيف يعمل LIME، باستخدام تشبيه بسيط:
تشبيه "تسليط الضوء"
تخيل الروبوت في غرفة مظلمة ومعه مصباح يدوي.
- بدون LIME: يسلط الروبوت ضوء مصباحه بشكل أساسي على كومة من الكتب (النص). ويتجاهل الأشياء الموجودة بالفعل في الغرفة (الصمة أو الصوت). ويخمن ما في الغرفة بناءً على الكتب.
- مع LIME: يقوم الباحثون بتركيب مستشعر ذكي يكتشف أين ينظر الروبوت. إذا بدأ الروبوت في تجاهل الصورة، يقوم LIME بدفع شعاع المصباح بلطف للعودة نحو الصورة. إنه يجبر الروبوت على قول: "انتظر، دعني أنظر إلى الصورة مرة أخرى قبل أن أتحدث".
كيف يفعل ذلك تقنياً (بشكل مبسط):
يجيب الروبوت كلمة بكلمة. في كل مرة يوشك فيها على اختيار الكلمة التالية، يتدخل LIME ويسأل:
- "إلى أي مدى ساعدتك الصورة في اتخاذ قرار بشأن هذه الكلمة؟"
- "إلى أي مدى ساعدك النص؟"
إذا لم تساعد الصورة بما يكفي، يقوم LIME بإجراء تعديل طفيف ومؤقت على ذاكرة الروبوت الداخلية (تحديداً أجزاء الـ "Key" والـ "Value") لجعل الصورة أكثر تأثيراً. يفعل ذلك في جزء من الثانية، ثم يعود لوضعه الطبيعي للكلمة التالية. الأمر يشبه مدرباً يهمس قائلاً: "انظر إلى الكرة!" قبل أن يضرب اللاعب الكرة.
ماذا حدث عندما جربوه؟
اختبر الباحثون هذا على مهام مختلفة:
- الرؤية: عرضوا على الروبوت صوراً وسألوه: "هل توجد كرة رياضية؟" أو "صف هذه الصورة".
- الصوت: شغّلوا أصواتاً وسألوه: "هل تسمع قطة؟"
النتائج:
- أكاذب أقل: توقف الروبوت عن اختراع أشياء غير موجودة. إذا لم تكن هناك كرة، فإنه يقول "لا" بدلاً من التخمين بـ "نعم".
- تركيز أفضل: عندما يتحدث الروبوت عن شيء ما، فإنه يكون في الواقع ينظر إلى الجزء الصحيح من الصورة أو اللحظة الصحيحة من الصوت.
- لا إعادة تدريب: لم يضطروا لقضاء شهور في إعادة تعليم الروبوت. لقد قاموا فقط بتغيير طريقة تفكيره أثناء إجابته.
المقايضة
هناك عقبة واحدة. نظرًا لأن LIME يجب أن يتوقف ويقوم بهذا "تعديل تسليط الضوء" الإضافي لكل كلمة يقولها الروبوت، فإن الأمر يستغرق وقتاً أطول قليلاً للحصول على الإجابة. إنه يشبه امتلاك مساعد ذكي جداً ولكنه أبطأ قليلاً لأنه يراجع عمله قبل كل جملة. ولكن بالنسبة للحالات التي تكون فيها الدقة أهم من السرعة، فإن هذا يعد فوزاً كبيراً.
الملخص
تظهر الورقة البحثية أن نماذج الذكاء الاصطناعي غالباً ما تكذب لأنها تعتمد كثيراً على ذاكرتها من الكلمات وليس على ما تراه أو تسمعه فعلياً. طريقة LIME الجديدة تعمل كمدرب في الوقت الفعلي يجبر الذكاء الاصطناعي على الانتباه للأدلة (الصورة أو الصوت) مباشرة قبل أن يتحدث، مما يؤدي إلى إجابات أكثر صدقاً ودقة دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي من الصفر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.