Mitigating Multimodal Hallucination via Phase-wise Self-reward
تقدم هذه الورقة البحثية إطار عمل PSRD، وهو إطار فك تشفير ذاتي المكافأة مرحلي يقلل من الهلوسة متعددة الوسائط في النماذج اللغوية البصرية الكبيرة من خلال تحديد وتصحيح الأخطاء ديناميكيًا عند بداية المراحل الدلالية باستخدام نموذج مكافأة مُقطّر وخفيف الوزن، محققًا خفضًا كبيرًا في الهلوسة دون إشراف خارجي أو عبء حوسبي ثقيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا وفنانًا للغاية يُدعى LVLM (نموذج لغوي بصري ضخم). تعرض عليه صورة لقطة تجلس على حصيرة، فيبدأ في كتابة قصة عن المشهد.
المشكلة؟ أحيانًا، يصبح هذا الروبوت خياليًا أكثر من اللازم. قد يقول: "القطة ترتدي قبعة حمراء وتمسك كوبًا من القهوة"، رغم أن الصورة لا تظهر أي قبعة ولا قهوة. في عالم الذكاء الاصطناعي، يُسمى هذا "هلوسة" (Hallucination). الأمر يشبه كون الروبوت يسرح في أحلام اليقظة بدلًا من النظر إلى الحقائق.
الطرق الحالية لإصلاح ذلك تشبه توظيف جيش هائل من المحررين البشر للتحقق من كل قصة يكتبها الروبوت. هذا أمر بطيء، ومكلف، ويتطلب الكثير من القدرة الحوسبية. وهناك طرق أخرى تحاول "تعديل" القصة بعد أن ينتهي الروبوت من كتابتها، لكنها غالبًا ما تفشل في رصد اللحظة المحددة التي بدأ فيها الروبوت بالتخيل.
تقدم هذه الورقة البحثية حلاً ذكيًا وجديدًا يُسمى PSRD (فك التشفير بالتحفيز الذاتي عبر المراحل). وإليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. اكتشاف "المرحلة": الإمساك بالخطأ مبكرًا
لاحظ الباحثون شيئًا مثيرًا للاهتمام حول متى يرتكب الروبوت أخطاءه. فقد وجدوا أن الروبوت لا يرتكب الأخطاء بشكل عشوائي، بل يميل إلى التعثر تمامًا عند بداية فكرة جديدة ("مرحلة").
- التشبيه: تخيل أن الروبوت يروي قصة عن رحلة. يقول: "أولاً، مشينا عبر الغابة..." (آمن). ثم يبدأ جملة جديدة: "بعد ذلك، رأينا تنينًا..." (أوبس! لم يكن هناك تنين).
- أدرك الباحثون أن اللحظة التي يغير فيها الروبوت موضوعه (من الغابة إلى التنين) هي اللحظة الأكثر خطورة. في تلك اللحظة، تصل "الهلوسة" إلى ذروتها.
2. "الحكم الذاتي": تدريب مدرب صغير
بدلاً من توظيف محررين بشر، علم الباحثون الروبوت كيف يحكم على نفسه.
- قاموا بإنشاء "مدرب" (نموذج مكافأة) صغير وخفيف الوزن.
- عرضوا على الروبوت آلاف الأمثلة حيث كان مصيبًا وأخرى حيث أخطأ (هلوس).
- تعلم الروبوت التعرف على "عدم اليقين" الخاص به. فعندما شعر بعدم اليقين أو كان على وشك القيام بتخمين جامح، تعلم كيف يضع علامة تحذير.
- التشبيه: فكر في "المدرب" كحكم صارم في مباراة كرة قدم. الحكم لا يلعب المباراة، بل يراقب فقط. إذا كان اللاعب (الروبوت) على وشك ركل الكرة في المرمى الخاطئ (الهلوسة)، فإن الحكم يطلق الصافرة فورًا.
3. استراتيجية "المرحلة": طريقة الاستطلاع والإسقاط
هذا هو السحر الجوهري لـ PSRD. فبدلاً من انتظار كتابة القصة بأكملها ثم إصلاحها، يتدخل "المدرب" في الوقت الفعلي في اللحظة الدقيقة التي تبدأ فيها "مرحلة" جديدة (جملة أو فكرة).
- التشبيه: تخيل أنك تكتب رسالة، ولكن لديك قلم سحري يمكنه تجربة كلمات مختلفة قبل أن تلتزم بها.
- الاستطلاع: بمجرد أن تبدأ جملة جديدة، يختبر القلم بسرعة بعض الكلمات الافتتاحية المختلفة (مثل: "القطة هي..." مقابل "الكلب هو...").
- الإسقاط: يتحقق المدرب من هذه الخيارات فورًا. "انتظر، 'الكلب هو' خطأ لأنه لا يوجد كلب!"
- التدخل: يجبر المدرب القلم على اختيار الكلمة الصحيحة ("القطة هي...") قبل أن تنهي كتابة الجملة حتى.
لماذا يعد هذا أفضل؟
- لا يحتاج لتدريب مكلف: لا يتطلب إعادة تدريب الروبوت بالكامل من الصفر؛ بل يضيف فقط مدربًا صغيرًا.
- الدقة: إنه يمسك بالخطأ في اللحظة التي يحدث فيها، مما يمنع الروبوت من التمادي في الكذب.
- السرعة: نظرًا لأن المدرب صغير وذكي، فإنه لا يبطئ الروبوت كثيرًا.
- النتائج: في اختباراتهم، قللت هذه الطريقة من هلوسات الروبوت إلى النصف (انخفاض بنسبة 50%) وأدت أداءً أفضل من الطرق السابقة التي تتطلب كميات هائلة من البيانات.
الخلاصة
تعلمنا هذه الورقة أنه لإيقاف الذكاء الاصطناعي الإبداعي عن الكذب، لا ينبغي لنا فقط التحقق من المنتج النهائي. نحن بحاجة إلى مراقبة لحظات الانتقال عندما يغير الذكاء الاصطناعي مساره. ومن خلال منح الذكاء الاصطناعي مدربًا صغيرًا وواعيًا بذاته يطلق الصافرة في اللحظة التي يبدأ فيها فكرة جديدة بالابتعاد عن الواقع، يمكننا الحفاظ على صدق الذكاء الاصطنا، وسرعته، ودقته دون الحاجة إلى فريق ضخم من المحررين البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.