Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs
تقترح الورقة البحثية إطار عمل AVES-DPO، وهو إطار لتعلم التفضيلات ذاتي التصحيح يعمل على الحد من الهلوسة في النماذج اللغوية البصرية الكبيرة من خلال توليد أزواج تفضيل ضمن التوزيع عبر آلية تحقق قائمة على الإجماع، مما يتغلب بذلك على عدم التطابق التوزيعي الناتج عن الاعتماد على النماذج المملوكة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا وفنانًا يحب وصف الصور. تعرض عليه صورة لمطبخ، فيقول: "أرى خزانة بنية، وأرضية خشبية، وشخصًا يقف بجانب كلب". ولكن مهلًا، لا يوجد كلب في الصورة! لقد اخترع الروبوت ذلك من خياله. يسمى هذا "الهلوسة" (Hallucination). الأمر يشبه تخيل الروبوت لأشياء غير موجودة أثناء النظر إلى الصورة.
لفترة طويلة، حاول العلماء إصلاح ذلك عبر توظيف "خبير فائق" (مثل نموذج ذكاء اصطناği ضخم ومكلف للغاية يسمى GPT-4V) لينظر إلى أخطاء الروبوت ويخبره: "لا، هذا الكلب ليس موجودًا هنا. قم بتصحيح ذلك". ثم يقومون بتعليم الروبوت باستخدام هذه التصحيحات.
المشكلة في الطريقة القديمة
أدرك مؤلفو هذه الورقة البحثية وجود خلل في هذه الخطة. تخيل تعليم طالب الرسم عبر جعله ينسخ لوحة فنية رائعة لفنان مختلف تمامًا. قد يتعلم الطالب أسلوب الأستاذ، لكنه لن يتطابق مع أسلوبه الطبيعي في الرسم.
بنفس الطويقة، عندما يقوم "الخبير الفائق" بتصحيح الروبوت، يبدو التصحيح بأسلوب الخبير، وليس بأسلوب الروبوت. هذا يخلق "عدم تطابق" (Mismatch). يصاب الروبوت بالارتباك لأن "الإجابة الصحيحة" تبدو غريبة عن عقله، مما يجعل عملية التعلم غير فعالة وتتطلب كميات هائلة من البيانات.
الحل الجديد: "AVES-DPO" (الفنان الذي يصحح نفسه)
يقترح المؤلفون طريقة جديدة تسمى AVES-DPO. بدلًا من توظيف خبير خارجي، يعلمون الروبوت كيف يراجع عمله ويصلحه بنفسه.
إليك كيف تعمل عملية "التصحيح الذاتي" هذه، مقسمة إلى خطوات بسيطة:
- المسودة الأولى (الخطأ): ينظر الروبوت إلى الصورة ويكتب وصفًا. قد يخترع كلبًا بالخطأ أو يخطئ في لون الخزائن.
- عمل المحقق (التحقق): قبل أن يحاول الروبوت إصلاح الخطأ، يستخدمون فريقًا من "المحققين" (أدوات ذكاء اصطناعي متخصصة ومفتوحة المصدر) لمسح الوصف.
- هل قال الروبوت إن هناك كلبًا؟ يتحقق المحقق من الصورة: "لا، لا يوجد كلب".
- هل قال إن الخزائن زرقاء؟ يتحقق المحقق: "لا، إنها بنية".
- هل قال إن الشخص يمسك كوبًا؟ يتحقق المحقق: "لا يوجد كوب".
إذا اتفق المحققون، يتم تأكيد الخطأ. وإذا كانوا غير متأكدين، يطلبون رأيًا ثانيًا للتأكد.
- التصحيح الذاتي (الإصلاح): الآن، ينظر الروبوت إلى قائمة الأخطاء المؤكدة، ويعيد كتابة قصته.
- يحذف الكلب الوهمي.
- يغير "الخزائن الزرقاء" إلى "الخزائن البنية".
- والأهم من ذلك، هو لا يكتفي بحذف الأجزاء السيئة فحسب؛ بل يضيف أيضًا مزيدًا من التفاصيل الحقيقية التي فاتته، مثل "الأرضية لامعة" أو "هناك نافذة".
- الدرس (تعلم التفضيل): الآن، يمتلك الروبوت نسختين من القصة:
- النسخة (أ): القصة الأصلية المليئة بالأخطاء (الإجابة "السيئة").
- النسخة (ب): القصة الجديدة المصححة ذاتيًا والمفصلة (الإجابة "الجيدة").
يتم تدريب الروبوت على تفضيل النسخة (ب). ولأن الروبوت هو من كتب النسخة (ب) بنفسه، فإن "الإجابة الجيدة" تبدو تمامًا مثله. إنها تتناسب تمامًا مع عقله.
لماذا يعد هذا أمرًا هامًا
يدعي المؤلفون أن هذه الطريقة تُعد تغييرًا لقواعد اللعبة لثلاثة أسباب:
- إنها فعالة: نظرًا لأن الروبوت يتعلم من "صوته" الخاص، فإنه يتعلم بشكل أسرع بكثير. احتاجوا فقط إلى حوالي 5,200 مثال لتعليم الروبوت. بينما احتاجت الطرق الأخرى إلى 25 ضعف كمية البيانات (أكثر من 120,000 مثال) لتحقيق نتائج مماثلة. الأمر يشبه تعلم لغة عبر التحدث إلى نفسك في المرآة مقابل محاولة تقليد لهجة أجنبية.
- إنها تلتقط المزيد من الأخطاء: معظم الطرق القديمة كانت تلتقط الأخطاء "الكبيرة" فقط، مثل اختراع كائن كامل (كلب). أما هذه الطريقة الجديدة فتلتقط حتى الأخطاء "الصغيرة"، مثل الخطأ في العلاقة بين الأشياء (القول بأن الكلب على اليسار بينما هو في الواقع على اليمين) أو الخطأ في اللون.
- إنها أرخص: لا تحتاج إلى دفع تكاليف نماذج ذكاء اصطناعي "خبير فائق" مكلفة للقيام بالتصحيح. الروبوت يقوم بالعمل الشاق بنفسه.
النتيجة
عندما اختبروا هذه الطريقة الجديدة، أصبح الروبوت أفضل بكثير في وصف الصور بدقة. لقد توقف عن اختراع الأشياء وأصبح يضبط التفاصيل، كل ذلك باستخدام كمية ضئيلة جدًا من بيانات التدريب.
ملاحظة حول الحدود
المؤلفون صريحون بشأن ما لا تستطيع طريقتهم فعله بعد.
- تعمل الطريقة بشكل أفضل عند النظر إلى جسم واحد في كل مرة. إذا كانت الصورة تحتوي على حشد فوضوي من 50 شخصًا يتفاعلون بطرق معقدة، فقد يرتبك النظام قليلاً.
- بالنسبة لأكبر نماذج الروبوتات وأكثرها قوة (النماذج ذات الـ 13 مليار بارامتر)، جعل تصحيح الهلوسة هذه النماذج أكثر "حذرًا" قليلاً. لقد أصبحوا جيدين جدًا في عدم اختراع الأشياء لدرجة أنهم أحيانًا ينسون ذكر معلومات عامة كانوا يعرفونها سابقًا. إنه مقايضة بين أن تكون دقيقًا بنسبة 100% وبين أن تكون ثرثارًا بنسبة 100%.
باختصار، AVES-DPO تتعلق بتعليم الروبوت كيف يكون أفضل محرر لنفسه، لضمان أن "الحقيقة" التي يتعلمها هي نوع الحقيقة الذي يتناسب طبيعيًا مع عقله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.