Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO
تقترح هذه الورقة استراتيجية "تحسين السياسة النسبية للمجموعات المعايرة للرفض" (RC-GRPO)، وهي استراتيجية تعلم تعزيزي تمكن النماذج اللغوية الكبيرة متعددة الوسائط من رفض الكائنات غير الموجودة بفعالية في مهام فهم التعبيرات المرجعية المعممة دون المساس بدقة تحديد المواقع للأهداف الموجودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يلعب لعبة "أنا أرى" (I Spy) مع إنسان. يشير الإنسان إلى صورة ويقول: "ابحث عن الكرة الحمراء". إذا كانت الكرة الحمراء موجودة، يجب على الروبوت أن يشير إليها مباشرة. ولكن ماذا لو قال الإنسان: "ابحث عن الكرة الحمراء"، بينما تُظهر الصورة في الواقع قطة زرقاء؟ الروبوت الذكي يجب أن يقول: "لا يمكنني العثور على كرة حمراء هنا؛ فهي غير موجودة". ومع ذلك، فإن العديد من عقول الكمبيوتر فائقة الذكاء اليوم (والتي تسمى النماذج اللغوية الكبيرة متعددة الوسائط) تشبه الطلاب المتحمسين الذين يرتعبون من الخطأ. إنهم يتوقون بشدة لتقديم إجابة، لدرجة أنهم عندما لا يرون الكرة الحمراء، يستمرون في التخمين على أي حال، ويشيرون إلى القطة الزرقاء ويصرون على قول: "ها هي ذا!". يُسمى هذا "هلوسة" (hallucination)—أي اختلاق حقائق غير صحيحة.
تتناول هذه الورقة نسخة محددة ومعقدة من هذه المشكلة تسمى "فهم التعبيرات المرجعية المعمم" (Generalized Referring Expression Comprehension). وهي طريقة منمقة لقول: "هل يمكن للروبوت العثور على الشيء إذا كان موجوداً، وهل يمكنه أن يقول بصدق 'أنا لا أراه' إذا لم يكن موجوداً؟". وجد الباحثون أنه بينما تبرع هذه الروبوتات في العثور على الأشياء، إلا أنها سيئة جداً في الاعتراف عندما تكون الأشياء مفقودة. فإذا قمت فقط بتدريبها على قول "لا" بشكل متكرر، فستصبح خائفة جداً وتتوقف عن العثور على الأشياء الموجودة بالفعل. احتاج الفريق إلى طريقة لتعليم الروبوت أن يقول "لا" فقط عندما يكون ذلك ضرورياً حقاً، دون أن يجعله ينسى كيفية قول "نعم" عندما يكون محقاً.
يقترح مؤلفو هذه الورقة طريقة تدريب ذكية جديدة تسمى "تحسين السياسة النسبي للمجموعات المعاير بالرفض" (Refusal-Calibrated Group Relative Policy Optimization - RC-GRPO). فكر في عملية تعلم الروبوت كأنها لعبة "ساخن وبارد". عادةً، يحصل الروبوت على درجة بناءً على مدى قرب تخمينه. لكن عندما يكون الشيء غير موجود، يستمر الروبوت في التخمين على أي حال، لذا فهو لا يتعلم أب ever الإجابة الصحيحة. كانت خدعة الباحثين الأولى هي إجبار الروبوت على قول "لا شيء، أنا لا أراه" أثناء جولات التدريب الخاصة به، حتى لو أراد التخمين. منح هذا الروبوت "مكافأة" واضحة لقول الشيء الصحيح عندما يكون الشيء مفقوداً.
ومع ذلك، أدركوا أنه إذا مدحوا الروبوت لمجرد قوله "لا شيء"، فإنه سيبدأ في قول "لا شيء" لكل شيء، حتى عندما يكون الشيء موجوداً بالفعل. ولإصلاح ذلك، أضافوا قاعدة خاصة: إذا قال الروبوت "لا شيء" بينما الشيء موجود بالفعل، فإنه يتلقى عقوبة كبيرة. الأمر يشبه قولك للروبوت: "من المقبول أن تقول إنك لا ترى الكرة إذا لم تكن الكرة موجودة، ولكن إذا قلت إنك لا تراها وهي أمامك مباشرة، فستخسر نقاطاً". كما أضافوا مرحلة ثانية حيث يتعين على الروبوت شرح لماذا يعتقد أن الشيء مفقود (على سبيل المثال: "أنا لا أرى كرة حمراء لأن هناك فقط قطة زرقاء"). هذا يجبر الروبوت على فهم الصورة فعلياً بدلاً من مجرد حفظ نمط معين.
تظهر النتائج أن هذه الطريقة تعمل بشكل جيد للغاية. فعندما اختبروا طريقتهم الجديدة على ثلاثة اختبارات مختلفة وصعبة، أصبح الروبوتات أفضل بكثير في كل من العثور على الأشياء ورفض التخمين عندما لا تكون موجودة. على سبيل المثال، في أحد الاختبارات، حسنت طريقتهم دقة الروبوت الإجمالية من 45% إلى 62%، بل وتفوقت على طرق متقدمة أخرى بفارق كبير. تشير الورقة إلى أن هذا النهج يساعد الروبوت في إيجاد التوازن المثالي: فهو يتوقف عن اختلاق مواقع وهمية للأشياء المفقودة، لكنه لا يفقد قدرته على العثود على الأشياء الحقيقية. إنها خطوة نحو صنع ذكاء اصطناعي ليس ذكياً فحسب، بل صادق أيضاً بشأن ما يراه وما لا يراه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.