🤖 machine learning

Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning

تقدم هذه الورقة البحثية إطار عمل "المعايرة المدركة للترتيب" (Ranking-Aware Calibration - RAC)، وهو إطار تدريب يستفيد من إشارات التعلم التعزيزي القائمة على المجموعات الموجودة لفرض ترتيب الثقة بين مسارات الاستدلال الأفضل والأسوأ، وبين المدخلات النظيفة والفاسدة، مما يؤدي في آن واحد إلى تحسين دقة المهام وموثوقية المعايرة في النماذج اللغوية البصرية متعددة الوسائط دون الحاجة إلى تسميات توضيحية خارجية.

المؤلفون الأصليون: Peng Cui, Boyao Yang, Jun Zhu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peng Cui, Boyao Yang, Jun Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً يمكنه النظر إلى الصور والإجابة على الأسئلة حولها. لقد قمت بتدريب هذا الروبوت باستخدام طريقة تسمى التعلم التعزيزي (Reinforcement Learning - RL). فكر في هذا التدريب كأنه لعبة فيديو يحصل فيها الروبوت على "نجمة ذهبية" فقط عندما يكتب الإجابة النهائية الصحيحة.

المشكلة: خطأ الثقة المفرطة
تشير الورقة البحثية إلى وجود خلل في طريقة التدريب هذه. نظرًا لأن الروبوت يهتم فقط بالحصول على "النجمة الذهبية" (الإجابة الصحيحة)، فإنه يتعلم كيف يكون كاذباً واثقاً.

إذا كانت الصورة ضبابية، أو مظلمة، أو بها خلل غريب (ما يسميه المؤلفون "المدخلات التالفة/المشوهة")، فقد يستمر الروبوت في تخمين إجابة ما. وإذا خمن بشكل خاطئ، ولكن الصورة كانت سيئة، فلا يهم النظام القديم للتدريب. سيظل الروبوت يقول: "أنا متأكد بنسبة 100% أن هذه هي الإجابة!" رغم أنه مخطئ. الأمر يشبه طالباً يؤدي اختباراً في غرفة تومض فيها الأضواء؛ إذا خمن الإجابة الخاطئة وتحدث بيقين تام، فإن النظام القديم لن يعلمه أن يقول: "هممم، الإضاءة سيئة، لست متأكداً تماماً".

هذا أمر خطير لأن كون الروبوت واثقاً وهو مخطئ قد يؤدي إلى قرارات سيئة لاحقاً.

الحل: RAC (المعايرة القائمة على الترتيب)
قدم المؤلفون طريقة تدريب جديدة تسمى RAC. بدلاً من مجرد السؤال: "هل حصلت على الإجابة الصحيحة؟"، تسأل RAC سؤالين أكثر ذكاءً باستخدام المقارنات. الأمر يشبه مدرباً يقدم ملاحظات ليس فقط على النتيجة، بل على كيفية لعب اللاعب أيضاً.

إليك القاعدتان الجديدتان اللتان يتعلمهما الروبوت:

1. قاعدة "التخمين الأفضل" (خسارة المجموعة القائمة على الترتيب)

التشبيه: تخيل أن الروبوت طُلب منه حل مسألة رياضية. بدلاً من إعطاء إجابة واحدة فقط، يُطلب من الروبوت توليد خمسة حلول مختلفة محتملة في نفس الوقت.

الطريقة القديمة: يحصل الروبوت على مكافأة فقط للحل الصحيح. أما الحلول الأربعة الأخرى فيتم تجاهلها.
طريقة RAC: يُقال للروبوت: "انظر إلى تخميناتك الخمسة. يجب أن يكون للتخمين الصحيح درجة ثقة أعلى من التخمينات الخاطئة".

إذا قال الروبوت: "التخمين (أ) مؤكد بنسبة 90% (وهو صحيح)" و"التخمين (ب) مؤكد بنسبة 95% (لكنه خاطئ)"، فسيتم معاقبته. يجب أن يتعلم أن يقول: "الإجابة الصحيحة هي تلك التي أكون أكثر ثقة بها". هذا يجبر الروبوت على التفكير بجهد أكبر للتمييز بين التخمين الجيد والتخمين السيئ، مما يجعله أذكى وأكثر دقة بالصدفة.

2. قاعدة "الصورة الضبابية" (خسارة الزوج المقارن بين النقي والمشوه)

التشبيه: تخيل عرض نفس السؤال على الروبوت مرتين.

الجولة الأولى: تعرض له صورة واضحة وعالية الدقة.
الجولة الثانية: تعرض له نفس الصورة تماماً، لكنك أضفت إليها تشويشاً أو ضوضاء أو ضبابية (مدخلات مشوهة).

الطريقة القديمة: قد يقول الروبوت: "أنا متأكد بنسبة 90% للصورة الواضحة" و"أنا متأكد بنسبة 90% للصورة الضبابية".
طريقة RAC: يُقال للروبوت: "إذا كانت الصورة ضبابية، فإن ثقتك يجب أن تنخفض".

إذا قال الروبوت: "أنا متأكد بنسبة 90% رغم أن الصورة ضبابية"، فسيتم معاقبته. يتعلم أن الدليل السيئ = ثقة أقل. يتعلم أن يقول: "الصورة ضبابية، لذا أنا متأكد بنسبة 60% فقط". هذا لا يجعله بالضرورة يصيب الإجابة الصحيحة، ولكنه يجعله صادقاً بشأن مدى تأكده.

النتائج
اختبر المؤلفون هذه الطريقة على عدة نماذج ذكية (مثل Qwen و InternVL) باستخدام ستة أنواع من اختبارات الاستدلال. ووجدوا ما يلي:

دقة أكبر: لأن الروبوت تعلم ترتيب تخميناته (القاعدة رقم 1)، فقد أصاب في إجابات أكثر بالفعل.
أمانة أكثر: لأن الروبوت تعلم خفض مستوى ثقته عندما تكون الصورة سيئة (القاعدة رقم 2)، فقد توقف عن التظاهر باليقين عندما لا يكون متأكداً.
لا تكلفة إضافية: الجزء الأفضل هو أنهم لم يحتاجوا إلى توظيف بشر لتصنيف "مستوى الثقة". لقد استخدموا فقط البيانات التي كان الروبوت يولدها بالفعل أثناء التدريب لتعليم هذه الدروس.

باختصار
تعلم طريقة RAC الروبوت شيئين:

كن حكماً أفضل: إذا كان لديك أفكار متعددة، فكن أكثر ثقة في الفكرة الصحيحة.
اعرف حدودك: إذا كانت المعلومات التي تنظر إليها غير واضحة، فاعترف بأنك أقل تأكداً.

هذا يجعل الروبوت ليس فقط أكثر ذكاءً، بل أيضاً أكثر موثوقية وجدارة بالثقة، خاصة عندما يكون العالم من حوله (الصور) غير مثالي.

ملخص تقني: المعايرة المدركة للترتيب من أجل تعلم تعزيزي متعدد الوسائط موثوق

1. بيان المشكلة

بينما أدى التدريب اللاحق باستخدام التعلم التعزيزي (RL) إلى تحسين دقة الاستدلال بشكل كبير في النماذج اللغوية البصرية-اللغوية (VLMs) والنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، إلا أن هذه النماذج غالباً ما تعاني من ضعف في المعايرة. وتحديداً، فإن مكافآت الصحة النهائية — المستخدمة عادةً في التعزيز القائم على النتيجة — تفشل في معاقبة الأخطاء الواثقة أكثر من الأخطاء غير الواثقة، كما أنها لا تفرض علاقة بين الثقة وجودة الأدلة البصرية الداعمة.

يصبح هذا التباين الهيكلي حرجاً في ظل المدخلات البصرية التالفة أو الغامضة. في مثل هذه السيناريوهات، غالباً ما تولد النماذج مبررات (rationales) طليقة ولكنها غير صحيحة مع الحفاظ على ثقة عالية، مما يؤدي إلى "الاستدلال الخاطئ الموثوق" أو الهلوسة. إن طرق المعايرة الحالية، مثل قياس درجة الحرارة (temperature scaling) اللاحق أو استخراج الثقة اللفظي، تعمل على نماذج مجمدة ولا يمكنها تغيير السلوك المتعلم للسياسة فيما يتعلق بالثقة. علاوة على ذلك، فإن الأهداف النصية القياسية لا تأخذ في الاعتبار تدهور الأدلة البصرية، وهو تحدٍ فريد في الاستدلال متعدد الوسائط حيث يجب أن تتضاءل الثقة مع تدهور جودة الأدلة.

2. المنهجية: إطار عمل RAC

يقترح المؤلفون إطار عمل المعايرة المدركة للترتيب (Ranking-Aware Calibration - RAC)، وهو إطار عمل للتدريب يدمج المعايرة كهدف أصيل ضمن التعلم التعزيزي متعدد الوسائط. يستفيد RAC من الهيكل الحالي للتعلم التعزيزي القائم على المجموعات (تحديداً تحسين السياسة النسبي للمجموعات، أو GRPO) لتوليد إشارات إشراف دون الحاجة إلى تسميات ثقة خارجية.

يقدم إطار العمل إشارتين نسبيتين للإشراف مشتقتين من أخذ عينات التعلم التعزيزي:

أ. خسارة المجموعة المدركة للترتيب (داخل المطالبة - Within-Prompt)

تعالج هذه الخسارة ترتيب الثقة بين عدة حلول مرشحة (rollouts) لنفس المطالبة.

الآلية: للمطالبة $x$ المعطاة، تقوم السياسة بأخذ عينة من مجموعة مكونة من $n$ من الحلول (rollouts). وتحدد الطريقة الأزواج التي يكون فيها أحد الحلول صحيحاً (درجة مدقق أعلى) والآخر غير صحيح.
الهدف: تفرض قيداً قائماً على الهامش حيث يجب أن يحصل الحل الصحيح على درجة ثقة أعلى من الحل غير الصحيح ( $c_{better} > c_{worse} + m_{rank}$ ).
الأثر: هذا يجبر السياسة على التمييز بين مسارات الاستدلال الصحيحة والخاطئة. ومن خلال اشتراط منح إجابات صحيحة درجات ثقة أعلى بشكل متميز، فإنه يعزز جودة الاستدلال الأساسي، مما يحسن دقة المهمة بما يتجاوز ما تحققه مكافآت الصحة وحدها.

ب. خسارة الزوج (النظيف–التالف) (عبر الأدلة - Across-Evidence)

تعالج هذه الخسارة العلاقة بين الثقة وجودة الأدلة البصرية.

الآلية: لكل مطالبة نظيفة $x^{(0)}$ ، يتم إنشاء نسخة تالفة اصطناعياً $x^{(s)}$ (باستخدام معاملات ImageNet-C مع مستويات شدة متفاوتة $s$ ). تأخذ السياسة عينات من الحلول لكل من النسختين.
الهدف: تفرض قيداً اتجاهياً حيث يجب أن تكون الثقة في العرض التالف أقل من العرض النظيف، مع اشتراط أن الفجوة المطلوبة تتناسب طردياً مع شدة التلف ( $c_{clean} > c_{corrupted} + m_{corr} + \alpha s$ ).
الأثر: هذا يعلم النموذج تقليل الثقة عندما تتدهور الأدلة البصرية، مما يقلل من خطأ المعايرة المتوقع (ECE) ودرجة براير (Brier score) في ظل المدخلات المتدهورة.

ج. التحسين الموحد

يتم تحويل هاتين الخسارتين إلى مكافآت تشكيل على مستوى التسلسل ويتم دمجهما في هدف GRPO القياسي. المكافأة النهائية للحل $i$ هي:
$\tilde{r}_i = r_{task, i} + \lambda_{rank} r_{rank, i} + \lambda_{corr} r_{corr, i} + \lambda_{fmt} r_{fmt, i}$
حيث $r_{task}$ هي مكافأة الصحة القياسية، والمصطلحات الأخرى مشتقة من خسائر الترتيب والتلف. لا يتطلب هذا النهج أي تغييرات في المحسن الأساسي أو بنية النموذج.

3. المساهمات الرئيسية

رؤية الإشراف النسبي: يحدد البحث أن التعلم التعزيزي القياسي القائم على النتيجة يفتقر إلى القيود الاتجاهية على الثقة. ويوضح أن هذه القيود يمكن الإشراف عليها باستخدام المقارنات المتأصلة بالفعل في أخذ عينات التعلم التعزيزي (مجموعات الحلول داخل المطالبة وأزواج النظيف-التالف المتطابقة)، مما يلغي الحاجة إلى تسميات ثقة خارجية.
إطار عمل RAC: صياغة هذه المحاور الإشرافية في خسائر ترتيب وزوجية قائمة على الهامش. يتم توزيع هذه الخسائر كأهداف لتعزيز السلسلة، مما يخلق هدف معايرة موحد متوافق مع أي مسار تدريب لاحق للتعلم التعزيزي القائم على المجموعات.
التقييم التجريبي تحت التلف: تقييم شامل على ستة معايير للاستدلال متعدد الوسائط باستخدام النماذج الأساسية Qwen2.5-VL و InternVL-3.5. تغطي الدراسة المدخلات النظيفة وخمسة مستويات من التلف البصري التدريجي (ImageNet-C).

4. النتائج التجريبية

قيم المؤلفون RAC على ثلاث عائلات من النماذج (Qwen2.5-VL-3B/7B و InternVL-3.5-8B) عبر ستة معايير (M3CoT, ScienceQA, MathVerse, MMMU, We-Math, MathVision).

تحسينات المعايرة: قللت خسارة التلف الزوجي (+Pair) بشكل كبير من قيم ECE و Brier (على سبيل المثال، انخفاض بنسبة 13.4% في ECE لنموذج InternVL-3.5-8B) مع ترك دقة المهمة دون تغيير تقريباً. وهذا يؤكد دورها في تعليم تقليل الثقة دون التحسين المباشر لصحة الإجابة.
تحسينات الدقة: حسنت خسارة الإدراك للترتيب (+Rank) دقة المهمة باستمرار (على سبيل المثال، زيادة مطلقة بنسبة 11.9% لنموذج InternVL-3.5-8B) من خلال تشجيع السياسة على تخصيص ثقة أعلى لمسارات الاستدلال الصحيحة.
الأداء المشترك: حقق الجمع بين الخسارتين (+Pair+Rank) أفضل أداء في كلا البعدين في معظم الإعدادات. بالنسبة لـ InternVL-3.5-8B، خفض الجمع بينهما ECE بنسبة 13.4% ودرجة براير بنسبة 18.1% مقارنة بـ Vanilla-RL، بينما زاد الدقة بنسبة 24.2% في نفس الوقت.
شدة تلف التدريب: وجدت الدراسة علاقة غير رتيبة بين قوة تلف التدريب والتعميم. وفر التلف الطفيف (الشدة $T_{0.2}$ ) أفضل انتقال للمعايرة، بينما أدى التلف المفرط ( $T_{0.6}$ وما فوق) إلى زعزعة استقرار إشارة الإشراف وتدهور الأداء.

5. الأهمية والادعاءات

يزعم البحث أن RAC يعالج فجوة هيكلية في التعلم التعزيزي متعدد الوسائط حيث لا ترتبط الثقة صراحة بجودة الاستدلال أو جودة الأدلة. من خلال معاملة المعايرة كهدف أصيل وليس كإصلاح لاحق، يقوم RAC بـ:

تحسين الموثوقية: يقلل من خطر الاستدلال الخاطئ الموثوق من خلال ضمان انخفاض الثقة عندما تتدهور الأدلة البصرية.
تعزيز الدقة: يثبت أن فرض ترتيب الثقة النسبي يعمل كإشارة تمييز أقوى من مكافآت الصحة وحدها، مما يؤدي إلى استدلال أفضل.
الكفاءة: يحقق هذه المكاسب دون تسميات خارجية أو تغييرات هيكلية، مستفيداً فقط من هندسة أخذ العينات المتأصلة في التعلم التعزيزي القائم على المجموعات.

يخلص المؤلفون إلى أنه بينما يتم تقييم RAC حالياً على معايير الاختيار من متعدد حيث تتوفر الصحة الثنائية، فإن إطار العمل يقدم اتجاهاً واعداً لتحسين موثوقية أنظمة الاستدلال متعددة الوسائط، خاصة في السيناريوهات التي تتضمن مدخلات بصرية مشوشة أو غامضة. ويُقترح العمل المستقبلي لاستكشاف مناهج التلف التكيفية والتطبيق في إعدادات التوليد مفتوحة النهايات.