Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

2. إجابة نهائية (<answer>).
3. تحليل لعدم اليقين (<analysis>).
4. درجة ثقة عددية (<confidence>).

يجمع هدف التدريب بين مكافأة الصحة القياسية ودرجة برير (Brier score)، وهي قاعدة تسجيل ملائمة لتقدير الثقة. تُعرَّف دالة المكافأة $R_{RLCR}$ كالتالي:
$$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$$
حيث أن:

• $y$ هو الإجابة المتوقعة من النموذج.
• $y^*$ هي الإجابة الصحيحة (الحقيقية).
• $q$ هو درجة الثقة المعلنة لفظياً ($q \in [0, 1]$).
• $\mathbb{1}_{y \equiv y^*}$ هي دالة المؤشر للصحة.

الضمانات النظرية

تثبت الورقة أن دالة المكافأة هذه تحفز كلاً من الدقة والمعايرة. وتحديداً، يتم تعظيم المكافأة المتوقعة عندما:

1. يُخرج النموذج الإجابة ذات أعلى احتمال لأن تكون صحيحة ($y = \arg\max_{y'} p(y' \equiv y^*)$).
2. تعكس درجة الثقة $q$ الاحتمال الحقيقي للصحة بدقة ($q = p(y \equiv y^*)$).

ويوضح المؤلفون أن هذا ينطبق على أي قاعدة تسجيل ملائمة ومحدودة. وهم يقارنون ذلك بدرجة اللوغاريتم (log-loss)، والتي رغم كونها قاعدة تسجيل ملائمة، إلا أنها غير محدودة. وتظهر التحليلات النظرية والتجارب التجريبية أن استخدام درجة غير محدودة مثل log-loss مع مصطلح الصحة يمكن أن يؤدي إلى "اختراق المكافأة" (reward hacking)، حيث تخرج النماذج إجابات خاطئة بثقة صفرية لتعظيم مصطلح المعايرة على حساب الدقة.

المساهمات والنتائج الرئيسية

1. تحسين المعايرة دون التضحية بالدقة

تُظهر التجارب على HotpotQA (الاستنتاج متعدد الخطوات) و Big-Math (الاستنتاج الرياضي) أن RLCR يطابق دقة المهمة لـ RLVR القياسي بينما يحسن المعايرة بشكل كبير.

• داخل التوزيع (In-Distribution): في HotpotQA، خفض RLCR خطأ المعايرة المتوقع (ECE) من 0.37 (RLVR) إلى 0.03. وفي مجموعات البيانات الرياضية، انخفض ECE من 0.26 إلى 0.10.
• خارج التوزيع (OOD): بينما غالباً ما تؤدي RLVR القياسية إلى تدهور المعايرة في مهام OOD، فإن RLCR يحسنها. على سبيل المثال، في اختبارات OOD، حقق RLCR خطأ ECE قدره 0.21 مقارنة بـ 0.46 لـ RLVR، مع الحفاظ على دقة مماثلة.

2. دور الاستنتاج الصريح لعدم اليقين

تكشف دراسات الاستئصال (Ablation studies) أن نجاح RLCR ينبع من مكونين مستقلين:

• المكافأة الواعية بالمعايرة: التدريب باستخدام مكافأة درجة برير هو المحرك الأساسي لتحسين المعايرة.
• الاستنتاج الصريح لعدم اليقين: إن حث النماذج على توليد <analysis> لعدم اليقين الخاص بها يحسن المعايرة بشكل أكبر، خاصة للنماذج الأصغر أو عندما تكون السعة محدودة. ومع ذلك، حتى بدون التحليل الصريح، يتفوق RLCR بشكل كبير على RLVR في المعايرة.

3. توسيع نطاق وقت الاختبار والاتساق الذاتي

تُظهر الورقة أنه يمكن الاستفيد من درجات الثقة المعلنة لفظياً من RLCR في وقت الاختبار لتحسين الأداء:

• التوسيع الموزون بالثقة: استخدام الثقة المعلقة لفظياً لوزن أغلبية الأصوات أو اختيار أفضل استجابة من أصل N (best-of-N) يعطي دقة أعلى ومعايرة أفضل من الاختيار القائم على الاحتمالية أو التصويت بالأغلبية التقليدي.
• الاتساق الذاتي: تُظهر نماذج RLCR تبايناً أقل في درجات الثقة عبر سلاسل الاستنتاج المتعددة لنفس الإجابة، مما يشير إلى تقدير أكثر استقراراً واتساقاً ذاتياً لعدم اليقين.

4. التعميم

تم التحقق من صحة النهج عبر عائلات مختلفة من النماذج (Qwen2.5-7B، و OlMo-2-7B، و Qwen3-8B)، مما أظهر تحسينات متسقة في المعايرة مقارنة بنماذج RLVR المرجعية.

الأهمية والادعاءات

تزعم الورقة أن التحسين الصريح للمعايرة عبر قواعد التسجيل الملائمة هو تعديل بسيط لخطوط تدريب الاستنتاج الحالية ينتج نماذج استنتاج أكثر موثوقية. ويجادل المؤلفون بأن:

• المعايرة قابلة للتعلم: يمكن تدريب النماذج ليس فقط للإجابة بشكل صحيح ولكن أيضاً لتقييم مدى يقينها بدقة.
• المتانة: ينتج RLCR نماذج أكثر متانة تجاه تغيرات التوزيع، حيث تحافظ على المعايرة في الأماكن التي تفشل فيها نماذج RL القياسية.
• الفائدة العملية: درجات الثقة المعلنة لفظياً ليست مجرد أداة تشخيصية؛ بل هي قابلة للتطبيق، مما يسمح بطرق توسيع وقت الاختبار التي تحسن الدقة والموثوقية دون الحاجة إلى نماذج مكافأة خارجية أو إشراف إضافي.

ويبدي المؤلفون تواضعاً بشأن النتائج، حيث يقرون بأنه على الرغم من أن RLCR يقلل بشكل كبير من خطأ المعايرة، إلا أن أخطاء المعايرة خارج النطاق قد تظل مرتفعة من الناحية المطلقة، وقد تخصص النماذج أحياناً ثقة عالية لإجابات متناقضة. ومع ذلك، فإن هذا العمل يمهد الطريق نحو أنظمة استنتاج دقيقة وقادرة في الوقت نفسه على التواصل بشأن عدم اليقين.