Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تجاوز النمط السائد: التعلم المعزز للاستدلال التوزيعي في النماذج اللغوية."

1. بيان المشكلة

تتم تهيئة النماذج اللغوية الكبيرة (LLMs) الحالية، ولا سيما تلك التي يتم تدريبها باستخدام التعلم المعزز ذو المكافآت القابلة للتحقق (RLVR)، لإنتاج إجابة مهيمنة واحدة (النمط أو الـ "mode") لاستعلام معين. وبينما يعد هذا النهج فعالاً في الاختبارات ذات الإجابات الصحيحة الوحيدة، فإنه يفشل في السيناريوهات الواقعية التي تتسم بـ:

• الغموض المتأصل: المهام مثل التشخيص الطبي أو الإجابة على الأسئلة الغامضة غالباً ما تحتوي على عدة إجابات صحيحة في آن واحد.
• عدم اليقين المعرفي: قد تجعل المعلومات غير المكتملة من المستحيل تحديد إجابة واحدة "صحيحة" بيقين.
• انهيار الإنتروبيا (Entropy Collapse): يميل تدريب التعلم المعزز القياسي إلى تقليص توزيع مخرجات النموذج، مما يؤدي إلى كبت الفرضيات البديلة المعقولة ويؤدي إلى الثقة المفرطة.
• عدم كفاءة التوسع عند وقت الاستنتاج: الحلول الالتفافية الحالية (مثل أخذ عينات $K$ من المرات بشكل مستقل للحصول على مجموعة من الإجابات) مكلفة حوسبياً وتؤدي غالباً إلى سلاسل استدلال مكررة (تداخل عالٍ في الرموز/tokens) وإجابات مكررة.

تجادل الورقة بأن النماذج يجب أن تُدرب صراحةً لتمثيل وتوليد توزيعات فوق الإجابات المعقولة (مجموعات من المرشحات مع تقديرات الثقة) بدلاً من مجرد نمط واحد.

2. المنهجية: التعلم المعزز متعدد الإجابات

يقترح المؤلفون التعلم المعزز متعدد الإجابات (Multi-Answer RL)، وهو إطار عمل يعدل هدف التعلم المعزز القياسي لتدريب النماذج على توليد مجموعة مهيكلة من $K$ إجابة متميزة والارتباط بها درجات ثقة في تمريرة أمامية واحدة (single forward pass).

2.1 التعلم المعزز متعدد الإجابات ذو المكافآت القابلة للتحقق (Multi-Answer RLVR)

• الهدف: بدلاً من التحسين من أجل إجابة صحيحة واحدة، يتم تدريب النموذج على إخراج مجموعة $A = \{a_1, ..., a_K\}$.
• دالة المكافأة: تُعرف المكافأة على مستوى المجموعة:
  $$R_{multi}^{RLVR}(A, Y^*) = \sum_{i=1}^{K} \mathbb{I}[a_i \in Y^*]$$
  حيث $Y^*$ هي مجموعة الإجابات الصحيحة الصالحة. وهذا يشجع النموذج على تعظيم التغطية (coverage) للإجابات الصحيحة ضمن المجموعة المولدة.
• القيود: تفرض مكافأة التنسيق (format reward) أن تكون جميع الإجابات الـ $K$ متميزة (قيد التفرد).

2.2 التعلم المعزز متعدد الإجابات ذو مكافآت المعايرة (Multi-Answer RLCR)

• الهدف: يوسع RLVR ليشمل تقديرات ثقة معايرة. يخرج النموذج مجموعة من الإجابات $A$ ومجموعة من درجات الثقة $Q = \{q_1, ..., q_K\}$.
• دالة المكافأة: تجمع بين مكافأة الصحة ودرجة برير المتعددة (Multi-Brier Score) (وهي قاعدة تسجيل ملائمة) لمعاقبة عدم المعايرة:
  $$R_{multi}^{RLCR} = R_{multi}^{RLVR} - \frac{1}{K} \sum_{i=1}^{K} (q_i - \mathbb{I}[a_i \in Y^*])^2$$
• التفسير: هذا يدرب النموذج على إخراج توزيع حيث تقترب $q_i$ من احتمالية أن تكون الإجابة $a_i$ صحيحة. في حالات الإجابة الواحدة ($N=1$)، تتقيد درجات الثقة بأن مجموعها $\le 1$؛ أما في حالات الإجابات المتعددة ($N>1$)، فهي تمثل احتمالات مستقلة.

2.3 إعداد التدريب

• النموذج الأساسي: Qwen3-8B.
• الخوارزمية: GRPO (تحسين المجموعة النسبي المتدرج) مع تعديلات للمكافآت على مستوى المجموعة.
• مجموعات البيانات:
  • DDXPlus: التشخيص الطبي (تشخيصات متعددة صحيحة لكل حالة).
  • HotPotQA-Modified: الأسئلة والأجوبة الغامضة (إجابة ذهبية واحدة ولكن سياق غير مكتمل).
  • MBPP: البرمجة (تنفيذات خوارزمية متميزة متعددة لنفس المهمة).

3. المساهمات الرئيسية

1. هدف تدريب مبتكر: يقدم إطار عمل للتعلم المعزز يغير هدف التدريب من "إيجاد أفضل إجابة" إلى "استعادة توزيع الإجابات المعقولة".
2. كفاءة وقت الاستنتاج: يثبت أن توليد مجموعة من الإجابات في تمريرة واحدة أكثر كفاءة في استخدام الرموز (tokens) من أخذ عينات متكررة (التوسع عند وقت الاستنتاج)، حيث يتجنب سلاسل الاستدلال المكررة.
3. المعايرة عبر قواعد التسجيل الملائمة: يوسع استخدام قواعد التسجيل الملائمة (Brier score) لتشمل إعدادات الإجابات المتعددة، مما يمكن النماذج من إخراج درجات ثقة معايرة لكل فرضية.
4. التحقق التجريبي: يوفر اختبارات شاملة تظهر تفوق RL متعدد الإجابات على النماذج أحادية الإجابة في التغطية، والتنوع، والمعايرة دون التضحية بدقة الـ Top-1.

4. النتائج الرئيسية

قيمت الورقة النهج عبر مهام طبية، وأسئلة وأجوبة، وبرمجة مع $K=3$ مرشحات:

• التغطية والتنوع:

  • DDXPlus (الطب): حقق Multi-Answer RLVR متوسط 0.79 إجابة صحيحة لكل مجموعة مقابل 0.62 للنماذج أحادية الإجابة. ووصل التنوع (الإجابات الفريدة) إلى 1.00 (مثالي) مقارنة بـ 0.62.
  • MBPP (البرمجة): تحسنت دقة Top-1 بنسبة >50% (0.49 مقابل 0.29 لـ RLVR Single)، وولد النموذج حلولاً خوارزمية فريدة بشكل أكبر بكثير.
  • HotPotQA: حسن أداء Pass@K، مما أظهر قدرة النموذج على استعادة الإجابة الصحيحة حتى عندما كانت المعلومات غير مكتملة، بينما انهارت النماذج أحادية الإجابة إلى نمط واحد (غالباً ما يكون خاطئاً).

• كفاءة الرموز (Token Efficiency):

  • تطلب نماذج Multi-Answer رموزاً أقل بنسبة ~44% لتوليد 3 إجابات مقارنة بأخذ عينات من نموذج أحادي الإجة 3 مرات.
  • أظهر التحليل أن أخذ عينات النموذج أحادي الإجابة غالباً ما يكرر هياكل الاستدلال (تداخل عالٍ في n-gram)، بينما يقوم Multi-Answer RL بتنويع عملية الاستدلال ضمن توليد واحد.

• المعايرة:

  • تفوق RLCR Multi بشكل كبير على RLVR Multi في مقاييس المعايرة (Brier Score و ECE).
  • في DDXPlus، حقق RLCR Multi درجة Set ECE بلغت 0.02 مقارنة بـ 0.13 لـ RLVR Multi، مما يشير إلى توافق أفضل بكثير بين الثقة المتوقدة والصحة الفعلية.
  • تعلم النموذج بنجاح تخصيص ثقة أقل عند عدم اليقين (على سبيل المثال، في إعدادات HotPotQA الغامضة)، رغم أنه واجه صعوبات أحياناً مع أولوية "المجموع يساوي واحد" في إعدادات التصنيف الأحادي شديدة الصعوبة.

5. الأهمية والخاتمة

يمثل هذا العمل تحولاً جذرياً في كيفية تدريب النماذج اللغوية لمهام الاستدلال. من خلال تجاوز هدف "أفضل إجابة واحدة"، فإن Multi-Answer RL:

• يتوافق مع الاحتياجات الواقعية: يناسب بشكل أفضل المجالات عالية المخاطر (الطب، القانون، البرمجة) حيث يعد استكشاف الفرضيات المتعددة أمراً حاسماً.
• يحل مشكلة اختناق الكفاءة: يقدم بديلاً فعالاً حوسبياً لـ "best-of-$K$" عند التوسع في الاستنتاج، مما يقلل استخدام الرموز بنسبة تقارب النصف مع تحسين الدقة.
• يعزز الموثوقية: ينتج تقديرات معايرة لعدم اليقين، مما يسمح للمستخدمين بفهم ثقة النموذج في كل فرضية.

يخلص المؤلفون إلى أن التحسين الصريح للاستدلال التوزيعي يسمح للنماذج بـ "تجاوز النمط السائد"، واستعادة البدائل الصالحة التي يقمعها التعلم المعزز القياسي، مع تحسين كفاءة وموثوقية عملية التوليد في الوقت نفسه.