Reinforcement Learning with Conditional Expectation Reward

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم التعزيزي باستخدام مكافأة التوقع الشرطي" (CER).

1. بيان المشكلة

نجح التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) في تعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs)، لا سيال في المجالات الرياضية حيث يمكن التحقق من الإجابات عبر أدوات فحص صارمة تعتمد على القواعد (مثل مطابقة السلاسل النصية بدقة أو التكافؤ الرمزي).

ومع ذلك، يواجه RLVR قيودين حرجين عند تطبيقه على مجالات الاستدلال العامة (مثل الفيزياء، التمويل، والأسئلة مفتوحة النهاية):

1. غياب أدوات التحقق: إن بناء قواعد تحقق يدوية خاصة بكل مجال للإجابات ذات الصيغ الحرة أمر مكلف، وغالبًا ما يكون غير ممكن، ويصعب جعله شاملًا نظرًا للتباين العالي في الإجابات الصحيحة.
2. التغذية الراجعة الثنائية: توفر أدوات التحقق التقليدية القائمة على القواعد إشارات ثنائية (0 أو 1). فهي تعامل جميع الإجابات غير المطابقة تمامًا كإجابات خاطئة بالتساوي، مما يفشل في تقديم تعزيز إيجابي للإجابات الصحيحة جزئيًا أو المكافئة دلاليًا. يؤدي هذا إلى إشارات مكافأة متفرقة وضوضائية تعيق التحسين الفعال في المجالات العامة.

2. المنهجية: مكافأة التوقع الشرطي (CER)

يقترح المؤلفون مكافأة التوقع الشرطي (CER)، وهي آلية مكافأة مبتكرة تلغي الحاجة إلى أدوات تحقق خارجية أو نماذج مساعدة من خلال استغلال نموذج السياسة نفسه كأداة تحقق ضمنية.

التعريف الجوهري

تُعرف CER بأنها الاحتمالية المتوقعة لتوليد الإجابة المرجعية ($a^*$) بشرط أن يكون النموذج قد ولد إجابة معينة ($a$).
رياضيًا، بالنسبة للرباعية $(q, s, a, a^*)$ حيث $q$ هو السؤال، و$s$ هو الحل، و$a$ هي الإجابة المولدة، و$a^*$ هي الإجابة المرجعية:
$$\rho(a, a^*) := \mathbb{E}_{s' \sim \pi_\theta(\cdot|q, a)} [\pi_\theta(a^*|s', q)]$$
بشكل حدسي، إذا كانت الإجابة المولدة $a$ متسقة مع المرجع $a^*$، فيجب أن يخصص النموذج احتمالية عالية لإعادة توليد $a^*$ بالنظر إلى سياق $a$.

الصيغة التجريبية

بما أن التوقع الدقيق غير قابل للحساب، فقد اشتق المؤلفون مقدرًا تجريبيًا باستخدام قاعدة بيز وأخذ عينات مونت كارلو:
$$\rho(a, a^*) \approx \frac{\sum_{j=1}^M \pi_\theta(a|s_j, q) \pi_\theta(a^*|s_j, q)}{\sum_{j=1}^M \pi_\theta(a|s_j, q)}$$
حيث $s_j$ هي $M$ من العينات المستقلة المسحوبة من السياسة $\pi_\theta(\cdot|q)$.

• الوزن: يعمل المصطلح $\pi_\theta(a|s_j, q)$ كوزن، مما يضمن أن العينات التي يكون فيها النموذج واثقًا من كل من الإجابة المولدة $a$ والمرجع $a^*$ تساهم بشكل أكبر في المكافأة.
• الكفاءة: تعيد الطريقة استخدام العينات $s_j$ التي تم توليدها بالفعل لتقدير تدرج السياسة، مما يعني عدم وجود تكلفة إضافية لأخذ العينات.

الخصائص النظرية

1. المحدودية: المكافأة محصورة تمامًا بين 0 و1.
2. الاتساق الذاتي: إذا كان $a = a^*$، يتم تعظيم المكافأة (أو على الأقل تكون أعلى من الاحتمالية غير المشروطة)، مما يخلق تأثير "تضخيم الاتساق الذاتي".
3. تكافؤ القيمة: القيمة المتوقعة لهدف CER تعادل هدف المطابقة التامة ($\mathbb{E}[\rho] = \mathbb{E}[I(a=a^*)]$). وهذا يثبت أن CER هي تخفيف مستمر وناعم لمعيار المطابقة التامة الصارم.
4. التغذية الراجعة المتدرجة: على عكس أدوات التحقق الثنائية، توفر CER مكافآت مستمرة تعكس درجة الاتساق الدلالي، مما يسمح للنموذج بالتعلم من الإجابات الصحيحة جزئيًا.

3. المساهمات الرئيسية

1. تعميم RLVR: تقديم إطار عمل يوسع نطاق RLVR من المجالات الضيقة القابلة للتحقق بالقواعد إلى مجالات الاستدلال العامة مفتوحة النهاية دون الحاجة إلى أدوات تحقق خارجية.
2. التحقق الذاتي للنموذج: إثبات أن النموذج اللغوي الكبير يمكنه العمل كأداة تحقق موثوقة من خلال استغلال الاتساق الداخلي بين الإجابات المولدة والمرجع.
3. إشارة مكافأة ناعمة: استبدال التغذية الراجعة الثنائية المتفرقة بإشارات كثيفة ومتدرجة تلتقط الصحة الجزئية والتداخل الدلالي.
4. الأساس النظري: تقديم براهين تظهر أن CER هي تخفيف سلس لتقييم المطابقة التامة، مما يحافظ على الأمثلية النظرية للهدف الأصلي مع تحسين ديناميكيات التعلم.
5. التنفيذ الفعال: تطوير طريقة حسابية تعتمد على المصفوفات (tensorized) تعيد استخدام عينات السياسة الموجودة، مما يضمن كفاءة حسابية للنهج.

4. النتائج التجريبية

قيم المؤلفون CER على مهام الاستدلال الرياضية (MATH-7.5K, MATH500, AIME) والعامة (WebInstruct, SuperGPQA, MMLU-Pro) باستخدام نماذج Qwen3-4B وQwen3-8B.

• المجالات العامة: حققت CER أعلى متوسط أداء بين جميع الخطوط المرجعية (بما في ذلك القائمة على القواعد، والمطابقة التامة، وأدوات التحقق القائمة على النماذج مثل General-verifier) في مجموعات البيانات العامة. وقد تفوقت بشكل كبير على طرق المطابقة التامة والطرق القائمة على الارتياب (VeriFree).
• المجالات الرياضية: أدت CER أداءً مشابهًا لأدوات التحقق القائمة على القواعد وتفوقت على نهج أدوات التحقق المتعلمة، مما يثبت أنها لا تفرط في التكيف مع مجالات محددة.
• التكامل: أدى الجمع بين مكافآت CER والمكافآت القائمة على القواعد (Rule+CER) إلى تحقيق أفضل النتائج الإجمالية، مما يشير إلى أن CER تسد الفجوات حيث تفشل الطرق القائمة على القواعد (التعامل مع الاختلافات السطحية) بينما تصحح القواعد أخطاء التقدير المحتملة لـ CER في السياقات الرياضية الصارمة.
• تحليل الكفاءة: تسمح الطريقة بالموازنة بين الدقة والسرعة عبر المعلم الفائق $M$ (عدد العينات). وحتى مع قيم صغيرة لـ $M$، تفوقت CER على أدوات التحقق الخارجية المعقدة مع الحفاظ على وقت تشغيل معقول.

5. الأهمية

يعالج هذا العمل عقبة رئيسية في توسيع نطاق التعلم التعزيزي للنماذج اللغوية الكبيرة: الاعتماد على قواعد تحقق يدوية جامدة. من خلال تقديم CER، يقدم المؤلفون آلية مكافأة مرنة وشاملة وذاتية الاحتواء تتيح:

• تدريب التعلم التعزيزي لمهام الاستدلال ذات الصيغ الحرة ومفتوحة النهاية حيث يكون التحقق من الحقيقة الأرضية غامضًا.
• تحسين كفاءة التعلم من خلال توفير تدرجات كثيفة ومعلوماتية للإجابات الصحيحة جزئيًا.
• تقليل العبء الهندسي لبناء أدوات تحقق خاصة بكل مجال، مما يجعل قدرات الاستدلال المتقدمة أكثر سهولة في الوصول إليها عبر مجالات متنوعة (العلوم، التمويل، العلوم الإنسانية).

باختصار، تمثل CER تحولًا جذريًا من التحقق الخارجي الثنائي إلى الاتساق الداخلي الاحتمالي، مما يوفر مسارًا قويًا نحو استدلال عام في النماذج اللغوية الكبيرة.