ملخص تقني: ما وراء الصحة: تعلم الاستدلال المتين عبر النقل

1. بيان المشكلة

بينما أدى التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) إلى تحسين استدلال النماذج اللغوية الكبيرة (LLMs) بشكل كبير من خلال استبدال نماذج المكافأة المتعلمة بالتحقق القائم على القواعد من الإجابات النهائية، إلا أنه يعاني من قصور حرج: فهو يحسن فقط صحة الإجابة النهائية. هذا النهج يفشل في ضمان متانة عملية الاستدلال نفسها.

في الإعدادات العملية، تكون النماذج التي تنتج إجابات صحيحة بشكل متقطع ولكن غير متسق عبر مسارات أخذ العينات أو متغيرات فك التشفيد المختلفة، أقل قيمة من تلك التي تولد استدلالاً مستقراً وقابلاً لإعادة الإنتاج. تشير الأعمال السابقة إلى أن RLVR يمكن أن يؤدي إلى مسارات استدلال "هشة" حيث لا يؤدي زيادة عدد العينات ($K$) إلى تحسين، بل قد يؤدي حتى إلى تدهور دقة التصويت بالأغلبية (Maj@K). يفتقر النموذج الحالي إلى وجود حافز لجعل خطوات الاستدلال الوسيطة مستقرة، أو قابلة للتفسير، أو قابلة لإعادة الاستخدام من قبل نماذج أخرى.

2. المنهجية: التعلم المعزز بالنقل القابل للنقل (RLTR)

يقترح المؤلفون RLTR، وهو إطار عمل يعمل على تشغيل الاستدلال المتين من خلال مفهوم قابلية نقل الاستدلال. الفلسفة الجوهرية هي أن الاستدلال المتين يجب أن يظل مفيداً بما يتجاوز النموذج المحدد الذي أنتجه؛ يجب أن يصمد أمام القطع، وإعادة التفسير، والاستكمال.

الآلية الجوهرية

يعمل RLTR على تعزيز هدف RLVR القياسي بـ مكافأة النقل. تتضمن عملية التدريب نموذجين:

1. نموذج المولد ($M_{gen}$): نموذج قابل للتدريب ينتج مسار استدلال كاملاً وإجابة نهائية.
2. نموذج المستقبل ($M_{rcv}$): نموذج منفصل ومجمد يُستخدم لتقييم جودة الاستدلال الوسيط للمولد.

عملية مكافأة النقل:

• ينتج المولد تسلسل استدلال $y_{gen}$.
• يتم قطع مسار الاستدلال عند نسبة عشوائية $\tau \in (0, 1]$ لإنشاء بادئة (prefix) $y_{gen}[:\ell]$.
• يتم تغذية هذه البادئة إلى نموذج المستقبل المجمد، الذي يحاول استكمال الاستدلال وتوليد إجابة نهائية.
• تكون مكافأة النقل ($R_{trans}$) ثنائية: تكون 1 إذا كانت الإجابة المكتملة للمستقبل تطابق الحقيقة الأرضية (ground truth)، و0 خلاف ذلك.

دالة الهدف:
المكافأة الإجمالية للمولد هي مزيج مرجح من مكافأة الإجابة القياسية ومكافأة النقل:
$$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$$
حيث تتضمن $R_{RLVR}$ صحة الإجابة ومكافآت التنسيق، و $t$ هو وزن مكون النقل. يتم تحسين المولد باستخدام تحسين السياسة النسبي الجماعي (GRPO) لتعظيم هذه المكافأة المركبة.

3. المساهمات الرئيسية

• إطار عمل مبتكر: تقديم RLTR، وهو أول إطار عمل RLVR يحفز صراحةً النماذج اللغوية الكبيرة لإنتاج مسارات استدلال قابلة للنقل عبر نماذج مختلفة.
• الإشراف على مستوى العملية: على عكس نماذج مكافأة العملية (PRMs) التي تتطلب تعليقات توضيحية كثيفة على مستوى الخطوة ومحققات متعلمة، يحقق RLTR إشرافاً على مستوى العملية باستخدام التحقق من الإجابة النهائية فقط، دون تكاليف إضافية للتعليقات التوضيحية أو تدريب نماذج مكافأة مساعدة.
• تعزيز الاتساق: إثبات أن التحسين من أجل القابلية للنقل يحسن مباشرة اتساق أخذ العينات (Maj@K)، مما يعالج الهشاشة الملاحظة في RLVR القياسي.
• كفاءة العينات: يحقق إطار العمل أداءً مماثلاً أو متفوقاً على RLVR بعدد خطوات تدريب أقل بكماً (حوالي 2.5$\times$ أقل في MATH-500).

4. النتائج التجريبية

قيم المؤلفون RLTR على عدة اختبارات للاستدلال الرياضي والعلمي، بما في ذلك MATH-500، وGSM8K، وAMC23، وAIME2024، وGPQA.

• الدقة والاتساق: يتفوق RLTR باستمرار على كل من النموذج الأساسي والنماذج المدربة بواسطة RLVR عبر مقاييس متوسط الدقة وMaj@K.
  • في MATH-500، حسن RLTR مقياس Maj@64 من 82.6% (RLVR) إلى 84.2%، مع رفع متوسط الدقة أيضاً من 71.0% إلى 77.0%.
  • في AMC23، حسن RLTR مقياس Maj@64 من 61.7% إلى 67.5%.
  • في GPQA (الاستدلال العلمي)، حسن RLTR متوسط الدقة من 33.0% إلى 34.8%، وMaj@16 من 36.8% إلى 37.7%، مما يظهر تعميماً مستقلاً عن المجال.
• ديناميكيات التدريب:
  • السرعة: يصل RLTR إلى مستوى دقة RLVR في حوالي 2.5$\times$ خطوات تدريب أقل.
  • الارتباط: يوجد ارتباط إيجابي قوي بين نمو القابلية للنقل وMaj@K أثناء التدريب. في المقابل، غالباً ما تظهر نماذج RLVR تدهوراً في القابلية للنقل وMaj@K في مراحل التدريب المتأخرة رغم استقرار متوسط الدقة.
• دراسات الاستئصال (Ablation Studies):
  • نسبة المكافأة: يؤدي زيادة وزن مكافأة النقل ($t$) إلى تعزيز كبير في اتساق القيم العالية (Maj@K)، مما يؤكد أن القابلية للنقل هي إشارة متميزة وذات قيمة.
  • نماذج المستقبل: تظل الطريقة فعالة حتى مع نماذج مستقبل أصغر (مثل 1.5 مليار معلمة)، وإن كانت النماذج الأقوى تحقق اتساقاً أفضل في القيم العالية لـ K.
  • التنوع: على عكس RLVR، الذي يميل إلى تقليل التنوع (Pass@K) مع التركة على أنماط حل محددة، يحافظ RLTR على Pass@K أو يحسنه مع زيادة الدقة.
• التكلفة الحسابية: بينما يقدم RLTR حسابات إضافية عبر نموذج المستقبل، إلا أنه أكثر كفاءة من حيث التكلفة الإجمالية. لتحقيق نفس أداء RLTR، يتطلب RLVR تكلفة حسابية (FLOPs) تبلغ حوالي 2.3$\times$ أكثر.

5. الأهمية والادعاءات

يدعي البحث أن التحسين من أجل قابلية نقل الاستدلال يؤدي إلى استدلال أكثر متانة للنماذج اللغوية الكبيرة. من خلال معاملة الاستدلال كشكل من أشكال "نقل المعنى" الذي يجب أن يصمد أمام الانقطاع والاستكمال، يشجع RLTR النماذج على توليد مسارات استدلال مستقرة، وقابلة للتفسير، وقابلة للتعميم بشكل حقيقي.

يضع المؤلفون هذا العمل كحل لعنق زجاجة "النتيجة فقط" في طرق RLVR الحالية. ويجادلون بأن الاستدلال المتين ليس مجرد كون المرء صحيحاً، بل يتعلق بكونه قابلاً للتفسير بطريقة يمكن للآخرين اتباعها بموثوقية. يقدم هذا النهج مساراً نحو وكلاء ذكاء اصطناعي أكثر موثوقية في المجالات المعقدة (مثل الاكتشاف العلمي أو البرمجة) حيث يكون الاتساق وقابلية إعادة الإنتاج بنفس أهمية الدقة الخام، وكل ذلك مع تقليل العبء الحسابي للتدريب.