ملخص تقني: CAST (تخصيص الائتمان من معلمي الحلول)

بيان المشكلة

تواجه عملية تدريب النماذج اللغوية الكبيرة (LLMs) لتعمل كوكلاء عامين في بيئات طويلة الأمد، مثل الألعاب الكلاسيكية (Sokoban، Minesweeper، Rush Hour)، عقبة حرجة وهي: إشارات المكافأة المتناثرة. وبينما نجح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) في المهام ذات الخطوة الواحدة، إلا أنه يعتمد على مكافآت النتيجة النهائية (فوز/خسارة) التي لا توفر أي معلومات حول أي قرارات وسيطة محددة أدت إلى النجاح أو الفشل. وهذا يخلق مشكلة أساسية في تخصيص الائتمان (credit-assignment)، حيث تتلقى كل "توكن" (token) في المسار نفس التغذية الراجعة العامة، مما يعيق قدرة النموذج على تعلم التخطيط طويل الأمد، والاستكشاف الموجه نحو الهدف، والتعافي من الأخطاء. وتخضع المحاولات الحالية لتكثيف هذه الإشارات عبر البحث المكلف، أو نماذج مكافأة العمليات المتعلمة، أو المقارنات بين المسارات المختلفة، لمقايضات بين التكلفة الحسابية، وجودة الإشراف، وموثوقية الإشارة.

المنهجية: CAST

يقترح المؤلفون إطار عمل CAST (تخصيص الائتمان من معلمي الحلول)، والذي يستفيد من حلول الألعاب المتخصصة في المجال لتوفير إشراف دقيق على مستوى الخطوة لكل وكيل لغوي.

الآلية الجوهرية

1. المُحل كمعلم على مستوى الخطوة: بدلاً من استخدام الحل فقط لتوليد مسارات خبيرة (مما يحد من التعلم بالمسارات التي زارتها الخبيرة فقط)، يستخدم CAST الحل لتقييم إجراءات النموذج اللغوي أثناء التشغيل (on-policy) في الوقت الفعلي.
2. بناء ميزة الحل (Solver Advantage):
   • يقوم الحل بحساب قيمة التكلفة المتبقية للوصول (cost-to-go)، ويرمز لها بـ $N(s)$، والتي تمثل الحد الأدنى من الخطوات المطلوبة للفوز من الحالة $s$.
   • بالنسبة للإجراء $a_t$ الذي يتخذه النموذج اللغوي عند الانتقال من الحالة $s_t$ إلى $s_{t+1}$، تحسب الطريقة التغير في التكلفة المتبقية للوصول.
   • تُعرف ميزة الحل المزاحة (shifted solver advantage) كالتالي:
     $$\tilde{A}^{\pi_{Solver}}(s_t, a_t) = N(s_t) - \mathbb{E}[N(s_{t+1})]$$
   • تكون هذه القيمة موجبة إذا قلل الإجراء من المسافة إلى الهدف (تقدم)، وصفرًا إذا كانت محايدة، وسالبة إذا زادت المسافة أو أدت إلى طريق مسدود.
3. تشكيل الإشارة (Signal Shaping): لمنع عدم استقرار التدريب الناتج عن القيم ذات الذيول الثقيلة (مثل العقوبات الكبيرة للطرق المسدودة) واختلاف المقاييس عبر الألعاب، يطبق CAST تحويلين:
   • ضغط Asinh: $g(x) = \text{asinh}(x)$، والذي يحافظ على القيم الصغيرة خطيًا مع ضغط القيم المتطرفة لوغاريتميًا.
   • التطبيع بجذر متوسط المربعات (RMS) على مستوى الدفعة: يعيد تحجيم الإشارة وفقًا لمقدار جذر متوسط مربعاتها داخل الدفعة لضمان مقاييس متسقة، دون طرح المتوسط (للحفاظ على المعنى الدلالي للصفر كـ "عدم تقدم").
4. التكامل مع RLVR: تُضاف ميزة الحل المشكلة إلى ميزة النتيجة القياسية للمسار (على سبيل المثال، من GRPO) لتشكيل إشارة ميزة مجمعة:
   $$\hat{A}_{i,t} = \hat{A}^{outcome}_i + \alpha \cdot h(\tilde{A}^{\pi_{Solver}}_{i,t})$$
   تُستخدم هذه الإشارة المجمعة في هدف البديل المقطوع (clipped surrogate objective) لتحديث السياسة.

الرؤية النظرية: التقطير على السياسة بدون لوجيت (Logit-Free On-Policy Distillation)

يثبت البحث وجود تكافؤ نظري بين تعظيم ميزة الحل والتقطير على السياسة (OPD) من معلم مثالي ناعم (soft-optimal teacher).

• تحت افتراض أن الحل القوي يعمل كسياسة مثالية ناعمة حيث تتناسب احتمالات الإجراء مع $\exp(Q/\tau)$، فإن ميزة الحل تتناسب رياضياً مع لوغاريتم احتمال الإجراء تحت سياسة الحل.
• المساهمة الرئيسية: يعني هذا أن ميزة الحل القياسية تشفر بطبيعتها توزيع تفضيل المعلم. وبالتالي، يحقق CAST التقطير دون الحاجة إلى لوجيتات المعلم (توزيع الإجراء الكامل)، بالاعتماد فقط على القيم القياسية. وهذا يسمح للنموذج اللغوي الطالب بالتعلم من دالة القيمة الخاصة بالحل بكفاءة.

المساهمات الرئيسية

1. الائتمان المستمد من الحل: تقديم طريقة لتحويل تغيرات قيمة حالة حل اللعبة إلى مزايا دقيقة على مستوى الخطوة لتدريب النماذج اللغوية.
2. التقطير بدون لوجيت: إثبات نظري بأن تعظيم مزايا الحل يكافئ التقطير على السياسة، مما يتيح تدريبًا فعالًا باستخدام القيم القياسية فقط بدلاً من توزيعات الإجراء الكاملة للمعلم.
3. تشكيل إشارة مستقر: استخدام تحويل asinh والتطبيع بجذر متوسط المربعات (RMS) للتعامل مع القيم المتطرفة والاختلافات في المقاييس عبر المجالات، مما يضمن تكاملاً مستقراً مع RLVR.
4. العملية: إثبات أن الحلول الدقيقة تضيف عبئاً حسابياً ضئيلاً، وأن شبكات القيمة المتعلمة (مثل DQN) يمكن أن تعمل كتقريبات فعالة عند عدم توفر حلول دقيقة.

النتائج التجريبية

تم تقييم الطريقة على Sokoban و Minesweeper و Rush Hour، مع نقل صفري (zero-shot transfer) إلى ALFWorld و WebShop.

• الأداء داخل النطاق: تفوق CAST على جميع النماذج المرجعية المدربة (GRPO, GSPO, DAPO) وطرق التلقين (prompting) التي لا تعتمد على التدريب (بما في ذلك النماذج القوية المغلقة مثل Claude-Opus-4.6) في جميع الألعاب في كل من إعدادات النطاق غير المتغير وإعدادات الصعوبة غير المرئية.
  • في المتوسط، حقق CAST معدل نجاح بنسبة 62.1% (Avg@4) في المهام داخل النطاق و 28.4% في الصعوبات غير المرئية، متفوقاً بشكل كبير على DAPO الأساسي (44.7% ID، 18.7% Unseen).
• كفاءة العينات: وصل CAST إلى ذروة أداء التحقق لـ DAPO في عدد خطوات تدريب أقل بنسبة 1.7 إلى 2.0 مرة.
• التعميم الصفري (Zero-Shot Generalization): دون ضبط إضافي، انتقلت وكلاء CAST إلى ALFWorld و WebShop، محققة أعلى متوسط أداء صفري (30.3% إجمالي) بين جميع الطرق، متجاوزة أفضل نموذج مرجعي بنسبة 5.6 نقاط.
• دراسات الاستئصال (Ablation Studies):
  • وزن ميزة الحل ($\alpha$) أمر بالغ الأهمية؛ حيث وفر $\alpha=0.1$ أفضل توازن بين التوجيه العملياتي وأهداف النتيجة.
  • كان كل من ضغط asinh والتطبيع بـ RMS ضروريين؛ حيث أدى إزالة أي منهما إلى تدهور الأداء، وكان إزالة asinh هي الأكثر تأثيراً بسبب عدم استقرار التدرج الناتج عن القيم المتطرفة.
• الحلول المتعلمة: أظهر استبدال الحل الدقيق بشبكة قيمة DQN متعلمة احتفاظ معظم فوائد الأداء، مما يثبت قابلية تطبيق الطريقة بما يتجاوز الألعاب ذات الحلول الدقيقة.

الأهمية والادعاءات

يزعم البحث أن CAST يعالج تحدي تخصيص الائتمان الأساسي في RLVR طويل الأمد من خلال توفير إشارة دقيقة وقابلة للتوسع مستمدة من حلول النطاق. ومن خلال إثبات التكافؤ مع التقطير على السياسة بدون لوجيت، توفر الطريقة مساراً عملياً لمواءمة النماذج اللغوية مع دوال القيمة الخبيرة دون العبء الحسابي لتوليد توزيعات الإجراء الكاملة. وتشير النتائج إلى أن التقييم الموثوق للحالة — سواء عبر حلول دقيقة أو دوال قيمة متعلمة — يوفر طريقاً قوياً من النتائج المتناثرة إلى تغذية راجعة كثيفة وقابلة للتنفيذ، مما يمكن النماذج اللغوية من إتقان مهام اتخاذ القرار المعقدة والمتعددة الخطوات بكفاءة أكبر من النهج المعتمد على النتيجة فقط.