ملخص تقني: التقطير الذاتي الانعكاسي للمجموعات للتعلم التعزيزي الوكيل

بيان المشكلة

برز التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) كنموذج طبيعي لتدريب وكلاء النماذج اللغوية الكبيرة (LLM)، لا سيما من خلال طرق تحسين المجموعات مثل (Group Relative Policy Optimization - GRPO). تعمل هذه الطرق على تحسين السياسات مباشرة من إشارات النجاح أو الفشل في المهام دون الحاجة إلى "ناقد" (critic) مُتعلم. ومع ذلك، لا يزال هناك قصور جوههري مستمر: توفر المكافآت النهائية إشرافاً خشناً على مستوى المسار بأكمله فقط. هذه الإشارة تدمج السلوكيات الناجحة، والأخطاء المتكررة، والخيارات العرضية في المسار ضمن تسمية نتيجة واحدة. ونتيجة لذلك، تجد الوكلاء صعوبة في تحديد القرارات الوسيطة المحددة التي يجب تعزيزها أو تصحيحها.

تعتمد النهج الحالية لإثراء هذا الإشراف الشحيح عبر التقطير الذاتي داخل السياسة (on-policy self-distillation) غالباً على مهارات ذات لغة طبيعية. ومع ذلك، تواجه هذه الأساليب مشكلات محاذاة كبيرة:

1. الاسترجاع الخارجي: المهارات المسترجعة من مستودعات خارجية قد لا تتوافق مع المطالبة الحالية (prompt)، أو تاريخ التفاعل، أو حالة البيئة.
2. الاستخراج الخارجي: المهارات المستخرجة من المسارات بواسطة نماذج خارجية أقوى قد تتجاوز حدود قدرة السياسة الحالية، مما يفشل في عكس قدرة الوكيل نفسه على تجريد الأنماط القابلة لإعادة الاستخدام.
3. تحيز المسار المنفرد: المهارات المستخرجة من مسارات فردية غالباً ما تلتقط تفاصيل خاصة بمسار معين بدلاً من الأنماط السلوكية التي تميز النجاح عن الفشل حقاً، حيث قد يحتوي المسار الناجح على انحرافات غير ضرورية، وقد يتضمن المسار الفاشل سلوكيات مفيدة رغم فشله.

المنهجية: التقطير الذاتي الانعكاسي للمجموعات (GRSD)

يقترح المؤلفون إطار عمل التقطير الذاتي الانعكاسي للمجموعات (GRSD)، وهو إطار يستخلص توجيهاً متوافقاً مع القدرات وتمييزياً للنتائج من عمليات التشغيل (rollouts) التي تم التحقق منها للسياسة نفسها. تعمل الطريقة في مرحلتين متمايزتين لبناء "توجيه مميز" (privileged guidance) دون استخدام نماذج خارجية لتوليد المهارات.

المرحلة (أ): الانعكاس الذاتي الأصيل للسياسة

لكل مسار تم التحقق منه $\tau_i$ في مجموعة تشغيل، يقوم النموذج (بصفته عاكساً) بتوليد انعكاس مهيكل $s_i$ مشروط بمطالبة المهمة، والمسار، وتسمية النتيجة الثنائية (نجاح/فشل).

• الآلية: يحدد النموذج الدورات (turns) الحاسمة للنتيجة، ويشرح مساهمتها في النتيجة النهائية، ويلخص سلوكيات ملموسة لتعزيزها أو تجنبها.
• التدريب: يقوم قاضٍ خارجي ثابت بتعيين درجة عددية لكل انعكاس بناءً على الصحة السببية، والاتساق مع النتيجة، والقابلية للتنفيذ. يتم تطبيع هذه الدرجة لتشكيل "ميزة الانعكاس" (reflection advantage)، مما يحسن قدرة السياسة على استخراج مهارات قابلة للتنفيذ من تجربتها الخاصة.

المرحلة (ب): بناء التوجيه على مستوى المجموعة

لمعالجة خصوصية المسار، تقوم الطريقة بمقارنة الانعكاسات من المسارات الناجحة والفاشلة داخل نفس مجموعة المطالبة.

• التركيب التبايني: تأخذ نسخة ثابتة (stop-gradient snapshot) من السياسة ($\pi_{\bar{\theta}}$) مجموعة الانعكاسات الناجحة ($S^+_x$) والفاشلة ($S^-_x$) كمدخلات. وتقوم بتوليد توجيه مدمج ومحدد للمطالبة $z_x$ في شكل قائمة "افعل/تجنب" (DO/AVOID).
• السياق المميز: يعمل هذا التوجيه $z_x$ كمعلومات مميزة. ولأنها ناتجة عن نسخة منفصلة (detached snapshot)، فإنها تعمل كسياق ثابت لخطوة التحسين اللاحقة، مما يضمن معاملة التوجيه كإشارة وليس كهدف للتوليد.
• التنشيط: تكون هذه المرحلة نشطة فقط لمجموعات المطالبات التي تحتوي على مسارات ناجحة وفاشلة معاً، مما يضمن اشتقاق التوجيه من التباينات التمييزية للنتائج.

تخصيص الائتمان على مستوى الدور (Turn-Level Credit Assignment)

الابتكار الجوهري يكمكم في كيفية صقل إشارة التعلم بواسطة هذا التوجيه. فبدلاً من تعيين نفس ميزة مستوى المسار لجميع الرموز (tokens) كما في GRPO التقليدي، يستخدم GRSD التوجيه المميز لتعديل المزايا على مستوى الدور.

• تقييم المعلم الذاتي: يقوم النموذج المنفصل بتقييم إجراءات الرموز المختارة تحت سياقين: سياق الطالب العادي (بدون توجيه) وسياق المعلم المعزز بالتوجيه (مع $z_x$).
• التعديل: يقيس الفرق في احتمالات الظهور (log-likelihoods) بين هذين السياقين مدى تغيير التوجيه لدعم السياسة لدور معين. يتم مواءمة هذا الفرق مع اتجاه التحديث المستمد من النتيجة (إيجابي للنجاحات، وسلبي للإخفاقات) لإنتاج درجة تعديل.
• التعديل المحدود: يتم قياس ميزة مستوى المسار بواسطة هذه الدرجة لإنتاج ميزة خاصة بالدور. ومن الأهمية بمكان أن التعديل يكون محدوداً لضمان أنه لا يغير أبداً إشارة الميزة الأصلية التي حددها المتحقق (verifier). هذا يحافظ على اتجاه التعلم الأساسي مع تحسين دقة تخصيص الائتمان.

هدف التحسين

يجمع إجمالي الخسارة (loss) بين هدف تنفيذ المهمة (باستخدام المزايا المعدلة على مستوى الدور) وهدف تعلم الانعكاس (تحسين جودة الانعكاسات المولدة في المرحلة أ).

المساهمات الرئيسية

1. الانعكاس الأصيل للسياسة: يتعلم GRSD استخلاص الانعكاسات مباشرة من مسارات السياسة المتحقق منها، مما يلغي الحاجة إلى نماذج خارجية أو مستودعات مهارات قد لا تتوافق مع قدرات الوكيل الحالية.
2. التوجيه الانعكاسي للمجموعات: من خلال المقارنة بين المسارات الناجحة والفاشلة داخل المجموعة، تقوم الطريقة بتركيب توجيه يكون متوافقاً مع القدرات وتمييزياً للنتائج، مما يفلتر الضوضاء الخاصة بالمسار.
3. صقل الائتمان على مستوى الدور: يقدم إطار العمل آلية تقطير ذاتي تعمل على صقل مزايا مستوى المسار إلى ائتمانات محددة للدور دون تغيير اتجاه التعلم الذي حدده المتحقق، مما يسمح بتحديثات أكثر دقة للسياسة.

النتائج التجريبية

قيم المؤلفون GRSD عبر ثلاث بيئات وكيلة متنوعة: ALFWorld (الاستدلال المجسد)، Search-based QA (الإجابة على الأسئلة المدعومة بالبحث)، و WebShop (التنقل عبر الويب). أُجريت التجارب على ثلاثة مقاييس للنماذج (Qwen3-1.7B، Qwen2.5-3B، و Qwen2.5-7B).

• الأداء الإجمالي: تفوق GRSD باستمرار على النماذج المنافسة، بما في ذلك GRPO التقليدي، والتقطير داخل السياسة (OPSD)، وطرق التقطير القائمة على المهارات (Skill-SD، SDAR). على سبيل المثال، في ALFWorld، حسن GRSD متوسط معدل النجاح بنسبة 5.5% فوق GRPO عبر مختلف النماذج الأساسية.
• التعميم: أظهر GRSD تعميماً فائقاً للمهام غير المرئية، لا سيما في تقسيم "Unseen" في ALFWorld، حيث حقق معدل نجاح 83.6%، متفوقاً على GRPO بنسبة 8.2%.
• ديناميكيات التدريب: أشارت منحنيات التدريب إلى أن GRDR استمر في التحسن بعد استقرار النماذج الأخرى، مما يشير إلى أن حلقة الخبرة المدفوعة تسهل التعلم المستدام في المراحل المتأخرة.
• دراسات الاستئصال (Ablation Studies): أدى حذف التوجيه الانعكاسي للمجموعات أو الفشل في مقارنة الانعكاسات الفاشلة إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كل من التركيب على مستوى المجموعة وتضمين أنماط الفشل.

الأهمية والادعاءات

يزعم البحث أن GRSD يؤسس لحلقة تطور ذاتي مدفوعة بالخبرة للوكلاء. من خلال تمكين السياسة من استخلاص توجيه قابل لإعادة الاستخدام ومتوافق مع القدرات من تجربتها المتحقق منها ذاتياً واستيعابه أثناء التحسين، يعالج GRSD مشكلة الإشراف الخشن المتأصلة في RLVR.

يؤكد المؤلفون أن نهجهم:

• يتجنب التبعيات الخارجية: فهو لا يعتمد على مكتبات مهارات خارجية أو نماذج أقوى لتوليد المهارات، مما يضمن بقاء التوجيه ضمن حدود قدرة السياسة.
• يحافظ على اتجاه التعلم: يضمن التعديل المحدود أن التحديد الذي وضعه المتحقق للنجاح أو الفشل يظل هو المحرك الأساسي للتعلم، حيث يعمل مكون التقطير الذاتي فقط على صقل مقدار التحديث على مستوى الدور.
• يقدم مقايضات مواتية: بينما يضيف GRSD عبئاً طفيفاً أثناء وقت التدريب (زيادة بنسبة 17% تقريباً عن GRPO بسبب بناء التوجيه عبر الإنترنت)، فإنه لا يترتب عليه أي عبء إضافي في وقت الاستدلال، لأن التوجيه المميز يُستخدم فقط أثناء التدريب.

يشير العمل إلى أن مقارنة الانعكاسات الأصلية للسياسة (الناجحة والفاشلة) توفر آلية قوية للوكلاء لتحديد السلوكيات الحاسمة للنجاح وأنماط الفشل المتكررة، مما يؤدي إلى مبادئ قرار أكثر قابلية للنقل وأداء أقوى في المهام غير المرئية.