StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث "StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning".

1. بيان المشكلة

تتناول الورقة مشكلة عدم تطابق التدرج (granularity mismatch) الجوهري في أنظمة التعلم المعزز الوكيلية (Agentic Reinforcement Learning) الحالية.

• السياق: تتطور وكلاء النماذج اللغوية الكبيرة (LLM agents) من مستجيبين أحاديي الدور إلى أنظمة متعددة الأدوار وطويلة الأمد قادرة على استخدام الأدوات، والتخطيط، والتفاعل مع البيئة (مثل OpenClaw وClaude Code).
• عدم التطابق: يعتمد التعلم المعزز التقليدي للنماذج اللغية الكبيرة (مثل RLHF وPPO) على عملية قرار ماركوف (MDP) على مستوى الرمز (token-level)، حيث يكون "الإجراء" هو توليد رمز واحد. ومع ذلك، فإن السلوك الوكيلي هو بطبيعته على مستوى الخطوة (step-level): يقوم الوكيل باتخاذ قرار (مثل "استدعاء أداة" أو "البحث في الويب")، ثم ينفذه، ويتلقى ملاحظة.
• النتائج:
  • ضجيج تخصيص الائتمان (Credit Assignment Noise): إن نشر المكافآت على مستوى الرمز دقيق للغاية ومثير للضجيج بالنسبة للمهام طويلة الأمد، بينما يكون التخصيص على مستوى المسار (trajectory-level) فجاً للغاية بحيث لا يستطيع التمييز بين القرارات الوسيطة المحددة.
  • انزياح إعادة الترميز (Retokenization Drift): يؤدي تخزين تفاعلات الوكيل كنصوص رسائل وإعادة ترميزها للتدريب إلى إدخال عدم اتساق بين مرحلة التوليد (الاستدلال) وبيانات التدريب، مما يكسر التكافؤ الرياضي المطلوب لتحسين السياسة بشكل مستقر.
  • عدم كفاءة النظام: تعاني الأنظمة الحالية من صعوبة في إدارة الوكلاء غير المتجانسين، والسياقات الطويلة، وجمع البيانات غير المتزامن بكفاءة لأنها تفتقر إلى تجريد "الخطوة" الأصيل.

2. المنهجية: StepPO

يقترح المؤلفون StepPO، وهو إطار عمل يربط خط أنابيب التعلم المعزز بالكامل — من النمذجة إلى تصميم الأنظمة — مع خطوة التفاعل (interaction step) بدلاً من الرمز.

أ. التحول النظري: MDP على مستوى الخطوة

• الصياغة: تعيد الورقة تعريف وحدة انتقال عملية ماركوف (MDP).
  • على مستوى الرمز: الحالة $s_i$، الإجراء $a_i$ (رمز واحد)، الانتقال إلى $s_{i+1}$.
  • على مستوى الخطوة: الحالة $s_t$ (الملاحظة/السياق)، الإجراء $a_t$ (دورة تفاعل كاملة، مثل استدعاء أداة + استدلال)، المكافأة $r_t$، الانتقال إلى $s_{t+1}$ (حالة بيئة جديدة).
• تعريف الإجراء: الإجراء $a_t$ هو تسلسل رموز كامل تولده السياسة لتنفيذ مهمة فرعية محددة، وليس مجرد رمز واحد.

ب. تمثيل المسار

لدعم MDP على مستوى الخطوة، تدعو الورقة إلى تمثيل هيكلي على مستوى الخطوة بدلاً من فضاء النص أو فضاء الرموز المسطح:

• الهيكل: تُخزن المسارات كتسلسل من الأزواج المنفصلة $(s_t, a_t, r_t)$.
• الاتساق: يتجنب هذا "انزياح إعادة الترميز" عبر تخزين الإجراءات كمعرفات رموز خام (أو كائنات مهيكلة) بدلاً من النصوص المفكوكة التي يجب إعادة ترميزها.
• المرونة: يسمح بإدارة دقيقة للسياق (القص أو التلخيص لخطوات معينة) دون كسر الاتساق على مستوى الرمز للخطوات الأخرى.

ج. التحسين: تخصيص الائتمان على مستوى الخطوة

يقدم StepPO دالة هدف جديدة توائم نشر المكافأة مع وحدة الخطوة:

• ميزة مستوى الخطوة (Step-Level Advantage): بدلاً من GAE على مستوى الرمز أو الميزة على مستوى المسار، تقوم الخوارزمية بحساب تقدير الميزة المعمم (GAE) على مستوى الخطوة:
  $$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$$
  $$A_t = \sum_{l=0}^{T-t-1} (\gamma \lambda)^l \delta_{t+l}$$
• هدف السياسة: يتم حساب خسارة بديل PPO بناءً على نسبة احتمالات الخطوة بأكملة (تسلسل الرموز الكامل للإجراء) بدلاً من الرموز الفردية:
  $$w_t(\theta) = \frac{\pi_\theta(a_t | s_t)}{\pi_{\theta_{old}}(a_t | s_t)}$$
• الفائدة: يضمن هذا أن المكافآت المتأخرة تُنسب إلى القرار (الخطوة) المحدد الذي تسبب فيها، بدلاً من أن تتبدد عبر آلاف الرموز غير ذات الصلة أو تُدمج في درجة مسار واحدة.

د. تصميم الأنظمة

تحدد الورقة بنية النظام اللازمة لدعم StepPO:

• بيانات أصلية للخطوة (Step-Native Data): يجب أن تخزن خطوط أنابيب البيانات معرفات المطالبات (prompts)، واستجابات الرموز، والمكافآت كخطوات مهيكلة.
• البوابة ومستودع البيانات (Gateway & DataPool): طبقة وسيطة (كما في نظام Claw-R1) لاستيعاب الوكلاء غير المتجانسين (الوكلاء ذوي الصندوق الأبيض والأسود) وتوحيدهم في آثار (traces) أصلية للخطوات.
• التدريب غير المتزامن: فصل توليد المسارات عن التدريب للتعامل مع زمن الاستجابة المتغير في تفاعلات الوكيل، باستخدام دمج شجرة البادئة (prefix-tree merging) لتحسين الحوسبة للبادئات المشتركة.

3. المساهمات الرئيسية

1. الإطار المفاهيمي: يقترح التحول من MDP على مستوى الرمز إلى MDP على مستوى الخطوة كالتجريد الصحيح للتعلم المعزز الوكيلي، بحجة أن "الخطوة" هي الوحدة الذرية الحقيقية لاتخاذ القرار للوكيل.
2. الابتكار الخوارزمي: يقدم StepPO، وهو متغير من PPO يقوم بتخصيص الائتمان وتحديثات السياسة عند دقة خطوة التفاعل، مما يحل عدم التوافق بين توليد الرموز والمكافآت القائمة على الخطوات.
3. تمثيل البيانات: يحدد تمثيلاً هيكلياً على مستوى الخطوة يلغي انزياح إعادة الترميز ويسمح بإدارة دقيقة للسياق.
4. بنية الأنظمة: يفصل متطلبات البنية التحتية (البوابة، مستودع البيانات، التدريب غير المتزامن) اللازمة لتوسيع التعلم المتوافق مع الخطوات، كما هو موضح من خلال تطور مشاريع المؤلفين (Agent-R1 و Claw-R1).
5. التحقق التجريبي: يقدم أدلة تجريبية تظهر تفوق StepPO على النماذج المرجعية لـ PPO على مستوى الرمز.

4. النتائج التجريبية

• الإعداد: قيم المؤلفون StepPO مقابل نموذج PPO قياسي على مستوى الرمز على مجموعة بيانات HotpotQA (مهمة استدلال متعددة القفزات تتطلب خطوات بحث متعددة).
• التكوين: استخدم كلا الطريقتين نفس النموذج الأساسي (Qwen2.5-3B-Instruct)، والبيانات، وخط أنابيب المسار، واختلفا فقط في خوارزمية التحسين (على مستوى الخطوة مقابل مستوى الرمز).
• النتائج:
  • الأداء: تفوق StepPO باستمرار على PPO التقليدي على مستوى الرمز طوال عملية التدريب.
  • الاستقرار: وصل منحنى StepPO إلى درجة ذروة أعلى وحافظ على ثبات أقوى في المراحل المتوسطة إلى المتأخرة من التدريب.
  • الاستنتاج: يوفر مواءمة وحدة التحسين مع خطوة التفاعل إشارة تعلم أكثر فعالية للمهام التي تتطلب جمع أدلة متعددة الخطوات واستدلالاً.

5. الأهمية والتأثير

• تحول في النموذج (Paradigm Shift): تجادل الورقة بأن التعلم المعزز الوكيلي ليس مجرد امتداد للتعلم المعزز للنماذج اللغوية الكبيرة، بل يتطلب إعادة هيكلة جذرية لعملية MDP، وتمثيل البيانات، وآليات تخصيص الائتمان.
• القابلية للتوسع: من خلال معالجة التحديات على مستوى النظام (عدم تجانس البيانات، زمن الاستجابة، كفاءة الحوسبة)، يقدم StepPO مساراً عملياً لتدريب وكلاء أقوياء وعامّين.
• منظور المجتمع: توفر الورقة "عدسة" موحدة للمجتمع لفهم سلوك الوكيل، مما يشير إلى أن التطورات المستقبلية في تدريب الوكلاء يجب أن تبتعد عن الرؤى المتمحورة حول الرموز نحو أطر عمل متوافقة مع الخطوات وواعية بالتفاعل.
• المصدر المفتوح: يشير المؤلفون إلى تطبيقات مفتوحة المصدر (Agent-R1، Claw-R1) تجسد هذه المبادئ، مما يسهل المزيد من البحث والتبني.