Align and Filter: Improving Performance in Asynchronous On-Policy RL

إليك ملخص تقني مفصل لورقة البحث "Align and Filter: Improving Performance in Asynchronous On-Policy RL" (VACO).

1. بيان المشكلة: تأخر السياسة (Policy Lag) في التعلم المعزز عبر السياسة المباشرة غير المتزامن (Asynchronous On-Policy RL)

تعالج الورقة عقبة حرجة في التعلم المعزز الحديث الموزع: تأخر السياسة (Policy Lag). فبينما يعمل التدريب غير المتزامن (باستخدام عقد حوسبة لامركزية لجمع البيانات بينما يقوم متعلم مركزي بالتحديث) على تسريع التعلم، فإنه يتسبب في عدم تطابق بين سياسة السلوك (التي تولد البيانات) وسياسة التعلم (التي يتم تحديثها).

يصنف المؤلفون تأخر السياسة إلى مصدرين متميزين:

1. تأخر السياسة الخلفي (Backward Policy Lag): ينشأ من عدم التطابق الأولي بين سياسة السلوك ($\beta_T$) وسياسة التعلم ($\pi_T$) عند بدء دورة التدريب. في الإعدادات غير المتزامنة، غالبًا ما تُجمع البيانات باستخدام مزيج من السياسات القديمة، مما ينتهك الافتراض الجوهري للسياسة المباشرة (on-policy) الذي يقضي بأن البيانات يجب أن تُولد بواسطة السياسة الحالية.
2. تأخر السياسة الأمامي (Forward Policy Lag): يتراكم أثناء عملية التحسين. فمع خضوع سياسة التعلم لتحديثات تدرج متعددة على دفعة ثابتة من البيانات، فإنها تبتعد أكثر عن توزيع البيانات المستخدمة لتوليدها.

العواقب:

• تدهور الأداء: تعتمد خوارزميات السياسة المباشرة القياسية مثل تحسين السياسة القريبة (PPO) على افتراض أن السياسات السلوكية والمستهدفة متقاربة. يؤدي تأخر السياسة إلى انتهاك هذا الافتراض، مما يؤدي إلى تحديثات غير مستقرة، أو انخفاض حاد في الأداء، أو انهيار كامل للسياسة.
• عدم الكفاءة: للتخفيف من حدة التأخر، غالبًا ما تصبح الطرق القياسية (مثل تقليم PPO أو قيود KL) متحفظة للغاية، مما يؤدي إلى استبعاد بيانات مفيدة أو الحد من عدد التحديثات لكل دفعة، وبالتالي تقليل كفاءة العينات.

2. المنهجية: VACO (التحسين المعتمد على محاذاة التباين والميزة - Variation-based Advantage aligned Constrained policy Optimization)

يقترح المؤلفون VACO، وهي خوارزمية مبتكرة مصمما للتخفيف من كل من تأخر السياسة الخلفي والأمامي من خلال آليتين جوهريتين: محاذاة الميزة (Advantage Realignment) والتصفية القائمة على تباين المجموع الكلي (TV-based Filtering).

أ. الأساس النظري

يشتق المؤلفون حداً أدنى لفارق الأداء بين السياسات باستخدام تبايُن المجموع الكلي (Total Variation - TV divergence) بدلاً من تباين كولباك-ليبلر (KL divergence) القياسي.

• أظهروا أن استخدام دالة الميزة لسياسة التعلم ($A_{\pi_T}$) بدلاً من سياسة السالوك ($A_{\beta_T}$) يلغي حد العقوبة المرتبط بالتأخر الخلفي.
• أثبتوا أن التحكم في تباين TV يوفر حداً أكثر إحكاماً وعملية لتحسين السياسة مقارنة بتباين KL، والذي يمكن أن يكون لانهائياً حتى ضمن مساحات المعلمات الصالحة.

ب. المكونات الجوهرية

1. محاذاة الميزة (للتخفيف من التأخر الخلفي)

• المشكلة: تقوم الطرق غير المباشرة (off-policy) القياسية (مثل V-trace من IMPALA) بإعادة تقدير دالة الميزة لسياسة التعلم باستمرار عند كل خطوة، وهو أمر مكلف حوسبياً ويؤدي إلى زيادة التباين.
• الحل: تحسب VACO دالة الميزة مرة واحدة لسياسة التعلم الأولية ($\pi_T$) باستخدام بيانات السلوك ($\beta_T$). ثم تقوم بتحسين السياسة بشكل تكراري باستخدام تقدير الميزة الثابت و"المُعاد محاذاته" هذا.
• الآلية: تستخدم هدف V-trace (من IMPALA) لتقدير دالة القيمة لسياسة التعلم بناءً على المسارات التي ولدتها سياسة السلوك.
• الفائدة: يقلل هذا بشكل كبير من العبء الحوسبي مقارنة بـ IMPALA ويوفر هدفاً أكثر استقراراً وقوة تجاه أخطاء تصحيح السياسة غير المباشرة.

2. التصفية القائمة على تباين TV (للتخفيف من التأخر الأمامي)

• المشكلة: يستخدم PPO القياسي "التقليم" (clipping) لمنع نسبة السياسة ($\pi/\beta$) من الابتعاد كثيراً عن الرقم 1. ومع ذلك، فإن التقليم هو أداة فجة تتخلص من التدرجات بشكل عشوائي بمجرد تجاوز العتبة.
• الحل: تستخدم VACO استراتيجية تصفية تعتمد على اتجاه التدرج بالنسبة لتباين TV.
• الآلية:
  • لكل دفعة صغيرة (minibatch)، تحسب VACO تباين TV المتوقع بين السياسة الحالية وسياسة السلوك.
  • إذا تجاوز التباين عتبة معينة ($\delta$)، تحدد الخوارزمية نقاط بيانات محددة حيث يؤدي تحديث التدرج إلى زيادة تباين TV (أي حيث يتوافق اتجاه الميزة $A$ مع اتجاه تغير السياسة $(\pi - \beta)$ بطريقة تدفعها بعيداً).
  • يتم فصل (detach) هذه التدرجات المحددة (إزالتها) من التحديث، بينما يتم الاحتفاظ بالتدرجات التي من شأنها تقليل التباين أو الحفاظ عليه.
• الفائدة: على عكس تقليم PPO الذي يعد ثابتاً، فإن تصفية VACO ديناميكية وانتقائية. فهي تسمح للنموذج بالتعلم من البيانات "المتأخرة" طالما أن اتجاه التحديث آمن، وتكتفي بتصفية التحديثات التي قد تزعزع استقرار السياسة فقط. وهذا يحافظ على الاستقرار دون الرفض العنيف للبيانات الذي يسببه التقليم.

3. المساهمات الرئيسية

1. التصنيف النظري: صاغت الورقة رسمياً تعريف وتحليل تأخر السياسة الخلفي والأمامي، مع توفير حد أدنى للأداء يأخذ في الاعتبار هذه الاختلافات صراحةً باستخدام تباين TV.
2. خوارزمية مبتكرة (VACO): تقديم إطار موحد يجمع بين محاذاة الميزة (للتأخر الخلفي) والتصفية القائمة على TV (للتأخر الأمامي).
3. تحسينات الكفاءة:
   • حوسبياً: محاذاة الميزة أكثر كفاءة من إعادة التقدير المستمر (IMPALA).
   • التحسين: التصفية القائمة على TV أكثر دقة من تقليم PPO، مما يسمح بمزيد من التحديثات لكل دفعة دون حدوث انهيار.
4. التحقق التجريبي: اختبارات واسعة النطاق عبر مجالين متميزين:
   • الروبوتات (MuJoCo): بيئات غير متزامنة محاكاتية.
   • النماذج اللغوية الكبيرة (LLMs): التعلم المعزز للاستداد الرياضي (GSM8k) باستخدام GRPO (وهو متغير من PPO للنماذج اللغوية).

4. النتائج التجريبية

تحققت المؤلفة من صحة VACO مقابل نماذج مرجعية قوية (PPO-Clip، SPO، IMPALA، وGRPO) في إعدادين:

أ. الروبوتات غير المتزامنة (MuJoCo)

• الإعداد: إطار عمل غير متزامن محاكاتي حيث تستخدم العناصر الفاعلة (actors) سياسات من مخزن ذاكرة (buffer) ذي أعمار متفاوتة للتحكم في درجة التأخر الخلفي.
• النتائج: أظهرت VACO قدرة فائقة على الصمود أمام درجات عالية من عدم التزامن مقارنة بـ PPO وIMPALA. وحققت درجات أعلى في المتوسط الربيعي (IQM) وفجوات مثالية أقل، مما يشير إلى كفاءة أفضل في العينات واستقرار أكبر عندما تكون البيانات متأخرة بشكل كبير.

** ب. التعلم المعزز للنماذج اللغوية الكبيرة (GSM8k Math Reasoning)**

• الإعداد: ضبط دقيق لنموذج Qwen 2.5 0.5B باستخدام GRPO مع أحجام دفعات صغيرة متغيرة ($N=1$ إلى $32$) لإحداث تأخر سياسة أمامي.
• النتائج:
  • تدهور أداء PPO-Clip القياسي بشكل كبير مع زيادة التأخر الأمامي (حجم الدفعة).
  • حافظت VACO على أداء تقييم عالٍ حتى مع أحجام الدفعات الكبيرة (التأخر العالي).
  • تحليل التصفية: قامت VACO بتصفية نقاط البيانات بشكل أقل تكراراً مما فعلها P-Clip عند التأخر المنخفض، وعندما كان التأخر عالياً، قامت بالتصفية بشكل أكثر انتقائية، مما سمح للنموذج بالتعلم من جزء أكبر من الدفعة مع الحفاظ على الاستقرار.

5. الأهمية والأثر

• القابلية للتوسع: تمكن VACO من توسيع نطاق خوارزميات التعلم المعزز (on-policy) للمشكلات الأكبر والأكثر تعقيداً من خلال جعلها قوية تجاه التأخيرات وعدم التطابق الحتمي في أنظمة التدريب الموزعة.
• **تدريب النماذج اللغوية الكبيرة (LLM Training): التعلم المعزز من التغذية الراجعة البشرية (RLHF) والتعلم المعزز من المكافآت القابلة للتحقق (RLVR) للنماذج اللغوية الكبيرة. يعد التدريب غير المتزامن ضرورياً للنماذج اللغوية الكبيرة بسبب زمن انتقال الاستدلال (inference latency)؛ وتسمح VACO بتدريب غير متزامن أكثر قوة دون التضحية بجودة قدرات الاستدلال.
• الرؤية النظرية: من خلال نقل التركيز من تباين KL إلى تباين TV لفرض القيود، تقدم الورقة حداً أكثر إحكاماً وعملية لتحسين السياسة، مما قد يؤثر على التطورات المستقبلية في تحسين السياسة المقيد.

باختصار، توفر VACO حلاً عملياً ومبنياً على أسس نظرية لمشكلة "تأخر السياسة"، مما يسمح للتعلم المعزز (on-policy) غير المتزامن بتحقيق أداء واستقرار أعلى في كل من التحكم الروبوتي ومهام الاستداد للنماذج اللغوية الكبيرة.