ملخص تقني: التدرج التكيفي لحجم الدفعة في التعلم المعزز عبر السياسة (On-Policy) القابل للتوسع

1. بيان المشكلة

تذهب الحكمة التقليدية في التعلم المعزز (RL) إلى أن التدريب باستخدام دفعات كبيرة (Large-batch training) غير متوافق جوهرياً مع هذا المجال. فخلافاً للتعلم الخاضع للإشراف، حيث يؤدي زيادة أحجام الدفعات إلى استقرار تقدير التدرج وتمكين تدريب النماذج الضخمة (قوانين القياس - Scaling Laws)، يعتمد ممارسو التعلم المعزز عادةً على دفعات صغيرة الحجم (مثلاً 256–1024). ويُعزى هذا القصور إلى عدم الاستقرار (Non-stationarity) المتأصل في توزيع البيانات في التعلم المعزز؛ فمع تحديث السياسة ($\pi_\theta$)، يتغير توزيع البيانات، مما يخلق مقايضة بين الانحياز والتباين (Bias-variance tradeoff).

تشير الرؤية السائدة إلى أن زيادة أحجام الدفعات بما يتجاوز عتبة حرجة تؤدي إلى عوائد متناقصة أو تدهور في الأداء. ويُعتقد أن الدفعات الكبيرة تتسبب في إفراط النموذج في التخصيص (Overfitting) لبعض المسارات العابرة وغير المستقرة خلال المراحل الأولى المتقلبة من التدريب. وبناءً على ذلك، تفضل الممارسة القياسية الدفعات الصغيرة للحفاظ على مرونة النموذج (Plasticity) والتكيف مع التوزيعات المتغيرة. وتتحدى هذه الورقة الطبيعة الثابتة لهذه الرؤية، محاججةً بأن درجة عدم الاستقرار ليست ثابتة بل تتطور طوال عملية التدريب.

2. المنهجية: التدرج التكيفي لحجم الدفعة (ABS)

يقترح المؤلفون التدرج التكيفي لحجم الدفعة (Adaptive Batch Scaling - ABS)، وهو إطار عمل يقوم بتعديل حجم الدفعة الفعال ديناميكياً بناءً على استقرار سياسة التعلم. وتتمثل الفرضية الأساسية في أن تدريب التعلم المعزز يتكون من نظامين متميزين:

1. المرحلة المبكرة (عدم استقرار عالٍ): تتميز بتحولات سلوكية سريعة. وتتطلب دفعات صغيرة للحفاظ على المرونة ومنع الإفراط في التخصيص للمسارات غير المستقرة.
2. المرحلة المتأخرة (قرب الاستقرار): مع تقارب السياسة، يستقر توزيع البيانات. وتصبح الدفعات الكبيرة مفيدة لتقليل ضجيج التدرج وتمكين التقارب الدقيق.

المكونات الرئيسية

• التباعد السلوكي ($\delta_\pi$): مقياس مبتكر تم تقديمه لقياس عدم استقرار السياسة. يقيس نسبة الحالات التي يتغير فيها الإجراء المفضل بين السياسة الحالية ($\pi_\theta$) والسياسة السابقة ($\pi_{\theta_{old}}$) على دفعة مرجعية.
  • صياغة رياضية: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • يشير $\delta_\pi$ المرتفع إلى تقلب عالٍ (المرحلة المبكرة)؛ بينما يشير $\delta_\pi$ المنخفض إلى الاستقرار (المرحلة المتأخرة).
• جدول التدرج الديناميكي: يتم تغيير حجم الدفعة الفعال ($|B|$) بشكل عكسي مع التباعد السلوكي.
  • يتم تعديل طول التمرير ($L_{adapt}$) لوغاريتمياً بين حد أدنى ($L_{min}$) وحد أقصى ($L_{max}$) بناءً على التباعد المعياري.
  • عندما يكون $\delta_\pi$ مرتفعاً (تغير سريع)، يتم ضبط $L_{adapt}$ عند $L_{min}$ (دفعة صغيرة).
  • عندما يكون $\delta_\pi$ منخفضاً (استقرار)، يتدرج $L_{adapt}$ ليصل إلى $L_{max}$ (دفعة كبيرة).
• التكامل: يتم دمج الطريقة مع خوارزمية شبكة Q المتوازية (Parallelised Q-Network - PQN). ويعتمد حساب التباعد السلوكي حصرياً على عمليات التمرير الأمامي (Forward passes)، مما يجعله فعالاً حوسبياً مقارنة بالطرق التي تتطلب عمليات التمرير الخلفي (مثل مقياس ضجيج التدرج - GNS).

3. المساهمات الرئيسية

1. تكميم عدم الاستقرار في التعلم المعزز: تقديم التباعد السلوكي كمقياس عملي يعتمد على التمرير الأمامي لقياس التحولات على مستوى الإجراء بين تحديثات السياسة المتتالية.
2. إطار التدرج التكيفي لحجم الدفعة: خوارزمية بسيطة وفعالة تقوم بتغيير أحجام الدفعات (أطوال التمرير) ديناميكياً استجابةً لاستقرار السياسة، مما يسد الفجوة بين الحاجة إلى المرونة في التدريب المبكر والحاجة إلى الاستقرار في التدريب المتأخر.
3. التحقق من قابلية التوسع: الإثبات التجريبي بأن ABS يتيح تحسين الأداء مع أحجام الدفعات الكبيرة في اختبار ALE، لا سياً عند دمجه مع بنيات شبكات أكبر (مثل نماذج ResNet متعددة القفزات)، وهو سلوك قياس كان يُعتقد سابقاً أنه غير ممكن في التعلم المعزز.

4. النتائج التجريبية

تم تقييم الطريقة على معايير Atari-57 و Atari-10 باستخدام خوارزمية PQN، وتم توسيعها لتشمل التحكم المستمر (MuJoCo) والإعدادات خارج السياسة (BTR).

• الأداء مقابل الدفعات الثابتة: تفوق ABS على خوارزمية PQN التقليدية وعلى خطوط الأساس ذات الدفعات الصغيرة/الكبيرة الثابتة في معظم البيئات. حقق درجات أعلى في المرحلة المبكرة (بسبب الدفعات الصغيرة) وتبايناً أقل في المرحلة المتأخرة (بسبب الدفعات الكبيرة).
• المقارنة مع GNS: تفوق ABS على نهج مقياس ضجيج التدرج (GNS) في كل من كفاءة العينات والأداء النهائي، مع كونه أكثر كفاءة حوسبياً بشكل ملحوظ لأنه يتجنب عمليات التمرير الخلفي الإضافية.
• القابلية للتوسع مع النماذج الكبيرة: عند تطبيقه على بنيات أكبر (PQN-L و PQN-XL)، عزز ABS الأداء باستمرار. والأهم من ذلك، بينما أدى استخدام دفعة كبيرة ثابتة إلى تدهور الأداء في النماذج الكبيرة، فإن ABS (الذي يتدرج من الصغير إلى الكبير) أطلق العنان لإمكانات هذه النماذج، محققاً أفضل أداء. وهذا يؤكد وجود علاقة إيجابية بين حجم النموذج وفعالية التدرج في حجم الدفعة.
• التعميم:
  • التحكم المستمر: عند تطبيقه على PPO في MuJoCo باستخدام تباعد KL كمقياس لعدم الاستقرار، أدى ABS إلى تحسين كفاءة العينات والأداء النهائي.
  • التعلم المعزز خارج السياسة (Off-Policy): عند تطبيقه على BTR مع تعديلات طفيفة (استبدال طول التمرير بنطاق حجم الدفعة)، حسن ABS الأداء في 4 من أصل 5 بيئات Atari.

5. الأهمية والادعاءات

تدعي الورقة أنها تتحدى "الحكمة التقليدية" التي تقول إن التدريب بالدفعات الكبيرة غير متوافق مع التعلم المعزز. ومن خلال إثبات أن عدم الاستقرار هو خاصية متطورة وليس قيداً ثابتاً، يظهر المؤلفون أن الشبكات الأكبر وأحجام الدفعات الأكبر يمكن أن تحقق أفضل أداء في التعلم المعزز عندما تُدار بشكل تكيفي.

تكمن أهمية هذا العمل في قدرته على فتح آفاق التوسع في التعلم المعزز، مما يسمح لوكلاء التعلم المعزز عاليي القدرة باستخدام مزايا التدريب بالدفعات الكبيرة التي حققت النجاح في التعلم الخاضع للإشراف (مثل النماذج اللغوية الكبيرة ونماذج الرؤية المحولة - Vision Transformers). ويضع المؤلفون ABS كخطوة تأسيسية نحو تعلم معزز قابل للتوسع، مما يقلص الفجوة في الأداء بين التعلم المعزز والتعلم الخاضع للإشراف عند المقاييس الكبيرة.

القيود والتوجهات المستقبلية:
يشير المؤلفون إلى أنه بينما يركز العمل الحالي على خوارزميات داخل السياسة (on-policy)، فإن العمل المستقبلي يتضمن توسيع ABS ليشمل التعلم المعزز خارج السياسة (offline RL)، والتحقق منه باستخدام بنيات تعتمد على المحولات (Transformer-based architectures)، ودمج الطريقة في تقنيات محاذاة النماذج اللغوية الكبيرة (مثل GRPO) من أجل تعلم معزز قابل للتوسع (Scalable RLHF).