ملخص تقني: إعادة الضبط الجزئي المعاير (CPR) للتعلم التعزيزي المستمر

1. بيان المشكلة

غالبًا ما تعاني الشبكات العصبية العميقة من فقدان اللدونة (plasticity) أثناء التدريب غير المستقر لفترات طويلة، وهي مشكلة حرجة في التعلم التعزيزي المستمر (RL). في هذه الإعدادات، تؤدي تحديثات السياسة إلى تغيير توزيع البيانات المستقبلية للوكيل، مما يخلق حلقات تغذية راجعة حيث يمكن للاضطرابات الصغيرة في التحسين أن تتراكم لتصبح تدهورًا كارثيًا في السياسة (Juliani & Ash, 2024).

تعتمد الحلول الحالية لفقدان اللدونة، مثل Continual Backpropagation (CBP)، وReDo، وReGraMa، على إعادة الضبط الثنائي للنيورونات (binary neuron resets). تحدد هذه الطرق النيورونات ذات المنفعة المنخفضة (بناءً على إحصائيات التنشيط أو التدرج) وتعيد تهيئتها بالكامل.

• عدم الاستقرار: الطبيعة "الكلية أو العدمية" لإعادة الضبط الثنائي تؤدي إلى تغييرات مفاجئة في المعلمات وطفرات في التدرج، مما يزعزع استقرار تدريب التعلم التعزيزي طويل الأمد ويمكن أن يؤدي إلى انهيار السياسة.
• الهشاشة: إعادة التهيئة الكاملة تجعل الأوزان الصادرة صفرية، مما يسبب تحولات في التوزيع في الطبقات اللاحقة، وهو أمر مشكل بشكل خاص بدون تسوية الطبقات (layer normalization).
• محدودية الاضمحلال الموحد: الطرق البديلة مثل Shrink & Perturb تطبق اضمحلالًا موحدًا على جميع الوحدات، وهو أسلوب سلس ولكنه غير انتقائي، حيث يفشل في استهداف الوحدات التي تحتاج تحديدًا إلى إعادة ضبط.

المشكلة الجوهرية هي غياب طريقة تكون انتقائية (تستهدف الوحدات ذات المنفعة المنخفضة) وسلسة (تتجنب القفزات المفاجئة في المعلمات) لمنع انهيار السياسة مع الحفاظ على ذروة الأداء.

2. المنهجية: إعادة الضبط الجزئي المعاير (CPR)

يقترح المؤلفون إعادة الضبط الجزئي المعاير (CPR)، وهو مُحسِّن يقوم دوريًا بسحب النيورونات نحو حالة التهيئة الخاصة بها بقوة تتناسب مع منفعة كل نيورون. على عكس إعادة الضبط الثنائي، يطبق CPR تعديلًا جزئيًا مستمرًا.

2.1 تقدير المنفعة

يستخدم CPR درجات المنفعة القائمة على التدرج، والتي تشير الأبح Kerja الحديثة إلى أنها تتوسع بشكل أفضل (Liu et al., 2025).

• الدرجة الخام ($S_i^\ell$): متوسط مقدار تدرج الأوزان الواردة للوحدة $i$ في الطبقة $\ell$.
• الدرجة المعيرة ($u_i^\ell$): لضمان قابلية المقارنة عبر الطبقات والزمن، يتم معيرة الدرجة الخام عبر الطبقة (بالقسمة على متوسط الطبقة) وتنعيمها باستخدام المتوسط المتحرك الأسي (EMA) مع معامل اضمحلال $\beta$.

2.2 آلية إعادة الضبط

كل $f$ خطوة، يقوم CPR بتحديث أوزان كل نيورون $i$ في الطبقة $\ell$ وفقًا لـ:
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

حيث أن:

• $\xi$ هو وزن مسحوب من توزيع التهيئة (مثل Kaiming).
• $r_i^\ell$ هو معامل إعادة الضبط، محصور بمعامل إعادة ضبط أقصى $\rho \in (0, 1]$.
• يتم تحديد المعامل بواسطة دالة تناقصية رتيبة $\phi$ للمنفعة المعيرة $u_i^\ell$:
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 دالة التحويل

تقوم الدالة $\phi$ برسم خريطة للمنفعة مقابل شدة إعادة الضبط. يستخدم المؤلفون شكلًا يعتمد على الدالة السينية (sigmoid):
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• الانتقائية: الوحدات ذات المنفعة الأقل من متوسط الطبقة ($u < 1$) تتلقى كسر إعادة ضبط قريب من الحد الأقصى $\rho$. أما الوحدات ذات المنفعة العالية ($u > 1$) فتتلقى عمليات إعادة ضبط أصغر تدريجيًا.
• الجزئية: حتى بالنسبة لأدنى وحدات المنفعة، تكون إعادة الضبط جزئية (السحب نحو التهيئة بمقدار $\rho$) بدلاً من إعادة التهيئة الكاملة. هذا يتجنب طفرات التدرج المرتبطة بإعادة الضبط الثنائي.
• الحدة ($\kappa$): تتحكم في مدى حدة انخفاض كسر إعادة الضبط مع زيادة المنفعة. ثبت المؤلفون $\kappa=16$ بناءً على دراسات الاستئصال التي أظهرت متانة عبر نطاق واسع.

3. المساهمات الرئيسية

1. تحديد مصدر عدم الاستقرار: يحدد البحث إعادة ضبط النيورونات الثنائية كسبب رئيسي لعدم الاستقرار في التعلم التعزيزي المستمر طويل الأمد، مفرقًا بين اختيار الوحدات ومقدار تحديثها.
2. مُحسِّن CPR: تقديم مُحسِّن إعادة ضبط جزئي يعتمد على المنفعة يتجنب هشاشة إعادة التهيئة الكاملة مع الحفاظ على انتقائية طرق إعادة الضبط.
3. التحقق التجريبي: إثبات قدرة CPR على منع انهيار السياسة عبر 400 مليون خطوة في بيئة SlipperyAnt، وهو نظام تفشل فيه طرق إعادة الضبط الثنائي وAdam.
4. التحكم في المقايضة: تكشف دراسات الاستئصال أن الحد الأقصى لكسر إعادة الضبط $\rho$ يوفر مقايضة قابلة للضبط بين اللدونة (التكيف) وذروة الأداء، مما يسمح بمنع الانهيار دون الحاجة إلى ضبط دقيق للمعلمات الفائقة.

4. النتائج

قيم المؤلفون CPR على أربعة اختبارات مرجعية: SlipperyAnt، وSlipperyHumanoid، وContinual MetaWorld، وContinual MinAtar.

• منع انهيار السياسة: في SlipperyAnt (400 مليون خطوة)، كان CPR هو الطريقة الوحيدة من بين 15 بذرة (seed) التي حققت صفر انهيارات في السياسة. في المقابل، انهار Adam، وأظهرت طرق إعادة الضبط الثنائي (ReDo، ReGraMa) تدهورًا كبيرًا في الأداء أو انهيارًا.
• الأداء: حقق CPR أعلى متوسط ربعي (IQM) للعائد لكل حلقة في SlipperyAnt وSlipperyHumanoid. كما تفوق على النماذج المرجعية (CBP، ReDo، ReGraMa، Shrink & Perturb) في Continual MetaWorld وContinual MinAtar.
• مقاييس الاستقرار:
  • النيورونات الخاملة: حافظ CPR على نسبة منخفضة وثابتة للنيورونات الخاملة، مشابهة لـ CBP ولكن بدون الانجراف المتأخر الذي يشهده Adam.
  • أشكال التدرج (Gradient Norms): أظهر CPR تقلبات أصغر في معايير تدرج الممثل (actor gradient norms) مقارنة بنماذج إعادة الضبط الثنائي، مما يرتبط بقدرته على تجنب الانهيارات.
  • معايير المعلمات (Parameter Norms): حد CPR من نمو المعلمات، وهو محرك معروف لفقدان اللدونة، بينما أظهرت النماذج المرجعية نموًا أعلى في المعلمات.
• الاستئصال (Ablations):
  • الحدة ($\kappa$): ظل الأداء قويًا لـ $\kappa \in [2, 20]$. القيم المنخفضة ($\kappa \le 1$) أدت إلى تدهور الأداء بجعل إعادة الضبط أكثر تجانسًا.
  • مقدار إعادة الضبط ($\rho$): نجح نطاق $\rho \in [0.01, 0.05]$ باستمرار في منع الانهيار. $\rho$ المنخفض يحافظ على الاستقرار ولكنه يعيق التكيف؛ بينما $\rho$ المرتفع يزيد من اللدونة ولكنه يخاطر بإعادة ضبط الهياكل المفيدة.

5. الأهمية والادعاءات

يزعم البحث أن CPR يمثل تحولًا نوعيًا في موثوقية التدريب للتعلم التعزيزي طويل الأمد. من خلال استبدال التحديثات "الكلية أو العدمية" بإعادة ضبط جزئية تعتمد على المنفعة، يضخ CPR اللدونة اللازمة دون التحديثات الحادة للمعلمات التي تسبب انهيار السياسة.

يؤكد المؤلفون أنه بينما يضيف CPR تعقيدًا في التنفيذ (حساب منفعة كل نيورون وتخزين المتوسطات المتحركة)، فإن العبء الحسابي ضئيل (~6% زيادة في وقت التشغيل للمهام عالية الأبعاد) وأن الطريقة نموذجية، تتطلب تغييرات طفيفة في خطوط أنابيب التدريب القياسية (مثل Optax).

يخلص العمل إلى أن إعادة التهيئة القائمة على المنفعة هي اتجاه واعد للتعلم المستمر، حيث توفر آلية قابلة للضبط لموازنة المقايضة بين الاستقرار واللدونة. ويقر المؤلفون بوجود قيود، مشيرين إلى أن CPR يركز على ديناميكيات المهام وتغيرات الهوية ولا يدعي حل جميع أشكال عدم الاستقرار في التعلم المستمر (مثل عدم استقرار المكافأة أو تغيرات الشكل المورفولوجي). ويُقترح العمل المستقبلي لعزل أدوار تقدير المنفعة، وإعادة التهيئة الجزئية، ومعالجة حالة المُحسِّن عبر بنيات أكثر اتساعًا.