ملخص تقني: تدرج السياسة الحتمية الناعم مع التنعيم الغاوسي

بيان المشكلة

تُستخدم تدرجات السياسة الحتمية (DPG) وتجسيدها في التعلم العميق، "تدرج السياسة الحتمية العميق" (DDPG)، على نطاق واسع في مهام التحكم المستمر. ومع ذلك، تعتمد هذه الطرق على فرضية حرجة وهي وجوب كون دالة قيمة الفعل (الناقد) قابلة للاشتقاق بالنسبة للفعل. وفي مشكلات التحكم العملية التي تتضمن مكافآت متفرقة أو منفصلة، غالبًا ما تكون دالات Q (Q-functions) غير سلسة أو غير قابلة للاشتقاق. وتحت هذه الظروف، تصبح تدرجات الفعل المطلوبة لتحديثات DPG غير محددة جيدًا أو غير مستقرة للغاية، مما يؤدي إلى تدهور أداء التعلم. وقد حدد المؤلفون أن تعلم الفرق الزمني (TD) القياسي لا يضع قيودًا صريحة على سلاسة تدرجات الفعل للناقد، مما يجعل DPG حساسًا لمشاهد المكافآت غير المنتظمة الشائعة في الروبوتات والقيادة الذاتية.

المنهجية

يقترح البحث إطار عمل تدرج السياسة الحتمية الناعم (Soft-DPG)، الذي يستبدل عملية "باك أب" بلمان (Bellman backup) القياسية بـ معادلة بلمان مُنعمة بـ $\sigma$ عبر التنعيم الغاوسي (GS).

الإطار النظري الجوهري

1. معادلة بلمان المُنعمة بـ $\sigma$: بدلاً من تعلم دالة Q القياسية $Q^\pi(s, a)$، تتعلم الطريقة دالة قيمة فعل سلسة $Q^\pi_\sigma(s, a)$. وتُعرف هذه الدالة بأنها النقطة الثابتة لمؤثر جديد $T^\pi_\sigma$:
   $$Q^\pi_\sigma(s, a) = R(s, a) + \gamma \mathbb{E}_{s' \sim P(\cdot|s,a), w \sim \mathcal{N}(0, I)} [Q^\pi_\sigma(s', \pi(s') + \sigma w)]$$
   ومن الأهمية بمكان أن التنعيم يُطبق مباشرة على مؤثر باك أب بلمان، مما يضمن أن دالة القيمة الناتجة متسقة مع الديناميكيات المُنعمة بدلاً من كونها تنعيماً لاحقاً لناقد تم تعلمه.

2. نظرية Soft-DPG: من خلال الاستفادة من خصائص التنعيم الغاوسي، استنتج المؤلفون نظرية تدرج سياسة جديدة. وعلى عكس DPG القياسي، الذي يتطلب $\nabla_a Q(s, a)$، يعتمد تدرج Soft-DPG فقط على تقييمات الدوال عند الأفعال المضطربة:
   $$\nabla_\theta J_\sigma = \mathbb{E}_{s \sim \rho_{\nu_\theta}, \tilde{a} \sim \nu_\theta} \left[ \frac{1}{\sigma^2} \nabla_\theta \pi_\theta(s) (\tilde{a} - \pi_\theta(s)) Q^{\pi_\theta}_\sigma(s, \tilde{a}) \right]$$
   حيث $\tilde{a} = \pi_\theta(s) + \sigma w$. هذا الصياغة تلغي الاعتماد الصريح على تدرج الفعل للناقد، مما يضمن بقاء التدرج محددًا جيدًا حتى لو كانت دالة Q الأساسية غير سلسة.

3. الضمانات النظرية: يقدم البحث حدودًا صارمة لأخطاء التقريب الناتجة عن معامل التنعيم $\sigma$. حيث يثبت أن الفرق بين دالة القيمة الأصلية والنسخة المُنعمة هو مقدار محدود ويمكن التحكم فيه، بشرط أن تحقق المكافآت وديناميكيات الانتقال شروط الاستمرارية لـ Lipschitz.

التجسيد الخوارزمي: Soft DDPG

قام المؤلفون بتجسيد هذا الإطار في خوارزمية تعلم تعزيزي عميق تسمى Soft DDPG. تتبع الخوارزمية بنية DDPG القياسية (ممثل وناقد مع مخازن إعادة التشغيل وشبكات الهدف) ولكنها تعدل قواعد التحديث:

• تحديث الناقد: يتم حساب القيمة المستهدفة باستخدام فعل مستهدف مضطرب غاوسياً ($\tilde{a}' = \bar{\pi}(s') + \sigma w$)، مما يدرب الناقد فعليًا لتقريب النقطة الثابتة لمؤثر بلمان المُنعّم.
• تحديث الممثل (السياسة): يتم تحديث السياسة عن طريق أخذ عينات من الأفعال المضطربة غاوسياً وتقييم الناقد المُنعّم، متجنبًا حساب $\nabla_a Q$.

المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

1. إطار عمل Soft-DPG: تقديم إطار عمل مبدئي يتغلب على قيود القابلية للاشتقاق في DPG القياسي من خلال دمج التنعيم الغاوسي مباشرة في مؤثر بلمان.
2. التحليل النظري: اشتقاق حدود تحليلية لأخطاء التقريب في كل من دالتي القيمة (الفعل والحالة) بين MDP الأصلي و MDP المُنعّم، مما يوفر ضمانات رسمية بشأن الانحياز الناتج عن التنعيم.
3. خوارزمية Soft DDPG: تنفيذ خوارزمية تعلم تعزيزي عميق عملية تُظهر استقرارًا وأداءً تنافسيين، لا سيما في البيئات ذات أسطح المكافآت غير المنتظمة.

النتائج التجريبية

قيم المؤلفون Soft DDPG على معايير التحكم المستمر MuJoCo القياسية (OpenAI Gym) وعلى نسخها ذات المكافآت المنفصلة.

• بيئات المكافآت المستمرة: في إعدادات المكافآت الكثيفة القياسية (مثل HalfCheetah و Hopper)، يحقق DDPG التقليدي عمومًا أداءً أعلى. ويشير المؤلفون إلى أن هذا متوقع نظريًا، حيث يؤدي التنعيم الغاوسي إلى انحياز تقريبي عندما تكون دالة القيمة الأساسية سلسة بالفعل. ومع ذلك، يظل Soft DDPG تنافسيًا في هذه الإعدادات.
• بيئات المكافآت المنفصلة: في البيئات التي تكون فيها المكافآت متفرقة أو منفصلة أو غير سلسة، يُظهر Soft DDPG مكاسب واضحة ومتسقة مقارنة بـ DDPG القياسي. ففي مهام مثل Ant و Hopper و Inverted Double Pendulum مع مكافآت منفصلة، يعاني DDPG القياسي من عدم استقرار التعلم بسبب التدرجات غير المحددة جيدًا، بينما يحافظ Soft DDPG على تحديثات سياسة مستقرة ويحقق عوائد نهائية أعلى.
• معايير إضافية: أكدت تجارب أخرى على بيئات مثل BipedalWalker و MountainCar مع مكافآت منفصلة أن Soft DDPG يتفوق على الخط المرجعي في معظم السيناريوهات غير السلسة.

الأهمية والادعاءات

يزعم البحث أن Soft-DPG يقدم حلاً مبدئيًا لعدم استقرار تدرجات السياسة الحتمية في البيئات غير السلسة. ومن خلال إزالة الاعتماد على تدرجات فعل الناقد، تضمن الطريقة بقاء تحديثات السياسة محددة جيدًا حتى عندما تكون دالة Q غير قابلة للاشتقاق.

يضع المؤلفون Soft DDPG كبديل قوي لمهام التحكم التي تتضمن أسطح مكافآت غير منتظمة، مثل تلك الموجودة في الروبوتات والقيادة الذاتية حيث تشيع المكافآت المتفرقة أو المنفصلة. كما يقرون بالقيود، مشيرين إلى أن الطريقة تتطلب ضبط معامل التنعيم $\sigma$، وأنها، مثل غيرها من طرق DDPG، ترث الحساسية للمعاملات الفائقة دون ضمانات تقارب في سياق التعلم التعزيزي العميق. لا يدعي العمل استبدال DPG في جميع السيناريوهات، بل يهدف إلى توسيع نطاق تطبيقه على فئة أوسع من المشكلات التي تفشل فيها الافتراضات القياسية.