ملخص تقني: تحسين السياسة في فضاءات العمل الهجينة (المنفصلة-المستمرة) عبر التدرجات المختلطة

بيان المشكلة

تتناول هذه الورقة البحثية قيداً جوهرياً في التعلم التعزيزي (RL) للمشكلات واسعة النطاق: مشكلة تخصيص الائتمان (credit assignment problem) في فضاءات العمل عالية الأبعاد. تعتمد طرق تدرج السياسة القياسية الخالية من النموذج (model-free)، مثل REINFORCE وProximal Policy Optimization (PPO)، على مُقدِّرات دالة الدرجة (score-function - SF). تُقدر هذه الطرق التدرجات من خلال ربط اضطرابات السياسة بالمكافآت التراكمية. وفي الإعدادات عالية الأبعاد، يعاني هذا النهج من تدهور شديد في نسبة الإشارة إلى الضجيج، حيث يجب عزو عائد قياسي واحد إلى آلاف مكونات العمل المتشابكة مع العشوائية الخارجية.

بينما يوفر المحاكاة القابلة للتفاضل (differentiable simulation) (عبر مسارات أو تدرجات المسار - PW gradients) حلاً من خلال الانتشار العكسي عبر المحاكي للحصول على تخصيص ائتمان أكثر دقة، إلا أنه يتطلب تقليدياً ديناميكيات سلسة بالكامل. وفي العديد من المشكلات العملية في الروبوتات، والتحكم، والعمليات، توجد فضاءات عمل هجينة (منفصلة-مستمرة) (على سبيل المثال، اختيار نظام/نمط منفصل وتحسين التحكم المستمر ضمنه) أو ديناميكيات سلسة جزئياً ذات انقطاعات. في هذه الإعدادات، تصبح تدرجات المسار (PW) القياسية منحازة أو غير مفيدة، مما يضطر الممارسين للعودة إلى طرق SF الأقل كفاءة والتخلي عن المعلومات الهيكلية المتاحة.

التحدي الجوهري هو تطوير إطار عمل لتحسين السياسة يستفيد من سلاسة المكونات المستمرة عبر الانتشار العكسي، مع التعامل بشكل صحيح مع القرارات المنفصلة والانقطاعات دون إدخال انحياز.

المنهجية: تحسين السياسة الهجين (HPO)

يقترح المؤلفون تحسين السياسة الهجين (HPO)، وهو إطار عمل مصمم لـ عمليات ماركوف لاتخاذ القرار الخارجية (exogenous MDPs) حيث يمتلك المحاكي وصولاً إلى التحقق الكامل من العشوائية الخارجية (مثل الطلب، الطقس) أثناء التدريب، مما يسمح بتقييم السياسة المقابل للواقع (counterfactual policy evaluation) على نفس المسار.

1. تمثيل السياسة

يتم تحليل السياسة $\pi$ إلى مكونين:

• المكون المنفصل ($\pi^X_\phi$): سياسة عشوائية تختار إجراءً منفصلاً $x_t$ (مثل نظام أو نمط) من مجموعة منتهية $\mathcal{X}$.
• المكون المستمر ($\pi^B_\kappa$): متحكم حتمي يخرج إجراءً مستمراً مرشحاً $b_t$ لكل إجراء منفصل ممكن $j \in \mathcal{X}$. الإجراء المنفذ هو $b_t = \pi^B_\kappa(s_t)[x_t]$.

هذا الهيكل "البرجي" (towered structure) يسمح للمتحكم المستمر بأن يكون سلساً بالنسبة لمعاملاته $\kappa$، بشرط الإجراء المنفصل.

2. مُقدِّر التدرج المختلط

المساهمة النظرية المركزية هي مُقدِّر تدرج مختلط غير منحاز يجمع بين حدود المسار (PW) ودالة الدرجة (SF). بالنسبة لسياسة معلمتها $\theta = (\phi, \kappa)$، فإن التدرجات هي:

• التدرج المنفصل ($\nabla_\phi J$): يُحسب باستخدام مُقدِّر SF القياسي:
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• التدرج المستمر ($\nabla_\kappa J$): يُحسب كمجموع لـ حد المسار (PW) و الحد المتقاطع (Cross term):
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{حد تدرج المسار (PW)}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{الحد المتقاطع (Cross term)}}$$

الآلية الرئيسية:

• حد المسار (PW term): يقوم بعملية الانتشار العكسي عبر المحاكي للإجراءات المستمرة، مع تثبيت الإجراءات المنفصلة. هذا يعزل التأثير المباشر للإجراءات المستمرة على التكاليف، مما يحسن تخصيص الائتمان بشكل كبير.
• الحد المتقاطع (Cross term): يلتقط كيف تغير المعاملات المستمرة $\kappa$ مسار الحالة $s_t(\kappa)$، والذي بدوره يغير توزيع الاحتمالات للسياسة المنفصلة $\pi^X_\phi$.
• يتم تنفيذ المُقدِّر باستخدام عمليات stop_grad (detach) في أطر التفاضل التلقائي (مثل PyTorch) لضمان معاملة العينة المنفصلة كقيمة ثابتة لحد المسار (PW)، بينما يحتفظ الحد المتقاطع بالتبعية اللوغاريتمية للاحتمالية المنفصلة تجاه الحالة.

3. التعامل مع الانقطاعات

توضح الورقة أن المشكلات ذات الإجراءات المنفصلة (Piecewise-Smooth MDPs) يمكن إعادة صياغتها كـ MDPs هجينة. من خلال إدخال إجراء منفصل لاختيار "المنطقة السلسة" من فضاء العمل وتحديد إجراء مستمر لتحديد التحكم داخل تلك المنطقة، يحافظ الإطار على عدم الانحياز مع استغلال السلاسة المحلية.

المساهمات الرئيسية

1. إطار عمل HPO: إطار عمل لتحسين السياسة في فضاءات العمل الهجينة (المنفصلة-المستمرة) يقدم مُقدِّر تدرج مختلط غير منحاز. إنه يستفيد من تدرجات المسار (PW) حيثما سمحت بنية المشكلة بذلك، متجنباً هشاشة طرق PW الصرفة والتباين العالي لطرق SF الصرفة.
2. التوصيف النظري للحد المتقاطع: يثبت المؤلفون أن الحد المتقاطع يتلاشى عندما تقترب السياسة المنفصلة من الاستجابة المثلى (best response) (النظرية 2). تحديداً، يتم حصر مقدار الحد المتقاطع بمدى عدم المثالية للسياسة المنفصلة ($\epsilon$) وحساسية الحالة للمعاملات المستمرة. تشير هذه النتيجة إلى أنه بالقرب من المثالية، يضعف الارتباط بين المكونات المنفصلة والمستمرة، مما يسمح بتحديثات لا مركزية تقريبية.
3. التحقق التجريبي: تُظهر التجارب المكثفة على مشكلات إعادة التزويد المشترك (JRP) و المتحكمات الخطية التربيعية المبدلة (S-LQR) أن HPO يتفوق بشكل كبير على PPO، خاصة مع زيادة أبعاد العمل المستمر.
   • التوسع (Scaling): تتسع فجوة الأداء لـ HPO مقارنة بـ PPO بشكل ملحوظ مع زيادة بُعد العمل المستمر ($p$). على سبيل المثال، في S-LQR، يفشل PPO في التقارب عندما $p > 24$، بينما يتقارب HPO بشكل موثوق حتى $p=48$.
   • جودة التدرج: يظهر تحليل أن المُقدِّر المختلط يحافظ على محاذاة عالية وخطأ جذر متوسط المربع (RMSE) منخفض في الأبعاد العالية، بينما تنهار مُقدِّرات SF الصرفة (المستخدمة في PPO) لتصل إلى محاذاة تقترب من الصفر مع نمو الأبعاد.
4. استراتيجية تقليل التباين: توضح الورقة أن إسقاط الحد المتقاطع (HPONoCross) يمكن أن يكون مفيداً بالقرب من المثالية. بما أن توقع الحد المتقاطع يتلاشى بينما يزداد تباينه مع تحسن السياسة المنفصلة، فإن إزالته تقلل الضجيج دون إدخال انحياز كبير في المراحل النهائية من التدريب.

النتائج والأهمية

تدعي الورقة أن HPO يمثل خطوة مهمة نحو تطبيق طرق تدرج السياسة على المشكلات الواقعية واسعة النطاق حيث تتوفر محاكيات قابلة للتفاضل ولكن القرارات المنفصلة قد حدت تاريخياً من وصول طرق المسار (pathwise methods).

• الأداء: في اختبارات JRP و S-LQR، يحقق HPO باستمرار خسائر اختبار أقل ويتطلب تحديثات سياسة أقل للوصول إلى فجوات الأداء المستهدفة مقارنة بـ PPO. وتكون الميزة أكثر وضوحاً في الفضاءات المستمرة عالية الأبعاد ($p \ge 40$).
• كفاءة التدرج: يوفر التدرج المختلط إشارة أفضل بكثير من تدرجات SF الصرفة. في الأبعاد العالية، تنخفض محاذاة مُقدِّر SF مع اتجاه التدرج الحقيقي إلى ما يقرب من الصفر، بينما يحافظ المُقدِّر المختلط على محاذاة فوق 0.8.
• إمكانية اللامركزية: تشير النتيجة النظرية المتعلقة بتلاشي الحد المتقطع إلى مسار نحو التدريب شبه اللامركزي، حيث يمكن تحسين المكونات المنفصلة والمستمرة بشكل منفصل بمجرد اقتراب السياسة المنفصلة من الاستجابة المثلى.

يضع المؤلفون هذا العمل كجسر بين التعلم الخالي من النموذج (model-free RL) والمحاكاة القابلة للتفاضل، مما يوسع نطاق تطبيق الأخيرة لتشمل فضاءات العمل الهجينة دون التضحية بعدم الانحياز المطلوب للتقارب.