COOPO: Cyclic Offline-Online Policy Optimization Algorithm

ملخص تقني لـ COOPO: تحسين السياسة الدوري بين الأوفلاين والأونلاين

بيان المشكلة
تواجه التعلم التعزيزي (RL) مقايضة جوهرية بين كفاءة البيانات والأداء. تتطلب أساليب التعلم عبر الإنترنت (Online RL) الصرفة (مثل PPO وSAC) أعداداً باهظة من التفاعلات مع البيئة للتعلم، مما يجعلها غير مناسبة للأنظمة السيبرانية الفيزيائية (CPS) ذات الأهمية الحرجة للسلامة، حيث يكون الاستكشاف مكلفاً أو خطيراً. وفي المقابل، يتعلم التعلم عبر البيانات المسجلة (Offline RL) حصرياً من مجموعات بيانات ثابتة، متجنباً التفاعل عبر الإنترنت، ولكنه يعاني من انزياح التوزيع (Distributional Shift) وعدم مثالية السياسة بسبب عدم القدرة على استكشاف حالات غير مرئية.

تحاول الأساليب الهجينة الحديثة "من الأوفلاين إلى الأونلاين" سد هذه الفجوة من خلال التدريب المسبق على بيانات الأوفلاين ثم الضبط الدقيق عبر الأونلاين. ومع ذلك، تحدد الورقة نمطين حرجين للفشل في الأساليب الهجينة الحالية:

1. النسيان الكارثي (Catastrophic Forgetting): أثناء الضبط الدقيق عبر الأونلاين، غالباً ما تقوم السياسة بمحو المعرفة التي تعلمتها من مجموعة بيانات الأوفلاين، مما يؤدي إلى تدهور كبير في الأداء.
2. انزياح التوزيع (Distributional Shift): يتسبب الانتقال من توزيع الأوفلاين الثابت إلى توزيع الأونلاين الديناميكي في انحراف السياسة نحو مناطق في فضاء الحالة غير مدعومة بالبيانات، مما يؤدي إلى تقديرات غير دقيقة للقيمة وعدم استقرار التعلم.

غالباً ما تفشل الحلول الحالية، مثل مراحل البدء الدافئ (Warm-start) أو مزج البيانات في مخازن إعادة التشغيل (Replay Buffers)، في الحفاظ على الاستقرار طويل الأمد أو لا تقلل بشكل كافٍ من تعقيد العينات في مرحلة الأونلاين.

المنهجية: إطار عمل COOPO
يقترح المؤلفون COOPO (تحسين السياسة الدوري بين الأوفلاين والأونلاين)، وهو إطار عمل موحد يحل هذه المشكلات من خلال التبديل المتكرر بين التدريب المقيد للأوفلاين والضبط الدقيق للأونلاين. وخلافاً للطرق التقليدية التي تقوم بعملية تدريب مسبق واحدة للأوفلاين تليها عملية تكيف للأونلاين، يقوم COOPO بالتداخل بين هذه المراحل في حلقة دورية.

تعمل الآلية الجوهرية كما يلي:

1. الهيكل الدوري: تقوم الخوارزمية بالتبديل بين مرحلة الأوفلاين ومرحلة الأونلاين عبر $K$ من الدورات.
2. مرحلة الأوفلاين (الاستقرار والترسيخ):
   • يتم تحديث السياسة باستخدام خوارزمية AWAC (Actor-Critic المعتمدة على الميزة والموزونة بالميزة) المنظمة بـ KL.
   • تستخدم هذه المرحلة عقوبة تباعد كولباك-ليبلر (KL divergence) صريحة لتقييد السياسة الجديدة ($\pi_{new}$) لتبقى قريبة من السياسة السابقة ($\pi_{old}$) وسياسة السلوك ($\pi_\beta$) الموجودة في مجموعة البيانات.
   • يتم تدريب دالة القيمة (Value Function) صراحة خلال هذه المرحلة لدعم انتقال الأونلاين اللاحق ولتوفير تقدير قوي للميزة، مما يخفف من أخطاء التوزيع خارج النطاق (OOD).
   • والأهم من ذلك، تعمل مرحلة الأوفلاين كـ "مصطلح تصحيحي مستقر"، حيث تعيد ترسيخ السياسة في مجموعة البيانات الثابتة عالية الجودة لمنع الانحراف والنسيان.
3. مرحلة الأونلاين (التكيف والاستكشاف):
   • يتم الضبط الدقيق للسياسة باستخدام خوارزمية On-policy تعتمد على منطقة الثقة (تحديداً PPO في التجارب).
   • للحفاظ على استقرار الناقد (Critic)، يتم تجميد دالة Q التي تم تدريبها خلال مرحلة الأوفلاين أثناء تحديثات PPO للأونلاين. هذا يمنع انزياح القيمة الناتج عن عدم تطابق التوزيع بين حالات الأوفلاين والأونلاين.
   • يتم إبقاء مرحلة الأونلاين قصيرة (عدد قليل من الحلقات/Episodes) لتقليل التفاعلات مع البيئة مع السماح بالاستكشاف الضروري.
4. التآزر: تخلق السلوك الدوري حلقة تغذية راجعة حيث تعمل مراحل الأوفلاين على استقرار السياسة وتصحيح الأخطاء، بينما تقوم مراحل الأونلاين بصقل السياسة باستخدام إشارات العالم الحقيقي. وهذا يسمح باستغلال تكاليف بيانات الأوفلاين عبر دورات متعددة.

المساهمات الرئيسية

1. إطار عمل دوري معمّم: يقدم المؤلفون إطار عمل جديد يتبادل بين تدريب الأوفلاين المنظم بـ KL والضبط الدقيق التكيفي للأونلاين. هذا التصميم يمنع صراحة النسيان الكارثي وانزياح التوزيع من خلال العودة الدورية بالسياسة إلى مجموعة بيانات الأوفلاين.
2. الضمانات النظرية:
   • حد الأداء (Performance Bound): تشتق الورقة حداً لفرق الأداء (النظرية 1) يظهر أن زيادة العائد لكل دورة مضمونة تحت افتراضات تغطية البيانات القياسية.
   • تعقيد العينات (Sample Complexity): يثبت المؤلفون أن COOPO يحقق تعقيد عينات إجمالي قدره $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$. ومن الجدير بالذكر أن تعقيد عينات الأوفلاين مستقل عن حجم مجموعة البيانات $|D|$ بسبب إعادة استخدام البيانات، بينما يتناسب تعقيد عينات الأونلاين مع $H^3$ (حيث $H$ هو الأفق الزمني)، وهو تحسن عن مقياس $H^4$ الخاص بـ PPO الصرف.
   • التقارب (Convergence): تثبت النظرية 2 التقارب الخطي إلى جوار السياسة المثلى.
3. التفوق التجريبي: تُظهر التجارب المكثفة على معايير D4RL (مثل HalfCheetah وHopper وWalker2D) أن COOPO يتفوق على أساليب الأوفلاين المتطورة (مثل IQL وCQL) ونماذج الهجين ذات الخطوة الواحدة (مثل Cal-QL وUni-O4) من حيث العائد النهائي وكفاءة العينات.

النتائج

• الأداء: حقق COOPO أعلى أداء في 7 من أصل 9 مهام في D4RL، متفوقاً على طرق الأوفلاين الصرفة والنهج الهجين ذي الخطوة الواحدة. على سبيل المثال، في مهمة halfcheetah-medium-expert حقق COOPO عائداً قدره 9242.2، متفوقاً على أفضل نموذج أساسي تالٍ (Uni-O4 عند 8859.3).
• كفاءة العينات: قلل COOPO بشكل كبير من عدد تفاعلات بيئة الأونلاين المطلوبة للوصول إلى أداء عالٍ مقارنة بـ PPO الصرف. تؤكد التحليلات النظرية والنتائج التجريبية (الشكل 7) أن COOPO يقلل من تفاعلات الأونلاين بمعامل ثابت.
• الاستقرار: أظهرت البنية الدورية أداءً تقاربياً قوياً، متجنبة الثبات المبكر الذي شهدته أساليب مثل AWAC وIQL. وأظهرت دراسات الاستئصال (Ablation studies) أن موازنة حقب الأوفلاين ($E$) وحلقات الأونلاين ($T$) أمر بالغ الأهمية؛ وتحديداً، فإن التركيز على تدريب الأوفلاين في المراحل المبكرة والضبط الدقيق للأونلاين في المراحل اللاحقة يحقق أفضل النتائج.
• الحساسية للمعلمات الفائقة (Hyperparameter Sensitivity): وُجد أن معامل KL ($\lambda$) يتحكم في المقايضة بين سرعة التقارب وتحفظ التحديث. وفر معامل $\lambda$ متوسط (مثلاً 3) أفضل توازن بين سرعة التقارب وانخفاض التباين.

الأهمية والادعاءات
تدعي الورقة أن COOPO يضع نموذجاً جديداً لـ التعلم التكيفي عالي كفاءة العينات والمستقر، خاصة للأنظمة السيبرانية الفيزيائية ذات الأهمية الحرجة للسلامة. من خلال صياغة "تآزر دوري"، يحول هذا الأسلوب قيود التعلم عبر الأوفلاين (قيود التغطية) والتعلم عبر الأونلاين (عدم كفاءة العينات) إلى نقاط قوة متكاملة.

يؤكد المؤلفون أن COOPO يوفر أساساً مبدئياً للنشر الموثوق في التطبيقات الواقعية حيث يكون الاستكشاف واسع النطاق غير ممكن. يوفر إطار العمل ضمانات نظرية حول تحسين الأداء وتفاعل الأونلاين المحدود، مما يعالج الحاجة الماسة لخوارزميات تظل مستقرة تحت انزياحات التوزيع والاضطرابات العدائية. يشير العمل إلى أن هذا التآزر الدوري يقلل بفعالية من النسيان الكارثي وانزياح التوزيع، مما يقدم حلاً قوياً للتحكم التكيفي في البيئات ذات البيانات المحدودة والديناميكيات غير المؤكدة.