Adapting Critic Match Loss Landscape Visualization to Off-policy Reinforcement Learning

1. بيان المشكلة

غالبًا ما تُعامل خوارزميات التعلم التعزيزي (RL)، ولا سيما طرق "الممثل-الناقد" (Actor-Critic)، كصناديق سوداء، مما يجعل من الصعب تفسير ديناميكيات التحسين الداخلية الخاصة بها وتشخيص عدم استقرار التدريب. وبينما تم تطبيق تصوير مشهد الخسارة (loss landscape visualization) بنجاح على التعلم التعزيزي "المباشر" (online RL) (حيث تُجمع البيانات خطوة بخوة وتُحدث الأهداف فورًا)، إلا أنه لا يمكن تطبيقه مباشرة على التعلم التعزيزي "خارج السياسة" (off-policy RL) (مثل خوارزمية Soft Actor-Critic، SAC).

يفرض التعلم التعزيزي خارج السياسة تعقيدين هيكليين يكسران طرق التصوير القياسية:

1. تدفق البيانات القائم على إعادة التشغيل (Replay-based Data Flow): تحدث التحديثات على دفعات صغيرة (mini-batches) يتم سحبها من مخزن إعادة التشغيل (replay buffer) بدلاً من التفاعلات الفورية لكل خطوة.
2. حساب الأهداف (Target Computation): تعتمد قيم الأهداف (Bellman targets) على شبكات أهداف متأخرة، وهياكل "الناقد المزدوج" (twin-critic)، وتنظيم الإنتروبيا، مما يجعل دالة الخسارة غير مستقرة (non-stationary) وتعتمد على حالات السياسة المستقبلية.

تتمثل المشكلة الجوهرية في الافتقار إلى أداة تشخيص هندسية لتصور وتحليل مشهد تحسين الناقد في بيئات خارج السياسة، وهو أمر بالغ الأهمية لفهم سبب تقارب خوارزميات معينة بينما تتباعد أخرى.

2. المنهجية

يقترح المؤلفون تكييف طريقة تصوير مشهد خسارة مطابقة الناقد (Critic Match Loss Landscape) لتناسب خوارزمية Soft Actor-Critic (SAC). تتضمن المنهجية ثلاثة مكونات رئيسية:

أ. تكييف إطار التصوير

لسد الفجوة بين التعلم التعزيزي المباشر وخارج السياسة، قام المؤلفون بتعديل إجراء التصوير في مجالين رئيسيين:

1. تكييف تدفق البيانات:
   • بدلاً من استخدام عينات مباشرة متطورة باستمرار، يتم سحب دفعة ثابتة من بيانات إعادة التشغيل من المخزن.
   • يتم تسجيل أوزان الناقد وفقًا لتردد خطوات تحديث الشبكة العصبية (بدلاً من حدود الحلقة/episode) لالتقاط التغيرات السريعة في المعلمات المتأصلة في التدريب خارج السياسة.
2. تكييد حساب الخسارة:
   • الأهداف المجمدة: لإنشاء سطح خسارة ثابت، يتم حساب قيم أهداف بلمان ($y_t$) مسبقًا وتثبيتها بناءً على السياسة النهائية. هذا يلغي الغموض الناتج عن إعادة حساب الأهداف لكل نقطة معلمة مضطربة.
   • التعامل مع الناقد المزدوج: يركز التصوير على شبكة ناقد أساسية واحدة، حيث يتشارك كلا الناقدين في نفس صيغة الخسارة وتعريف الهدف.
   • تجميد المكونات المساعدة: يتم تجميد شبكة الممثل (actor network) ومعامل درجة الحرارة ($\alpha$) لعزل هندسة الخسارة المحلية للناقد.

ب. بناء المشهد

• تقليل الأبعاد: يتم إسقاط أوزان الناقد عالية الأبعاد المسجلة أثناء التدريب على مستوًى ثنائي الأبعاد باستخدام تحليل المكونات الرئيسية (PCA). تعمل المكونات الرئيسية الثنائية ($\delta, \eta$) كمحاور للمشهد.
• تقييم الخسارة: لكل مجموعة من النقاط $(\alpha, \beta)$ على هذا المستوى، يتم اضطراب معلمات الناقد ($w' = w + \alpha\delta + \beta\eta$)، ويتم تقييم خسارة مطابقة الناقد باستخدام دفعة إعادة التشغيل الثابتة والأهداف المجمدة.
• التصوير: ينتج عن ذلك سطح خسارة ثلاثي الأبعاد مع مسار تحسين ثنائي الأبعاد متراكب، يوضح مسار معلمات الناقد بالنسبة لهندسة الخسارة.

ج. المقاييس الكمية

للانتقال إلى ما وراء الملاحظة النوعية، تم تحديد ثلاثة مقاييس:

1. الحدة ($Sharp_\epsilon$): تقيس أسوأ حالة لحساسية الخسارة للاضطرابات ضمن نصف قطر $\epsilon$. تشير الحدة العالية إلى حل محدد جيدًا ولكنه قد يكون هشًا؛ بينما تشير الحدة المنخفضة إلى منطقة مسطحة وغير مستقرة محتملًا.
2. مساحة الحوض ($A_\rho$): مساحة المنطقة التي تظل فيها الخسارة المعيارية تحت عتبة $\rho$. تشير المساحة الكبيرة للحوض إلى المتانة تجاه اضطرابات المعلمات.
3. تباين الخواص المحلي ($\log \kappa$): لوغاريتم عدد الحالة (condition number) لمصفوفة هسيان (Hessian matrix). يشير تباين الخواص العالي إلى وادٍ سيئ التكييف (منحدر بشدة في اتجاه واحد، ومسطح في اتجاه آخر)، مما يؤدي غالبًا إلى بطء التقارب أو عدم الاستقرار.

3. المساهمات الرئيسية

1. التكيف المنهجي: نجح في تمديد تصوير مشهد خسارة مطابقة الناقد من التعلم التعزيزي المباشر إلى خارج السياسة من خلال معالجة مخازن إعادة التشغيل وتأخيرات شبكة الهدف.
2. أداة تشخيص هندسية: وضع إطارًا لتصور هدف البديل "ثابت الأهداف"، مما يسمح بتحليل ديناميكيات تحسين الناقد بشكل مستقل عن عملية التدريب غير المستقرة.
3. التحليل المقارن: قدم تفسيرًا هندسيًا للاختلافات بين SAC (خارج السياسة) و ADHDP (مباشر)، وبين نتائج التدريب المتقاربة و المتباعدة.
4. اللقطات الزمنية: قدم طريقة لتصوير تطور مشهد الخسارة بمرور الوقت، مما يكشف كيف تتحول أو تتجزأ مسارات التحسين أثناء التدريب.

4. النتائج

تم التحقق من صحة الطريقة في مهمتين للتحكم: التحكم في وضعية المركبة الفضائية (Spacecraft Attitude Control) ومعيار Cart-Pole.

أ. SAC المتقاربة مقابل ADHDP المتباعدة (المركبة الفضائية)

• SAC (المتقاربة): أظهرت حوضًا مقعرًا، واسعًا، وناعمًا مع وادٍ واحد. كان مسار التحسين مستمرًا وتقارب نحو منطقة منخفضة الخسارة ومستقرة.
  • المقاييس: مساحة حوض كبيرة ($A_\rho \approx 1252$)، تباين خواص متوسط ($\log \kappa \approx 3.7$).
• ADHDP (المتباعدة): أظهرت انحناءً حادًا، وخطوط كنتور غير منتظمة، ولا يوجد حوض مغلق. تأرجح مسار التحسين في مساحة معلمات ضيقة ومقيدة.
  • المقاييس: حوض غير موجود، تباين خواص عالٍ ($\log \kappa \approx 10.4$).
• الاستنتاج: ترتبط الهندسة الناعمة لـ SAC باستقرارها، بينما تعكس الهندسة الوعرة وعالية التباين لـ ADHDP الحساسية للضوضاء وتحديثات الأهداف غير المستقرة.

ب. حالات تباعد SAC (المركبة الفضائية)

حلل المؤلفون نوعين من تباعد SAC لإظهار أن الاستقرار الهندسي لا يضمن دائمًا نجاح التحكم:

1. المعلمات المتباعدة (الهروب/Runaway): نمت أوزان الناقد بلا حدود. أظهر المشهد تباين خواص قويًا (فعليًا أحادي البعد)، حيث تم دفع المسار على طول اتجاه مهيمن واحد (حافة) بدلاً من الدخول في حوض.
2. المعلمات المتقاربة (الانقطاع/Discontinuous): بدت أوزان الناقد وكأنها تتقارب، لكن التحكم فشل. أظهر المشهد سطحًا ناعمًا، ولكن مسار التحسين كان مجزأً، حيث قفز بين مجموعات منفصلة. كشف هذا أن الفشل كان بسبب تحولات الأنظمة المنقطعة في مسار التحسين، وليس بسبب شكل سطح الخسارة نفسه.

ج. التحقق من Cart-Pole

تم تطبيق الطريقة بنجاح على نظام Cart-Pole، مما أعطى نتائج متسقة مع حالة المركبة الفضائية: أنتجت SAC المتقاربة حوضًا ناعمًا ومحددًا جيدًا، مما يؤكد قابلية الطريقة للتعميم عبر الأنظمة الديناميكية المختلفة.

5. الأهمية

• القوة التشخيصية: يعمل الإطار كـ أداة تشخيص هندسية قوية. يمكنه اكتشاف آليات عدم الاستقرار (مثل الهروب الاتجاهي، أو تجزؤ المسار) التي لا تظهر في منحنيات التدريب القياسية (رسوم الخسارة/المكافأة).
• الرؤية الخوارزمية: يوضح لماذا تعتبر الخوارزميات خارج السياسة مثل SAC أكثر متانة عمومًا من الطرق المباشرة مثل ADHDP، ويعزو ذلك إلى تكوين أحواض خسارة أكثر نعومة واتساعًا بفضل مخازن إعادة التشغيل وتنعيم الأهداف.
• القيود والنطاق: يوضح المؤلفون أن التصوير يمثل هدفًا بديلًا ثابتًا (أهداف مجمدة). وبينما يكشف عن الخصائص الهيكلية للناقد، فإنه لا يعيد بناء الهدف الكامل غير المستقر تمامًا. لذلك، فإن المشهد المستقر لا يضمن نجاح التحكم في الحلقة المغلقة إذا أدى اقتران الممثل-الناقد إلى عدم استقرارات أخرى.
• التأثير المستقبلي: يوفر هذا العمل نهجًا معياريًا للباحثين لتصور وتفسير الديناميكيات الداخلية لخوارزميات التعلم التعزيزي الحديثة خارج السياسة، مما يساعد في ضبط المعلمات الفائقة وتطوير سياسات تحكم أكثر استقرارًا.