ملخص تقني: أخذ عينات السياسة التالية التقريبية (ANPS)

بيان المشكلة

تواجه خوارزميات التعلم المعزز العميق (RL) مشكلة "البيضة والدجاجة" الجوهرية أثناء تحسين السياسة. لكي يتم تحسين السياسة بأمان، يجب أن تكون دالة القيمة دقيقة على توزيع زيارة الحالة الخاص بالسياسة (التالية/المحدثة). ومع ذلك، فإن هذا التوزيع غير معروف أثناء التدريب.

تعالج النهج القياسية، مثل "تكرار السياسة المحافظ" (CPI)، و"تحسين منطقة الثقة للسياسة" (TRPO)، و"تحسين السياسة القريبة" (PPO)، هذا الأمر من خلال تقييد تحديث السياسة ليبقى صغيراً. يضمن هذا بقاء توزيع السياسة الجديدة قريباً من السياسة الحالية، حيث يُفترض أن دالة القيمة موثوقة. وبينما يمنع هذا حدوث هبوط كارثي في الأداء، فإنه يحد بطبيعته من حجم تحديثات السياسة، مما يؤدي غالباً إلى بطء التقارب وعدم كفاءة استخدام البيانات. تجادل الورقة بأن هذه الطرق المحافظة تعمل على تقليص تحديث السياسة ليتناسب مع البيانات، بدلاً من تكييف البيانات لتتناسب مع السياسة المحتملة.

المنهجية: أخذ عينات السياسة التالية التقريبية (ANPS)

تقترح الورقة أخذ عينات السياسة التالية التقريبية (ANPS) كنموذج بديل. بدلاً من تقييد السياسة المستهدفة لتبقى قريبة من السياسة الحالية، يقوم ANPS بنقل عملية جمع بيانات التدريب لتتماشى مع توزيع زيارة الحالة المتوقع للسياسة التالية.

لتنفيذ ANPS، قدم المؤلفون تكرار السياسة التقريبي ذو القيمة المستقرة (SV-API)، وهو إطار عمل يفصل بين السياسة المستهدفة ($\pi$) والسياسة السلوكية ($\beta$).

• السياسة المستهدفة ($\pi_k$): تظل ثابتة لعدة تكرارات. وهي تحدد هدف القيمة ($Q^{\pi_k}$) والهدف النهائي للتحديث.
• السياسة السلوكية ($\beta_k$): سياسة يتم تحديثها بشكل تكراري وهي مسؤولة عن جمع البيانات. يتم صقلها لاستكشاف الحالات ذات الصلة بالسياسة المستهدفة الثابتة ولجعل توزيعها يتوافق مع السياسة المستهدفة المستقبلية.
• بوابة الاستقرار (Stability Gating): لا تلتزم الخوارزمية بتحديث السياسة المستهدفة ($\pi_{k+1} \leftarrow \beta_{k+1}$) إلا بمجرد استيفاء معيار الاستقرار $C$. يراقب هذا المعيار تقارب تقديرات القيمة والسياسة السلوكية.

المنطق الأساسي هو أنه من خلال تثبيت السياسة المستهدفة، يمكن للسياسة السلوكية استكشاف وجمع البيانات بأمان لتقدير $Q^{\pi_k}$ بدقة. وبمجرد استقرار تقديرات القيمة وتوافق السياسة السلوكية مع السياسة المستهدفة، يتم تنفيذ "قفزة" كبيرة وغير مقيدة للسياسة الجديدة.

الإطار النظري

اشتق الورقة حدوداً نظرية لتبرير هذا النهج:

1. المبرهنة 3.3: تضع حداً لتحسين السياسة يتضمن صراحة خطأ قيمة-الإجراء الموزون على توزيع السياسة (التالية/المستقبلية) ($\epsilon(d_{\pi'}, q_\pi)$). وهذا يبرز أن التحسين مضمون إذا كانت دالة القيمة دقيقة على توزيع السياسة التالية، بغض النظر عن حجم قفزة السياسة.
2. التمهيدية 3.5 والنتيجة 3.6: توضح أنه إذا حقق توزيع التدريب "محاذاة السياسة التالية" ($\delta$-NPA) (أي أنه قريب من توزيع السياسة التالية)، فإن الخطأ على السياسة التالية يكون محدوداً بخطأ التدريب مضافاً إليه حد يتناسب مع انزياح التوزيع.
3. المبرهنة 4.3: تثبت أن SV-API يضمن تحسين السياسة إذا استقرت السياسة السلوكية (مما يضمن انزياحاً صغيراً في التوزيع بين $\beta_k$ و$\beta_{k+1}$) وكان خطأ القيمة في توزيع التدريب محدوداً. والأهم من ذلك، تسمما هذه المبرهنة إجراء تحديثات غير مقيدة للسياسة المستهدفة، على عكس الطرق المحافظة التي تقلل من حد التحسين بناءً على حجم الخطوة.

المساهمات الرئيسية

1. أخذ عينات السياسة التالية التقريبية (ANPS): نهج جديد يعمل على محاذاة بيانات التدريب مع توزيع السياسة التالية بدلاً من تقييد حجم تحديث السياسة.
2. الحدود النظرية: حد عام (المبرهنة 3.3) يعزل أهمية توزيع السياسة التالية، وحد محدد (المبرهنة 4.3) يثبت أن SV-API يضمن التحسين من خلال التحكم في خطأ التدريب والتباعد السلوكي، مما يسمح بقفزات سياسة أكبر.
3. إطار عمل SV-API: غلاف عملي (تم تنفيذه كـ SV-PPO) يفصل بين السياسات السلوكية والمستهدفة، مما يسمح للخوارزميات بتثبيت السياسة المستهدفة، وجمع الخبرة ذات الصلة، وتنفيذ تحديثات السياسة الكبيرة بأمان.
4. التحقق التجريبي: إثبات أن SV-PPO يطابق أو يتجاوز أداء PPO في معايير Atari المنفصلة عالية الأبعاد وتحكم Brax المستمر.

النتائج

قيم المؤلفون SV-PPO مقابل PPO القياسي في 16 لعبة Atari و12 مهمة تحكم مستمر من Brax.

• الأداء: طابق SV-PPO أداء PPO أو تجاوزه. في Atari، تفوق المتغير الديناميكي على PPO في 11 من أصل 16 لعبة (بأهمية إحصائية في 6 منها)، وتفوق المتغير الثابت على Pendo في 7 ألعاب. وفي Brax، أظهر المتغير الديناميكي تحسناً وسيطاً بنسبة 1%.
• حجم التحديث: نفذ SV-PPO تحديثات أكبر بكثير للسياسة المستهدفة. جعل المتغير الثابت تحديثات أكبر بنحو 511% (في تباعد KL) من PPO، بينما جعل المتغير الدينامي التحديثات أكبر بنسبة 96% في المتوسط.
• الاستقرار السلوكي: رغم القفزات الكبيرة في السياسة المستهدفة، ظلت تحديثات السياسة السلوكية صغيرة ومقيدة، مما ضمن التحكم في انزياح التوزيع أثناء جمع البيانات.
• دراسة حالة (الغرف الأربع - Four Rooms): في تجربة عالم الشبكة (grid-world)، عانى PPO القياسي من "تقلب القيمة" (value churn) والنسيان الكارثي حول التكرار 80 بسبب التحديثات المبكرة بناءً على تقديرات قيمة غير دقيقة للحالات نادرة الزيارة. أما SV-PPO، ومن خلال تجميد السياسة المستهدفة والسمامح للسياسة السلوكية بجمع بيانات واسعة، فقد نجح في الوصول إلى السياسة المثلى دون هذه الإخفاقات.

الأهمية والادعاءات

تدعي الورقة أن ANPS يقدم بديلاً قابلاً للتطبيق لاستراتيجية تحديث السياسة المحافظة الكلاسيكية. من خلال نقل عبء محاذاة التوزيع من حجم تحديث السياسة إلى عملية جمع البيانات، يسمح ANPS بـ "القفزات الكبيرة" التي تميز تكرار السياسة الكلاسيكي مع الحفاظ على ضمانات السلامة للتعلم المعزز العميق الحديث.

يؤكد المؤلفون أن هذا النهج يحل مشكلة عدم تطابق التوزيع من خلال أخذ عينات نشطة للحالات التي ستزورها السياسة التالية، بدلاً من تجنبها. ويشيرون إلى أنه بينما تعتمد الطريقة على تقييم خارج السياسة (off-policy evaluation) (مما يستدعي سياسة سلوكية منفصلة) وتستخدم مقياساً وسيطاً (استقرار تقديرات القيمة) لتحديد توقيت التحديث، إلا أنها نجحت في إثبات أن تحديثات السياسة الكبيرة يمكن أن تكون آمنة إذا كانت دالة القيمة دقيقة بما يكفي على التوزيع ذي الصلة. يشير العمل إلى أن القيد "المحافظ" على تحديثات السياسة قد يكون نتاجاً لتصميمات خوارزمية حالية وليس مطلباً أساسياً لاستقرار التعلم المعزز.