ملخص تقني: التعلم المعزز المقيد غير المتصل تحت تغطية جزئية للبيانات

بيان المشكلة

تتناول الورقة البحثية مسألة التعلم المعزز المقيد غير المتصل (Offline Constrained Reinforcement Learning) ضمن إطار عمليات ماركوف لاتخاذ القرار المقيدة (CMDTs) ذات الخصم. الهدف هو تعلم سياسة من مجموعة بيانات ثابتة وغير متصلة، تعمل على تعظيم إشارة مكافأة أساسية مع تلبية عدة قيود مساعدة تتعلق بالسلامة أو الموارد.

يتمثل التحدي المركزي في هذا الإعداد في التغطية الجزئية للبيانات. يتطلب التحسين الموثوق عادةً أن تغطي مجموعة البيانات التوزيعات المكانية (occupancy) للحالات والأفعال للسياسات التي يتم تقييمها. وفي التعلم المعزز غير المتصل غير المقيد، أظهرت طرق "الممثل-الناقد" (actor-critic) المتشائمة نجاحاً في ظل عدم كفاية التغطية. ومع ذلك، في الإعداد المقيد، تواجه الطرق الثنائية-الأولية (primal-dual) عائقاً محدداً: يتطلب تحديث المضاعفات الثنائية تقدير انتهاكات القيود للسياسات الوسيطة. وتحت التغطية الجزئية، قد لا تكون هذه السياسات الوسيطة مدعومة بمجموعة البيانات، مما يجعل التحديثات الثنائية غير موثوقة ويعيد فعلياً فرض متطلبات تغطية قوية.

علاوة على ذلك، تعتمد الطرق الموجودة غالباً على خطوات استخراج السياسة (policy extraction) التي تتطلب معرفة بتوزيع توليد البيانات ($\mu_D$) أو سياسة مرجعية، وهو أمر غير عملي في السيناريوهات الواقعية.

المنهجية: PDOCRL

يقترح المؤلفون خوارزمية PDOCRL (التعلم المعزز المقيد ذو الكفاءة الأوراكلية والبرايمال-دوال)، وهي خوارزمية مصممة لتكون كفؤة أوراكلياً (oracle-efficient)، وكفؤة من حيث العينات تحت التغطية الجزئية، ومستقلة عن توزيع توليد البيانات.

1. صياغة البرمجة الخطية المفككة

تقوم صياغات البرمجة الخطية (LP) القياسية لعمليات CMDP بالتحسين عبر مقاييس التواجد ($\mu$). وتتطلب عملية استعادة سياسة من $\mu$ عادةً التطبيع باستخدام توزيع البيانات $\mu_D$، وهو أمر مجهول. ولتجاوز ذلك، يستخدم المؤلفون تفكيك لاغرانج (Lagrangian decomposition):

• استخدَموا متغير نسخة $\nu$ لمقياس التواجد $\mu$.
• فصلوا الأدوار: يُستخدم $\mu$ لتقدير لاغرانج (عبر تغيير المقياس إلى توزيع البيانات)، بينما يُستخدم $\nu$ لاستخراج السياسة.
• والأهم من ذلك، أعادوا تمثيل $\nu$ بدلالة مقياس التواجد $\mu$ والسياسة $\pi$ مباشرة: $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$.
• هذا يجعل السياسة $\pi$ متغيراً صريحاً للتحسين، مما يلغي الحاجة إلى خطوة منفصلة لاستخراج السياسة تعتمد على $\mu_D$.

2. التعامل مع نقاط السرج الزائفة (Spurious Saddle Points)

حدد المؤلفون أن صياغات نقطة السرج المقيدة باستخدام التقريب الوظيفي العام يمكن أن تسمح بوجود نقاط سرج زائفة. حتى لو كانت فئات الدوال تحتوي على السياسة المثلى، ومقياس التواجد الخاص بها، ودوال القيمة المثلى للأفعال، فإن نقطة السرج في لاغرانج المقيد قد لا تتوافق مع سياسة مثلى.

ولحل هذه المشكلة، فرضوا شرطين رئيسيين:

• شرط سلايتر (Slater's Condition - الافتراض B): يضمن وجود سياسة قابلة للتنفيذ تحقق القيود مع هامش إيجابي $\phi$. وهذا يضع حداً للمتغيرات الثنائية المثلى.
• تحقق دالة القيمة لجميع السياسات (All-Policy Value Function Realizability - الافتراض C): وهو شرط تحقق قوي يتطلب أنه لكل سياسة $\pi$ في الفئة، تكون دوال القيمة $Q^\pi_0$ و $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$ موجودة ضمن فئة الدوال $\mathcal{Q}$. هذا الشرط أقوى من تحقق السياسة الواحدة ولكنه ضروري لاستبعاد نقاط السرج الزائفة في الصياغة المفككة.

3. خوارزمية الثنائي-الأولي الكفؤة أوراكلياً

تحل PDOCRL مشكلة السرج التجريبية باستخدام أوراكل قياسية، متجنبة التحسين (min-max) المستعصي:

• اللاعبون الأوليون (Primal Players):
  • نسبة الكثافة ($w$): تستخدم أوراكل تحسين خطي عبر الإنترنت ($\mathcal{O}_{LOW}$) خالية من الندم فوق فئة الدوال $\mathcal{W}$.
  • السياسة ($\pi$): تستخدم أوراكل تحسين سياسة خالية من الندم ($\mathcal{P}_{O\Pi,\mathcal{Q}}$) فوق فئة السياسات $\Pi$.
• اللاعبون الثنائيون (Dual Players):
  • دالة Q ($Q$): تستخدم أوراكل تقليل خطي ($\mathcal{LMO}_{\mathcal{Q}}$) فوق $\mathcal{Q}$.
  • مضاعفات لاغرانج ($\lambda$): تستخدم أوراكل تقليل خطي ($\mathcal{LMO}_{B\Delta_I}$) فوق الحد الثنائي.

تكرر الخوارزمية $T$ من المرات، وتحدث هذه المتغيرات وتعيد سياسة يتم أخذ عينة منها بشكل موحد من التسلسل $\pi_1, \dots, \pi_T$.

المساهمات الرئيسية

1. تصميم الخوارزمية: تعد PDOCRL أول طريقة تحقق في آن واحد ضمانات التغطية الجزئية، والكفاءة الأوراكلية، والاستقلال عن توزيع توليد البيانات ($\mu_D$) في التعلم المعزز المقيد غير المتصل مع التقريب الوظيفي العام.
2. الرؤية النظرية لنقاط السرج: توضح الورقة أن صياغات السرج المقيدة الساذجة يمكن أن تفشل بسبب نقاط السرج الزائفة، وتحدد شرط تحقق جميع السياسات الأقوى الذي يجعل كل نقطة سرج مقيدة هي النقطة المثلى.
3. تقنية التفكيك: من خلال إعادة تمثيل مقياس التواجد لجعل السياسة متغيراً صريحاً، تتجنب الطريقة الهشاشة الإحصائية لاستخراج السياسات من نسب الكثافة عندما يكون $\mu_D$ مجهولاً.
4. التعقيد العيني (Sample Complexity): تحت الافتراضات المذكورة، تعيد PDOCRL سياسة قريبة من المثالية وقريبة من القابلية للتنفيذ بتعقيد عيني قدره $\tilde{O}(\epsilon^{-2})$.

النتائج التجريبية

قيم المؤلفون PDOCRL على معيار BulletGym باستخدام مجموعات بيانات من حزمة DSRL.

• النماذج المرجعية (Baselines): تمت المقارنة مع BC-All، وBC-Safe، وCDT، وBCQ-Lag، وBEAR-Lag، وCPQ، وCOptiDICE.
• الأداء: كانت PDOCRL هي الخوارزمية الوحيدة التي حققت باستمرار القيود المتعلقة بالسلامة (التكلفة المعيارية $\le 1$) عبر جميع المهام مع الحفاظ على أداء تنافسي في المكافأة.
• دراسة الاستئصال (Ablation Study): أظهر متغير من PDOCRL يعود إلى خطوة استخراج السياسة القياسية (التي تتطلب معرفة $\mu_D$) أداءً أسوأ بكثير، مما يؤكد أن إعادة التمثيل المقترحة حاسمة للأداء في الإعداد غير المتصل.

الأهمية والادعاءات

تدعي الورقة أن PDOCRL تعالج فجوة جوهرية في التعلم المعزز المقيد غير المتصل: المقايضة بين متطلبات التغطية، والكفاءة الحسابية، والحاجة إلى معرفة توزيع البيانات.

• بخلاف طرق الممثل-الناقد السابقة (مثل PDCA، WSAC) التي تتطلب تغطية كاملة أو تحسيناً مستعصياً، تعمل PDOCRL تحت تغطية جزئية مع كفاءة أوراكلية.
• بخلاف طرق نسبة الكثافة (مثل COptiDICE، POCC) التي تعتمد على $\mu_D$ لاستخراج السياسة، تقوم PDOCRL بتحسين السياسة مباشرة.
• يسلط العمل الضوء على أنه بينما تتطلب افتراضات التحقق القوية (جميع السياسات) لضمان المثالية في وجود نقاط سرج زائفة، إلا أن هذا يعد ثمناً نظرياً ضرورياً لتحقيق الكفاءة الأوراكلية وتجنب الافتراضات التوزيعية في إعداد التقريب الوظيفي العام.

يخلص المؤلفون إلى أن PDOCRL توفر إطاراً فعالاً ومثبتاً للتعلم غير المتصل الآمن، رغم إشارتهم إلى أن تخفيف شرط تحقق جميع السياسات نحو تحقق السياسة الواحدة يظل مجالاً للعمل المستقبلي.