ملخص تقني: التوزيعات كأفعال: إطار عمل موحد لمساحات أفعال متنوعة

بيان المشكلة

تُصنف خوارزميات التعلم المعزز (RL) تقليديًا حسب ملاءمتها لهياكل مساحة الأفعال. تتفوق الطرق القائمة على القيمة (مثل DQN) في المساحات المنفصلة عبر تعداد قيم الأفعال، بينما صُممت الطرق القائمة على السياسة (مثل DPG وSAC) للمساحات المستمرة، مستفيدة من قابلية الاشتقاق لدوال قيمة الفعل. ومع ذلك، تظل الخوارزميات الحالية مرتبطة ارتباطًا وثيقًا بالهيكل المحدد لمساحة الفعل. إن تصميم خوارزميات موحدة يمكنها التعميم عبر مساحات الأفعال المنفصلة والمستمرة والهجينة أمر صعب لأنها تتطلب غالبًا مقدرات تدرج وبنيات مختلفة لكل مجال. علاوة على ذلك، فإن مقدرات تدرج السياسة الحالية للسياسات العشوائية، مثل طرق نسبة الاحتمالية (LR) وإعادة المعلمة (RP)، غالبًا ما تعاني من تباين عالٍ أو تسبب انحيازًا، لا سيما في الإعدادات المنفصلة.

المنهجية

إطار عمل "التوزيعات كأفعال" (DA)

يقدم البحث صياغة مبتكرة تعيد تعريف الحدود بين الوكيل والبيئة. في إطار العمل الكلاسيكي للتعلم المعزز، تُنتج سياسة الوكيل $\pi_\theta$ فعلًا (أو معاملات توزيع) وتقوم بأخذ عينات من الفعل داخليًا. في إطار عمل التوزيعات كأفعال (DA) المقترح:

1. يُنتج الوكيل معاملات التوزيع $\bar{\pi}_\theta(s)$ (مثل المتوسط والتباين لتوزيع غاوس، أو متجهات الاحتمالية للتوزيع الفئوي) كفعل له.
2. تُعامل عملية أخذ العينات $A \sim f(\cdot|\bar{\pi}_\theta(s))$ كجزء من دالة الانتقال العشوائية للبيئة.

هذا التحول يحول مساحة الفعل الأصلية $\mathcal{A}$ (التي قد تكون منفصلة، مستمرة، أو هجينة) إلى مساحة معاملات توزيع مستمرة $\mathcal{U}$. وبناءً على ذلك، يعمل الوكيل ضمن عملية ماركوف لاتخاذ القرار (DA-MDP) ذات مساحة أفعال مستمرة $\mathcal{U}$، بغض النظر عن الطبيعة الأساسية لـ $\mathcal{A}$.

تدرج سياسة التوزيعات كأفعال (DA-PG)

بناءً على DA-MDP، اشتق المؤلفون مقدر DA-PG. من خلال تطبيق نظرية تدرج السياسة الحتمية (DPG) على مساحة المعاملات المستمرة $\mathcal{U}$، حصلوا على مقدر التدرج:
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
حيث $\bar{Q}_w$ هو الناقد الذي يقدر العائد المتوقع عبر توزيع الفعل المحدد بالمعاملات $U$.

الخصائص النظرية:

• تقليل التباين: يثبت البحث أن DA-PG هو التوقع الشرطي لكل من مقدري LR وRP. ومن خلال قانون التباين الكلي، يؤدي هذا إلى تباين أقل بصرامة من المقدرات الأصلية، بشرما كان التباين المشروط بالفعل أو الناجم عن الضجيج غير صفري.
• التوحيد: عندما يكون التوزيع عبارة عن دالة ديراك دلتا (Dirac delta)، يختزل DA-PG تمامًا إلى مقدر DPG القياسي، مما يجعله تعميمًا صارمًا.

تعلم الناقد بالاستيفاء (ICL)

يتمثل أحد التحديات في إطار عمل DA في أن الناقد $\bar{Q}_w$ يجب أن يتعلم عبر مساحة مدخلات ذات أبعاد أعلى (معاملات التوزيع)، وهو أمر قد يكون صعبًا ويؤدي إلى زيادة الانحياز إذا كان الناقد غير دقيق. لمعالجة ذلك، اقترح المؤلفون تعلم الناقد بالاستيفاء (ICL).

• الآلية: بدلاً من تحديث الناقد فقط عند معاملات التوزيع المأخوذة $U_t$، يستخدم ICL الفعل الملحوظ $A_t$ لاستنتاج أن الانتقال كان يمكن أن يتم توليده بواسطة معاملات توزيع أخرى.
• التنفيذ: يتم تحديث الناقد عند نقطة مستوفاة $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$، حيث تمثل $U_{A_t}$ المعاملات الحتمية المقابلة للفعل الملحوظ $A_t$، و $\omega_t \sim \text{Uniform}[0, 1]$.
• الهدف: يشجع هذا الناقد على تعلم مشهد قيم أكثر سلاسة مع انحناء معلوماتي، مما يسهل تحسين السياسة في مساحة المعاملات.

خوارزمية DA-AC

قام المؤلفون بتنفيذ خوارزمية تعلم معزز عميق عملية، وهي التعلم من الممثل والناقد باستخدام التوزيعات كأفعال (DA-AC)، بناءً على بنية TD3. تدمج DA-AC مقدر DA-PG للممثل وتحديث ICL للناقد، مما يسمح لخوارزمية واحدة بالتعامل مع مساحات أفعال متنوعة.

المساهمات الرئيسية

1. إطار عمل موحد: إعادة صياغة لمشكلة التعلم المعزز تعامل معاملات التوزيع كأفعال، مما يوحد التحكم المنفصل والمستمر والهجين تحت خوارزمية واحدة ذات أفعال مستمرة.
2. مقدر DA-PG: مقدر تدرج سياسة معمّم يتميز بتباين أقل بصرامة من مقدرات LR وRP القياسية، وقابل للتطبيق على أي نوع من مساحات الأفعال.
3. استراتيجية ICL: تقنية بسيطة وفعالة لتحسين تعلم الناقد في إطار عمل DA من خلال الاستفادة من التحديثات خارج التوزيع عبر الاستيفاء.
4. التحقق التجريبي: تقييم شامل يظهر أن DA-AC يحقق أداءً تنافسيًا أو متفوقًا عبر اختبارات التحكم المستمر والمنفصل والهجين مقارنة بالنماذج المرجعية المتخصصة.

النتائج التجريبية

يقيم البحث DA-AC عبر أربعة إعدادات متميزة:

• التحكم المستمر: في مهام MuJoCo وDeepMind Control Suite، تحقق DA-AC أداءً تنافسيًا، وغالبًا ما تتفوق على TD3 والنماذج المرجعية الأخرى، لا سيما في البيئات عالية الأبعاد.
• التحكم المنفصل: في بيئات Gym classic control وMinAtar، تؤدي DA-AC أداءً مشابهًا لـ DQN وغيره من النماذج المرجعية القوية للمهام المنفصلة.
• التحكم المنفصل عالي الأبعاد: في النسخ المنفصلة من مهام التحكم المستمر (مثل Humanoid-v4 التي تم تقسيم 17 بُعدًا فيها إلى 7 فئات)، تتفوق DA-AC بشكل كبير على النماذج المرجعية مثل ST-AC وLR-AC وPPO، حيث تعاني الطرق الأخرى من الانفجار التوافقي أو التباين العالي.
• التحكم الهجين: في مهام MDP ذات الأفعال المحددة (PAMDPs)، تحقق DA-AC نتائج تنافسية ضد خوارزميات متخصصة مثل PATD3 وPDQN.

دراسات الاستئصال (Ablation Studies):
تظهر التجارب في إعدادات "Bandit" والتحكم المنفصل عالي الأبعاد أن إزالة ICL (نسخة DA-AC بدون ICL) تؤدي إلى أداء أسوأ بكثير، مما يؤكد أن ICL ضروري لتعلم ناقد فعال في إطار عمل DA.

الأهمية والادعاءات

يزعم البحث أن إطار عمل التوزيعات كأفعال يقدم طريقة مبدئية لفصل خوارزمية التعلم عن الهيكل المحدد لمساحة الفعل. من خلال تغيير الحدود بين الوكيل والبيئة، فإنه يسمي بتطبيق طرق تدرج ذات تباين منخفض ونمط حتمي على المشكلات المنفصلة والهجينة. يؤكد المؤلفون أن هذا النهج:

• يوفر أول مقدر من نمط إعادة المعلمة (reparameterization-style) غير منحاز ومنخفض التباين للتوزيعات المنفصلة.
• يتيح لإطار عمل خوارزمي واحد (DA-AC) التعامل مع مجموعة واسعة من إعدادات التحكم دون الحاجة إلى تغييرات هيكلية خاصة بكل مجال.
• يوضح أن اعتبار عملية أخذ العينات كجزء من البيئة يمكن أن يبسط التعلم ويفتح آفاقًا خوارزمية جديدة، خاصة لمساحات الأفعال الهجينة المعقدة.

يشير العمل إلى أن الأبحاب المستقبلية يمكن أن توسع هذا الإطار ليشمل الطرق القائمة على النموذج (model-based)، والتحكم الهرمي، واستراتيجيات تعلم الناقد الأكثر تقدمًا، لكن المساهمة الحالية تركز على إثبات جدوى الإطار من خلال خوارزمية DA-AC ونجاحها التجريبي.