ملخص تقني: التعلم المعزز العميق المتسق سلوكيًا

بيان المشكلة

تُظهر خوارزميات التعلم المعزز (RL) تباينًا عاليًا في كثير من الأحيان عبر عمليات التدريب المستقلة. وبينما قد تبدو مقاييس الأداء النهائية (العوائد) متشابهة، إلا أن السياسات الكامنة غالبًا ما تتباعد بشكل كبير في توزيعاتها السلوكية. يفرض هذا النقص في الاتساق تحديات أمام التقييم العلمي، الذي يتطلب المتوسط عبر بذور (seeds) عديدة، وأمام النشر العملي، حيث تصبح العمليات التكرارية مثل تصميم المكافأة، وتصحيح الأخطاء، والتحقق من السلامة غير موثوقة إذا كانت الظروف المتطابقة تؤدي إلى سلوكيات مختلفة نوعيًا. لقد تعاملت الأعمال السابقة إلى حد كبير مع هذا التباين كضوضاء يجب استبعادها عبر المتوسط، بدلاً من كونه خاصية يمكن التحكم فيها صراحةً.

المنهجية

الأساس النظري

يصيغ المؤلفون التعلم المعزز المتسق سلوكيًا (BRL)، وهو هدف لتعلم سياسات تكون عالية الأداء ومتشابهة توزيعيًا عبر عمليات التدريب المستقلة. تعتمد الرؤية النظرية الجوهرية على التعلم المعزز ذي الحد الأقصى للإنتروبيا (MaxEnt RL). فمن خلال تنظيم السياسات نحو سابقة مشتركة (تحديدًا سابقة موحدة في MaxEnt)، يتم تقييد فضاء السياسة.

تؤسس الورقة رابطًا نظريًا بين تباعد السياسة وعدم اتفاق دالة Q:

1. المبرهنة 4.1: بالنسبة لسياسات بولتزمان، إذا تم ضبط معامل درجة الحرارة $\alpha(s)$ ليكون متناسبًا مع عدم الاتفاق النقطي بين متجهي قيم Q (أي $\|Q^{(1)} - Q^{(2)}\|_\infty$)، فإن تباعد كولباك-ليبلر (KL) بين السياسات المستحثة يكون محدودًا. وتحديدًا، فإن ضبط $\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ يضمن أن $D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$.
2. المبرهنة 4.2: باستخدام درجة الحرارة الموزونة بعدم الاتفاق هذا في عملية تكرار القيمة الناعمة (soft value iteration)، يمكن للعمليات المقترنة أن تتقارب نحو جوار دالة Q المثلى غير المنظمة، مع التحكم في حد الخطأ بواسطة أرضية درجة الحرارة $\alpha_{min}$ وعدم الاتفاق الأولي.

الخوارزمية العملية: عدم اتفاق توقعات قيمة Q (QED)

الوصول المباشر إلى دالات Q من عمليات التدريب المستقلة الأخرى أمر غير عملي. ولمعالجة ذلك، يقترح المؤلفون Q-value Expectile Disagreement (QED)، الذي يستخدم وسيطًا من تشغيل واحد لعدم الاتفاق عبر التشغيلات.

• وسيط الناقد المزدوج (Double-Critic Proxy): تستفيد QED من حيلة "الناقد المزدوج Q" (double Q)، وذلك باستخدام شبكتين عصبيتين ناقدتين ($Q_{\theta_1}, Q_{\theta_2}$) يتم تدريبهما بالتوازي. يفترض المؤلفون أن عدم الاتفاق بين هذين الناقدين داخل تشغيل واحد يعمل كوسيط ممثل لعدم الاتفاق الذي قد يوجد بين تشغيلين مستقلين.
• تجميع التوقعات (Expectile Aggregation): لتجنب الطبيعة العدائية لتعظيم القيم على جميع الأفعال (والتي قد تبرز أخطاء الاستقراء خارج التوزيع)، تحسب QED التوقع العلوي (upper expectile) للفروقات المطلقة بين الناقدين عبر الأفعال التي يتم أخذ عينات منها من السياسة الحالية.
• درجة الحرارة التكيفية: يتم ضبط درجة الحرارة $\alpha_{QED}(s)$ ديناميكيًا بناءً على عدم اتفاق التوقعات هذا:
  $$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$$
  حيث $e\Delta(s)$ هو عدم اتفاق التوقع، و $k$ هو معلم فائق يتحكم في المقايضة، و $d$ هو بُعد الفعل.
• التعامل مع عدم استقرار السياسة خارج المسار (Off-Policy): تشير الورقة إلى أن زيادة الإنتروبيا بشكل ساذج يمكن أن تضخم أخطاء الاستقراء خارج المسار، مما يؤدي إلى انهيار التدريب. وللتخفيف من ذلك، يتم تقييم QED فوق خوارزميات مصممة خصيصًا للتعامل مع انزياحات التوزيع: SAC-LN (التعلم عبر سياسة الممثل الناعم مع تطبيع الطبقة) و MAD-SAC (التعلم عبر سياسة الممثل الناعم المعزز بالنموذج).

المساهمات الرئيسية

1. صياغة BRL: تقديم إطار التعلم المعزز المتسق سلوكيًا، وتأطير الاتساق السلوكي كهدف جوهري إلى جانب تعظيم العائد.
2. الربط النظري: إثبات العلاقة بين تباعد السياسة وعدم اتفاق الناقد في MaxEnt RL، وإظهار أن تغيير درجة الحرارة بناءً على عدم الاتفاق يحد من تباعد KL بين السياسات.
3. تحديد تحديات خارج المسار (Off-Policy): توضيح كيف يمكن للإنتروبيا العالية في MaxEnt RL أن تفاقم أخطاء الاستقراء خارج المسار، مما يؤدي إلى انهيار وظيفي للسياسة إذا لم تُدار باستخدام خوارزميات أساس مستقرة.
4. خوارماية QED: اقتراح QED، وهي طريقة عملية لضبط الإنتروبيا التكيفي تستخدم عدم اتفاق ناقد التشغيل الواحد لتحفيز الاتساق السلوكي عبر التشغيلات.

النتائج التجريبية

قيم المؤلفون QED على 18 مهمة تحكم مستمر من مجموعة dm_control باستخدام 10 بذور عشوائية لكل مهمة.

• تقليل التباعد: قللت QED تباعد السياسات الزوجي (المقاس بـ symmetric KL) بمقدار رتبتين عشريتين مقارنة بضبط الإنتروبيا القياسي (مثل SAC مع الإنتروبيا المستهدفة).
• الحفاظ على الأداء: في معظم الحالات، حافظت QED على عوائد تنافسية. بالنسبة لتدني مستويات KL الشديدة، لوحظ انخفاض طفيف في العائد (بحد أقصى 5%)، ويُعزى ذلك إلى فقدان مؤقت في كفاءة العينات بينما تستكشف الخوارزمية لفترة أطول لتقليل عدم اليقين في دالة Q.
• تقليل التباين: على خط الأساس MAD-SAC، قللت QED من تباين العوائد (المقاس بعرض فترات الثقة 95% لـ bootstrap) بنسبة تقارب 50%.
• الاتساق السلوكي: أكدت التصورات النوعية (مثل cheetah_run) والمقاييس الكمية (مسافة L2 التراكمية للأفعال) أن QED تنتج سياسات ذات سلوكيات متشابهة بصريًا وإحصائيًا عبر التشغيلات، بينما تنتج التدريبات القياسية أنماطًا سلوكية متميزة (مثل أنماط قفز أو مشي مختلفة).
• المهام عالية التباين: في مهمة hopper_hop المعروفة بعدم استقرارها، لم تحسن QED الأداء فحسب، بل جعلت جميع عمليات التدريب تتقارب نحو مستوى أداء متطابق، بينما أظهر خط الأساس تباينًا عاليًا.

الأهمية والادعاءات

تجادل الورقة بأن التحكم في الاتساق السلوكي هو أمر ممكن ومفيد لاستقرار وموثوقية أنظمة التعلم المعزز. ومن خلال معاملة التباين كخاصية يمكن التحكم فيها صراحةً بدلاً من كونه ضوضاء يجب استبعادها عبر المتوسط، يقترح المؤلفون أن الاتساق السلوكي هو مكون مفقود للتعلم المعزز القابل للتوسع والموثوق.

تكمن الأهمية في تمكين عمليات أكثر موثوقية لـ:

• التقييم العلمي: تقليل الحاجة إلى المتوسطات الضخمة عبر البذور للكشف عن التحسينات الخوارزمية الحقيقية.
• النشر: ضمان أن العمليات التكرارية مثل ضبط المكافأة والتحقق من السلامة لا تتأثر بالصدف العشوائية.
• تصحيح الأخطاء: تسهيل التمييز بين الفشل الخوارزمي والتباين العشوائي.

يشير المؤلفون بتواضع إلى القيود، لا سيما أن الطريقة تعتمد على تقديرات دالة Q النقطية والتي قد تستغرق وقتًا للتقارب، وأن المقايضة بين الأداء والتشابه تصبح أكثر وضوحًا في المهام عالية الأبعاد. ويخلصون إلى أنه بينما تقدم QED نهجًا مبدئيًا للاستقرار، لا تزال هناك حاجة إلى عمل مستقبلي لمعالجة الاتساق طويل الأمد والتوازن بين التنوع والانتظام في استراتيجيات السلوك الصالحة.