Goal Reaching with Eikonal-Constrained Hierarchical Quasimetric Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "الوصول إلى الهدف باستخدام التعلم المعزز الهرمي المقيد بمعادلة إيكونال" (Eik-HiQRL).

1. بيان المشكلة

يهدف التعلم المعزز المشروط بالهدف (GCRL) إلى تعلم سياسات تصل إلى أهداف عشوائية دون الحاجة إلى دوال مكافأة مصممة يدويًا، حيث يتم صياغة المهام كعملية وصول من حالة $s$ إلى حالة هدف $g$. وتتمثل الرؤية الهندسية الجوهرية في GCRL في أن دالة القيمة المثلى $V^*(s, g)$ تتوافق مع طول أقصر مسار ممكن، مما يشكل طبيعيًا نصف متري (quasimetric) (دالة مسافة تحقق متباينة المثلث ولكنها ليست بالضرورة متماثلة).

تواجه الأساليب الحالية، مثل التعلم المعزز بنصف المتري (QRL)، التي تفرض هذا الهيكل عبر تقييد تعلم القيمة باستخدام خرائط نصف مترية باستخدام قيود منفصلة قائمة على المسارات (مثل $d(s, s') \leq \text{cost}$)، عدة قيود:

1. الاعتماد على المسارات: تعتمد على أزواج الانتقال $(s, a, s')$، مما يتطلب عمليات تجربة (rollouts) أو بيانات مسارات محددة.
2. القيود المنفصلة: تفرض الاتساق المحلي فقط على طول الانتقالات المرصودة، مما يحد من القدرة على التعميم خارج التوزيع (OOD).
3. الديناميكيات المعقدة: في البيئات عالية الأبعاد أو غير السلسة (مثل الروبوتات التي تتعرض للتلامس)، تنهار الافتراضات المطلوبة لتعلم نصف المتري، مما يؤدي إلى أداء ضعيف.
4. نسبة الإشارة إلى الضجيج: في المهام طويلة الأمد، تعاني تقديرات القيمة من تباين عالٍ، مما يجعل التعلم غير مستقر.

تعالج هذه الورقة هذه المشكلات من خلال اقتراح إعادة صياغة في الزمن المستمر لـ QRL بناءً على المعادلات التفاضلية الجزئية (PDEs) وبنية هرمية للتعامل مع الديناميكيات المعقدة.

2. المنهجية

يتكون الحل المقترح من مكونين رئيسيين: Eik-QRL (القاعدة في الزمن المستمر) و Eik-HiQRL (الامتداد الهرمي).

أ. التعلم المعزز بنصف المتري المقيد بمعادلة إيكونال (Eik-QRL)

قام المؤلفون بإعادة صياغة قيود QRL المحلية المنفصلة إلى إطار زمني مستمر باستخدام معادلة إيكونال التفاضلية الجزئية (Eikonal PDE).

• من HJB إلى Eikonal: تصف معادلة هاميلتون-جاكوبي-بيل مان (HJB) القياسية التحكم الأمثل في الزمن المستمر. ومع ذلك، فإن حل HJB صعب في الأبعاد العالية. قام المؤلفون بتبسيط الديناميكيات إلى ديناميكيات متجانسة (isotropic) ذات سرعة وحدة ($\dot{s} = a$ مع $\|a\| \leq 1$). وتحت هذا الافتراض، تختزل معادلة HJB إلى معادلة إيكونال:
  $$\|\nabla_s d(s, g)\| = 1$$
  وهذا يعني أن تدرج دالة القيمة (المسافة) يجب أن يكون له معيار وحدة في كل مكان، مما يمثل سرعة ثابتة للتحرك نحو الهدف.

• التعلم الخالي من المسارات: على عكس QRL، الذي يتطلب أزواج الانتقال $(s, s')$، فإن Eik-QRL هو خالٍ من المسارات (trajectory-free). فهو يتطلب فقط عينات مستقلة ومتماثلة التوزيع (i.i.d.) من الحالات $s$ والأهداف $g$.

• هدف التحسين: يقوم الخوارزمي بتعظيم العلاقات العالمية (تشجيع المسافات الكبيرة بين الحالات البعيدة) مع فرض قيد إيكونال كجزاء ناعم:
  $$\max_{\theta} \mathbb{E}_{s,g}[\zeta(d_\theta(s, g))] \quad \text{بشرط} \quad \mathbb{E}_{s,g}[(\|\nabla_s d_\theta(s, g)\| - 1)^2] \leq \epsilon^2$$
  يتم تنفيذ ذلك باستخدام الشبكات العصبية المستندة إلى الفيزياء (PINNs)، حيث تقوم التفاضلات التلقائية بحساب خسارة معيار التدرج.

• الفوائد:

  • التنظيم الضمني: يعمل قيد PDE كمنظم عالمي، مما يحسن التعميم خارج التوزيع (OOD) والاستقرار.
  • تغطية فضاء الحالة: يوفر كل زوج مُعاين $(s, g)$ متجه تدرج كامل، مما يربط جميع اتجاهات الإحداثيات، على عكس QRL الذي يقيد فقط الانتقالات المرصودة.

ب. التعلم المعزز الهرمي بنصف المتري المقيد بمعادلة إيكونال (Eik-HiQRL)

بينما يوفر Eik-QRL فوائد هيكلية، إلا أن افتراض الديناميكيات المتجانسة يُنتهك في البيئات المعقدة (مثل التلاعب الروبوتي مع التلامس). ولمعالجة ذلك، قدم المؤلفون تفكيكًا هرميًا:

1. المستوى العالي (الفضاء المجرد): يتم تعلم دالة قيمة نصف مترية $d_h$ في فضاء مجرد منخفض الأبعاد $\bar{S}$ (مثل إحداثيات الوكيل أو فضاء كامن مُتعلم). في هذا الفضاء المختزل، يكون افتراض الديناميكيات المتجانسة أكثر منطقية، مما يسمح لقيد إيكونال بتنظيم دالة القيمة بفعالية. تُخرج السياسة عالية المستوى أهدافًا فرعية (subgoals).
2. المستوى المنخفض (الفضاء الأصلي): يتعلم متحكم يعتمد على فرق زمن الفروق (TD) التقليدي الوصول إلى الأهداف الفرعية التي تولدها السياسة عالية المستوى. يتعامل هذا المكون مع الديناميكيات المعقدة وغير السلسة للبيئة الأصلية.
3. التآزر: يخفف هذا الهيكل من مشكلة نسبة الإشارة إلى الضجيج في المهام طويلة الأمد ويسمح بتطبيق تنظيم PDE حيث يكون أكثر صلاحية (في الفضاء المجرد)، بينما يتعامل المتحكم من المستوى المنخفض مع الديناميكيات "الفوضوية" للواقع.

3. المساهمات الرئيسية

1. صياغة Eik-QRL: صياغة جديدة لتعلم نصف المتري في الزمن المستمر وخالية من المسارات مشتقة من معادلة إيكونال PDE. توفر ضمانات نظرية لاستعادة القيمة تحت شروط ليبشيتز وتحسن التعميم عبر تنظيم PDE.
2. خوارزمية Eik-HiQRL: إطار عمل هرمي يدمج Eik-QRL في مخطط عالي المستوى يعمل في فضاء مجرد. يتغلب هذا التصميم على قيود الافتراضات المتجانسة في الديناميكيات المعقدة مع الحفاظ على فوائد قيود PDE.
3. التحليل النظري: تقدم الورقة براهين تثبت أنه تحت شروط انتظام محددة (قيمة مثلى 1-Lipschitz)، يمكن لمقدر نصف متري شامل يتم تدريبه باستخدام Eik-QRL استعادة دالة القيمة المثلى باحتمالية عالية. كما تحلل الفوائد المشتركة للهيكلية وإسقاط نصف المتري في تقليل حدود خطأ السياسة.
4. التقييم الشامل: تجارب مكثفة على مجموعة اختبار OGbench (الملاحة والتلاعب) تظهر أداءً رائدًا (SOTA).

4. النتائج التجريبية

قيم المؤلفون أساليبهم على معيار OGbench، والذي يغطي الملاحة (PointMaze, AntMaze, HumanoidMaze) والتلاعب (AntSoccer, Cube, Scene).

• الملاحة (الديناميكيات المتجانسة):

  • في PointMaze (المثالية والمتجانسة)، حقق Eik-QRL و Eik-HiQRL أداءً مشابهًا أو متفوقًا على QRL القياسي، مع معدلات تصادم أقل بكثير.
  • في AntMaze (الديناميكيات المعقدة وغير السلسة)، تراجع أداء Eik-QRL النقي مقارنة بـ PointMaze لكنه ظل منافسًا. ومع ذلك، حقق Eik-HiQRL أداءً رائدًا (SOTA)، متفوقًا بشكل كبير على QRL و HJB-QRL والأساليب الأخرى (HIQL, CRL)، خاصة في متغيرات "Giant" و "Stitch" (طويلة الأمد).
  • تجنب التصادم: أظهر Eik-HiQRL باستمرار معدلات تصادم أقل، مما يشير إلى التزام أفضل بالقيود الهندسية.

• التلاعب والبيئات غير المنتظمة:

  • في المهام التي تحتوي على أجسام خارجية وانقطاعات في التلامس (AntSoccer, Cube, Scene)، تنتهك الافتراضات النظرية لـ Eik-QRL.
    تعداد Eik-HiQRL أداء الأساليب القوية (مثل HIQL و CRL) في هذه الإعدادات، مما يثبت أن الهيكل الهرمي ينجح في تخفيف انتهاك افتراضات الانتظام.
  • تشير الورقة إلى أنه بينما كانت المكاسب أصغر هنا مقارنة بالملاحة، إلا أن الطريقة ظلت قوية، في حين عانت طرق PDE النقية بدون هيكلية هرمية.

• الإعدادات الخالية من المسارات والتعلم عبر الإنترنت:

  • في إعداد خالٍ من المسارات تمامًا (أخذ عينات عشوائية للحالة/الهدف بدون انتقالات)، أظهر Eik-QRL قدرة على تعلم متحكمات فعالة، مما يؤكد ادعاء الخلو من المسارات.
  • في إعدادات التعلم المعزز عبر الإنترنت (Online RL)، تفوق Eik-HiQRL على الأساليب المسطحة، مما يؤكد قابليته للتطبيق بما يتجاوز التعلم غير المتصل (offline).

5. الأهمية والأثر

• الربط بين التعلم بدون نموذج والتعلم بالنموذج: يقدم العمل نظامًا "هجينًا" حيث تفرض النماذج الديناميكية المبسطة (عبر الـ PDEs) قيودًا صريحة على تعلم القيمة بدون نموذج، مما يوفر جسرًا بين هذين النموذجين دون الحاجة إلى نموذج عالم كامل.
• التعميم: يحسن النهج الخالي من المسارات والمستند إلى PDE بشكل كبير من التعميم خارج التوزيع، وهو عائق حرج في التعلم المعزز غير المتصل (offline RL).
• القابلية للتوسع: من خلال تفكيك المشكلة هرميًا، تتوسع الطريقة لتشمل المهام طويلة الأمد وفضاءات الحالة عالية الأبعاد حيث يفشل تعلم نصف المتري المباشر.
• الأساس النظري: يضع رابطًا صارمًا بين تعلم نصف المتري والتحكم الأمثل في الزمن المستمر (معادلات إيكونال)، مما يوفر ضمانات نظرية جديدة لخوارزميات GCRL.

باختصار، يمثل Eik-HiQRL تقدمًا مهمًا في التعلم المعزز المشروط بالهدف من خلال الاستفال من الخصائص الهندسية لدوال القيمة عبر قيود معادلة PDE في الزمن المستمر والتجريد الهرمي، محققًا أداءً قويًا عبر بيئات متنوعة وتحديات مختلفة.