Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث "Multistep Quasimetric Learning for Scalable Goal-Conditioned Reinforcement Learning" (MQE).

1. بيان المشكلة

تعالج الورقة البحثية تحدي التعلم المعزز المشروط بالهدف (Goal-Conditioned Reinforcement Learning - GCRL)، وتحديداً صعوبة الاستدلال عبر الآفاق الزمنية الطويلة (long horizons) في بيئات التعلم غير المتصل (offline).

• المشكلة الجوهرية: تعاني طرق GCRL الحديثة في البيئات غير المتصلة من صعوبة التعميم على مهام أطول بكثير من تلك التي تمت رؤيتها أثناء التدريب.
• المقايضة:
  • تعلم فرق الفرق الزمني (Temporal Difference - TD Learning): يوفر ضمانات المثالية (يمكنه استعادة $Q^*$), لكنه يعتمد على تحديثات محلية أحادية الخطوة. يؤدي هذا إلى تراكم الأخطاء عبر الآفاق الطويلة وضعف التعميم على طول الأفق.
  • تعلم مونت كارلو (Monte Carlo - MC Learning): يستخدم تحديثات عالمية (عائدات متعددة الخطوات) والتي تعمل بشكل جيد في الممارسة العملية للآفاق الطويلة، ولكنها عادةً ما تستعيد دالة القيمة لسياسة السلوك ($Q_\beta$) بدلاً من الدالة المثلى، مما يعني افتقارها لضمانات المثالية النظرية.
• الفجوة: غالباً ما تفصل الطرق الحالية بين هذين النهجين أو تعتمد على هياكل هرمية معقدة التنفيذ. هناك حاجة إلى طريقة تدمج انتشار القيمة العالمي الخاص بـ MC مع ضمانات المثالية الخاصة بـ TD ضمن بنية موحدة وقابلة للتوسع.

2. المنهجية: تقدير شبه المسافة متعدد الخطوات (Multistep Quasimetric Estimation - MQE)

يقترح المؤلفون MQE، وهو طريقة GCRL غير متصلة تتعلم شبه مسافة (quasimetric distance) بين الحالات (وأزواج الحالة-الفعل) والأهداف باستخدام العائدات متعددة الخطوات.

المكونات الرئيسية:

أ. بنية شبه المسافة (Quasimetric Architecture)
بدلاً من شبكات Q القياسية، تقوم MQE بتمثيل دالة القيمة المشروطة بالهدف كمسافة قياسية.

• التعريف: يتم تعريف قيمة Q كالتالي: $Q_g(s, a) = V_g(g)e^{-d((s,a), g)}$، حيث $d$ هي مسافة متعلمة.
• شبكة المتبقي المتري (Metric Residual Network - MRN): يتم تنفيذ دالة المسافة $d$ باستخدام بنية MRN. يفرض هذا متباينة المثلث ($d(x, z) \leq d(x, y) + d(y, z)$) وعدم السالبية، مما يضمن أن المسافة المتعلمة لها بنية هندسية صالحة مناسبة للتخطيط.

ب. العائدات متعددة الخطوات مع نقاط الطريق (Waypoints)
لسد الفجوة بين TD و MC، تقدم MQE آلية النسخ الاحتياطي متعدد الخطوات (multistep backup):

• أخذ عينات نقاط الطريق ($s^w_t$): بدلاً من الاعتماد فقط على الحالة التالية المباشرة $s'$، تقوم الخوارزمية بأخذ عينات من "نقاط طريق" وسيطة من المسار المستقبلي. يتم أخذ هذه العينات باستخدام مزيج من توزيعات بيرنولي والهندسي (المعادلة 8).
• هدف متعدد الخطوات ($T_\beta$): تقوم دالة الخسارة بضبط المسافة من الحالة الحالية إلى الهدف مقابل المسافة المخصومة من نقطة طريق عينة إلى الهدف:
  $$e^{-d((s,a),g)} \leftarrow \mathbb{E}[\gamma^{k'} \cdot e^{-d(s^w_t, g)}]$$
  يسمح هذا لمعلومات القيمة بالانتشار عالمياً عبر المسار في خطوة تحديث واحدة، مما يحاكي فوائد MC مع الحفاظ على بنية تشبه معادلة بيلمان (Bellman-like update).

ج. قيد ثبات الفعل (Action Invariance Constraint)
لضمان أن المسافة المتعلمة تمثل دالة قيمة صالحة (حيث تكون قيمة الحالة مستقلة عن الفعل المتخذ للوصول إليها إذا كانت الحالة هي نفسها)، تفرض MQE ثبات الفعل:

• القيد: $d(s, (s, a)) = 0$ لجميع الأفعال $a$.
• التنفيذ: يتم إضافة حد خسارة محدد ($L_I$) لمعاقبة الانحرافات حيث تكون المسافة بين الحالة وزوج (الحالة-الفعل) غير صفرية. هذا يمنع الشبكة من الانهيار إلى حلول تافهة ويؤدي إلى استقرار التدريب.

د. استخراج السياسة (Policy Extraction)
يتم استخراج السياسة عن طريق تقليل المسافة المتعلمة بين الحالة الحالية والهدف، مع تنظيم بواسطة نسخ السلوك (DDPG + BC):
$$\min_\pi \mathbb{E}[d((s, \pi(s, g)), g) - \alpha \log \pi(a|s, g)]$$

3. المساهمات الرئيسية

1. أول دمج للعائدات متعددة الخطوات مع شبه المسافات: MQE هي أول طريقة تدمج بفعالية عائدات مونت كارلو متعددة الخطوات مع بنيات مسافة شبه المسافة، مما يسمح بانتشار القيمة المحلي والعالمي دون الحاجة إلى هيكلية هرمية صريحة.
2. التعميم على الأفق الزمني: تُظهر الطريقة قدرة فائقة على التعميم على آفاق زمنية أطول بكثير (تصل إلى 1000% أطول) من تلك الموجودة في بيانات التدريب.
3. "الخياطة" (Stitching) في العالم الحقيقي: تمكن MQE من التعميم التركيبي (stitching) في الروبوتات الواقعية. يمكنها دمج مهارات قصيرة ومستقلة تم تعلمها من مجموعة بيانات غير مصنفة لحل مهام معقدة متعددة المراحل (مثل فتح درج ثم وضع جسم بداخله) والتي لم تظهر أبداً كمسار واحد في البيانات.
4. الضمان النظري: يقدم المؤلفون برهاناً (النظرية 1) يوضح أنه في الإعداد الجدولي (tabular setting)، تقوم MQE بتحسين السياسة فوق سياسة السلوك، مما يستعيد سياسة تحقق $V^\pi \geq V^{\pi_\beta}$.

4. النتائج التجريبية

الاختبارات المحاكية (OGBench)

• المهام: تم التقييم على 95 مهمة تشمل الحركة (AntMaze, HumanoidMaze) والتلاعب (Cube, Puzzle) مع ملاحظات قائمة على الحالة والبكسلات.
• الأداء في الأفق الطويل: تفوقت MQE بشكل كبير على أفضل الطرق المرجعية (بما في ذلك TMD, CRL, HIQL, GCIQL).
  • في مهمة "Colossal" AntMaze (أكبر بنسبة 50% من الاختبارات الحالية، وتتطلب حوالي 4000 خطوة)، كانت MQE هي الطريقة الوحيدة التي حققت معدلات نجاح غير صفرية.
  • في مجموعات البيانات "الخياطية" (stich datasets) (حيث المسارات التدريبية قصيرة، مثلاً 4 أمتار، بينما يتطلب الاختبار عبور 40 متراً)، أظهرت MQE تعميماً قوياً، بينما فشلت الطرق الأخرى تماماً.
• الملاحظات البصرية: تعاملت MQE بنجاح مع المدخلات البصرية عالية الأبعاد (64x64x3)، مما أظهر قابليتها للتوسع.

الروبوتات في العالم الحقيقي (BridgeData)

• الإعداد: روبوت WidowX250 بـ 6 درجات حرية (6-DoF) لأداء مهام التلاعب.
• المهام التركيبية: تم اختبار الوكيل على تسلسلات تصل إلى 4 مهام "الالتقاط والوضع" (Pick and Place) ومهمة "فتح الدرج + الوضع". لم تحتوي مجموعة البيانات على أي أمثلة لهذه التركيبات طويلة الأفق المحددة.
• النتائج:
  • الالتقاط والوضع الرباعي: حققت MQE معدل نجاح 13.3% (2/15 تجربة)، بينما حققت جميع الطرق المرجعية (GCBC, GCIQL, TRA) 0%.
  • فتح الدرج والوضع: حققت MQE نجاحاً بنسبة 33.3% (5/15)، متفوقة بشكل كبير على الطرق المرجعية التي فشلت في ربط التبعيات.
  • تقدم المهمة: حافظت MQE على تقدم عالٍ في المهمة مع زيادة عدد الخطوات التسلسلية المطلوبة، بينما تدهور أداء الطرق الأخرى بسرعة.

5. الأهمية والأثر

• حل عقبة الأفق الطويل: تعالج MQE حداً جوهرياً في التعلم المعزز غير المتصل: عدم القدرة على التوسع لمهام طويلة الأفق دون تخطيط هرمي صريح أو كميات هائلة من البيانات طويلة الأفق.
• كفاءة البيانات: من خلال الاستفادة من البنية الهندسية لشبه المسافات والعائدات متعددة الخطوات، يمكن لـ MQE تعلم سلوكيات معقدة من مجموعات بيانات غير متصلة قصيرة الأفق وغير مصنفة.
• القابلية للتطبيق في العالم الحقيقي: يثبت النشر الناجح على روبوت حقيقي لمهام "الخياطة" أن هذه التطورات النظرية تترجم إلى تلاعب روبوتي عملي، متجاوزة حدود المحاكاة.
• البساطة: على عكس طرق التعلم المعزز الهرمي التي تتطلب تدريب سياسات فرعية معقدة، تعد MQE طريقة نهاية إلى نهاية (end-to-end) تستخدم ناقداً وسياسة واحدة، مما يجعلها أسهل في التنفيذ والنشر.

باختصار، تمثل MQE خطوة كبيرة للأمام في جعل التعلم المعزز المشروط بالهدف غير المتصل قابلاً للتوسع، وقوياً، وقادراً على الاستدلال التركيبي في كل من البيئات المحاكية والواقعية.