ملخص تقني: استغلال انتظام الديناميكيات المحلية للمهارات القابلة لإعادة الاستخدام في التعلم المعزز الهرمي غير المتصل (Offline)

بيان المشكلة

يهدف التعلم المعزز الهرمي (HRL) إلى حل المهام طويلة الأمد من خلال اكتشاف وإعادة استخدام المهارات الممتدة زمنياً. ومع ذلك، يظل التحدي المستمر هو الحصول على مهارات قابلة لإعادة الاستخدام حقاً عبر سياقات مختلفة. تعاني النهج الحالية غالباً من عدم استقرار التدريب عند التعلم المشترك للمهارات والسياسات، أو تفشل في الاستفضاء بفعالية من قابلية إعادة الاستخدام. وبينما نجحت السياسات المشروطة بالهدف في فصل التدريب، إلا أنها غالباً ما تفقد التجريد الزمني وقابلية إعادة الاستخدام المتسقة المتأصلة في المهارات الحقيقية. وبشكل محدد، فإن التفكير مباشرة في فضاء الحالة-الهدف العالمي يجعل من الصعب على السياسات منخفضة المستوى إدراك متى يمكن إعادة استخدام السلوك نفسه في سياقات عالمية مختلفة.

المنهجية

يقترح المؤلفون CARL (التمثيلات القائمة على الأفعال التباينية للتحكم المحلي القابل لإعادة الاستخدام)، وهو أسلوب مصمم لتعلم تمثيلات الديناميكيات المحلية من مجموعات البيانات غير المتصلة (offline) لتسهيل إعادة استخدام المهارات.

الأساس النظري: الديناميكيات المحلية والتماثل (Bisimulation)

الحدس الجوهري هو الديناميكيات المحلية: تشترك العديد من المناطق المحلية في فضاء الحالة في ديناميكيات متشابهة، مما يعني أن الانتقالات المحلية في سياقات عالمية مختلفة تتطلب تسلسلات أفعال متشابهة.

• MDP الـ k-ball: يصيغ المؤلفون الديناميكيات المحلية من خلال تعريف نموذج قرار ماركوف (MDP) محدود الأفق (الـ $k$-ball) متجذر عند حالة $s$، والذي يحتوي على جميع الحالات التي يمكن الوصول إليها خلال $k$ من الخطوات.
• التماثل الديناميكي (Dynamics Bisimilarity): تُعتبر حالتان مشتركتين في الديناميكيات المحلية إذا كانت نماذج الـ $k$-ball MDP الخاصة بهما متماثلة ديناميكياً (dynamics-bisimilar). وهذا يعني وجود علاقة تكون فيها احتمالات الانتقال تحت تسلسلات أفعال متطابقة متكافئة، مما يسمح بمعاملة الحالات كبدائل لبعضها البعض في سلوكيات الوصول إلى الأهداف قصيرة الأفق.

الخوارزمية العملية: CARL

إن تقدير التماثل مباشرة في المجالات المستمرة عالية الأبعاد أمر مستعصٍ حسابياً. بدلاً من ذلك، يستفيد CARL من التشابه السلوكي كإرشادات (heuristic). الفرضية هي أن أزواج (الحالة-الهدف) $(s_1, g_1)$ و $(s_2, g_2)$ في مجموعات البيانات غير المتصلة القريبة من مستوى الخبراء، والتي تسمح بنفس تسلسل الأفعال $a_k$ المكون من $k$ خطوة، هي متشابهة سلوكياً.

يتعلم CARL تضمينات (embeddings) $\phi(s, g)$ لأزواج الحالة-الهدف و $\psi(a_k)$ لتسلسلات الأفعال باستخدام هدف تعلم تبايني (InfoNCE):
$$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$$
يقوم هذا الهدف بمحاذاة أزواج الحالة-الهدف مع تسلسلات الأفعال التي تحققها. وبناءً على ذلك، يتم تضمين أزواج الحالة-الهدف التي تتطلب مهارات محلية متشابهة بالقرب من بعضها البعض في الفضاء الكامن، بغض النظر عن موقعها العالمي.

التكامل مع التعلم المعزز الهرمي (HRL)

يتم دمج CARL في خوارزميات التعلم المعزز الهرمي غير المتصل الحالية، وتحديداً HIQL و HGCBC.

• يُستخدم التمثيل المتعلم $\phi(s, g)$ كمدخل للسياسة ومن دالة القيمة منخفضة المستوى.
• تخرج السياسة عالية المستوى أهدافاً فرعية في هذا الفضاء التمثيلي المتعلم.
• يسمح هذا للسياسة منخفضة المستوى بإعادة استخدام نفس المهارة (تسلسل الأفعال) في سياقات عالمية مختلفة دون الحاجة لإعادة تعلم السياسة من الصفر لكل منطقة.

المساهمات الرئيسية

1. صياغة الديناميكيات المحلية: حدد البحث تساوي الحالات بناءً على الديناميكيات المحلية (عبر نماذجم $k$-ball MDP والتماثل) بدلاً من تكافؤ الأفق الطويل، مما يوفر أساساً مبدئياً لإعادة استخدام المهارات.
2. خوارزمية CARL: إطار عمل للتعلم التبايني العملي الذي يقرب بنية الديناميكيات المحلية من البيانات غير المتصلة، ويقوم بتجميع أزواج الحالة-الهدف حسب تسلسلات الأفعال المطلوبة لها.
3. التحقق التجريبي: إثبات أن دمج CARL في HIQL و HGCBC يحسن بشكل كبير الأداء اللاحق على معيار OGBench عبر مهام متنوعة (الحركة، المناولة، والألغاز المعقدة) وأنماط مختلفة (المعتمدة على الحالة والبيكسل).
4. تحليل بنية التمثيل: تؤكد عمليات التصور (UMAP) وتحليلات أقرب جار أن CARL ينجح في تجميع الحالات العالمية المتباينة التي تتطلب سلوكيات محلية متشابهة (مثل "المشي للخلف" في مواقع مختلفة داخل المتاهة).

النتائج

يسجل البحث تجارب مكثفة على مجموعة OGBench:

• المهام المعتمدة على الحالة: حقق HIQL+CARL معدل فوز قدره 20/22 ضد HIQL القياسي، مع تحسينات كبيرة في البيئات المعقدة مثل مهام "المتاهة العملاقة" (Giant Maze) (+30% في مهام المشهد) ومهام مناولة "المكعب" (Cube). كما حقق HGCBC+CARL نسبة 21/21 ضد HGCBC.
• المهام المعتمدة على البيكسل: في البيئات المرئية، حقق HIQL+CARL 13/14 فوزاً ضد HIQL، مع مكاسب ملحوظة في مهام Antmaze طويلة الأمد (مثل النسخ الكبيرة/العملاقة).
• دراسات الاستئصال (Ablation Studies):
  • التباين مقابل التنبؤ: تفوق هدف التعلم التبايني (InfoNCE) على خسائر الانحدار المباشر (التنبؤ)، مما يشير إلى أنه أكثر فعالية في تنظيم الهندسة الكامنة لإعادة استخدام المهارات.
  • تسلسل الأفعال مقابل الفعل الواحد: كان نمذجة تسلسلات الأفعال الكاملة ($a_k$) أفضل من نمذجة فعل واحد، مما يؤكد أهمية البنية الزمنية.
  • أخذ العينات: أدى "أخذ العينات الداخلي" (استخدام الحالات المتوسطة ضمن أفق $k$ خطوة) إلى أداء أفضل من "أخذ عينات السطح" (استخدام نقطة النهاية فقط).
• المتانة: أظهر CARL+HIQL حساسية مماثلة لتغطية مجموعة البيانات وعدم توازنها مثل HIQL الأساسي، مما يشير إلى أن CARL لا يزيد من متطلبات البيانات.

الأهمية والادعاءات

يزعم المؤلفون أن بنية الديناميكيات المحلية توفر أساساً مبدئياً لاستخراج المهارات وإعادة استخدامها، مما يساعد HRL على إعادة الاتصال بالتجريدات الزمنية المركزية لاتخاذ القرار طويل الأمد. ومن خلال تعلم تضمينات تجمع أزواج الحالة-الهدف وفقاً لتسلسلات الأفعال قصيرة الأمد التي تسمح بها، يوفر CARL آلية ملموسة لإعادة استخدام المهارات تحسن أطر التعلم المعزز الهرمي الحالية.

يؤكد البحث أن هذا النهج يسمح للسياسات عالية المستوى بالتفكير في المهارات منخفضة المستوى بشكل أكثر فعالية، مما يتيح نقل السلوكيات عبر سياقات عالمية مختلفة (على سبيل المثال، وقوف إنسان آلي في أجزاء مختلفة من المتاهة). وبينما يعتمد الأسلوب على مجموعات البيانات غير المتصلة وآفاق زمنية ثابتة، فإن النتائج تشير إلى أن نمذجة قابلية إعادة الاستخدام المحلية صراحةً تفتح فوائد الأداء، خاصة في مجالات الروبوتات عالية الأبعاد والمعقدة حيث يكون إعادة تعلم السياسات منخفضة المستوى لكل سياق أمراً غير فعال.

يتسم العمل بالتواضع بشأن قيوده، مشيراً إلى أن اختيار أفق الاستخراج $k$ يعتمد على البيئة، وأن الأداء في مهام معينة (مثل تلك التي تحتوي على ديناميكيات عشوائية أو تعميم توافقي متطرف) يظل تحدياً. كما يُقترح كعمل مستقبلي استكشاف الاكتشاف التلقائي للمهارات، وتجريد الأفعال، وتمثيلات السياسة عالية المستوى.