ملخص تقني: مقاييس الناجح التبديلية للتعلم التعزيزي صفري الاستباق الهرمي

بيان المشكلة

يهدف التعلم التعزيزي الهرمي (HRL) إلى تحسين التعميم من خلال تفكيك اتخاذ القرار طويل الأمد إلى مشكلات فرعية أبسط. ومع ذلك، تعتمد النهج الحالية غالبًا على خيارات تصميمية مقيدة، مثل التجريدات الزمنية الثابتة أو الأهداف المشروطة بالأهداف، مما يحد من قابليتها للتطبيق على دوال المكافأة العامة. علاوة على ذلك، تفرض أساليب مثل HIQL المحلية من خلال آفاق أهداف فرعية ثابتة بدلاً من السماح لها بالظهور من خلال التعلم.

بالتزامن مع ذلك، توفر مقاييس الناجح (SM)، لا سيما عبر تمثيلات الأمامي-الخلفي (FB)، إطارًا للتكيف صفري الاستباق لأي دالة مكافأة عبر تمثيل دوال القيمة في فضاء تضمين مشترك. ومع ذلك، تفترض هذه الأساليب عادةً وجود عامل مشترك عالمي قوي ($F(s, a, z)^\top B(g)$) قد يكون من الصعب تعلمه في البيئات المعقدة. تشير النتائج الحديثة إلى أن تمثيلات الناجح تكون أكثر موثوقية محليًا، حيث تلتقط الانتقالات قصيرة المدى بفعالية بينما تتدهور الدقة عبر الآفاق الطويلة.

توجد فجوة حرجة: لا يوجد نهج موحد يستفيد من تمثيلات الناجح لاستخلاص سياسات هرمية مباشرة من التمثيل المتعلم مع الاحتفاظ بالقدرة على التعميم عبر مكافآت عشوائية (غير مرتبطة بالوصول إلى هدف). غالبًا ما تفصل المسارات الحالية بين تعلم التمثيل وتعلم السياسة، مما يؤدي إلى الفشل في استغلال الترميز الهيكلي لتمثيلات الناجح من أجل التخطيط والتحكم المشترك.

المنهجية: مقاييس الناجح التبدلية و $\pi$-Switch الأمامي-الخلفي

يقدم المؤلفون مقاييس الناجح التبدلية، وهو إطار عمل يتيح التحكم الهرمي في التعلم التعزيزي صفري الاستباق دون إشراف إضافي، أو آفاق ثابتة، أو أهداف فرعية مصممة يدويًا.

الأساس النظري

الرؤية الجوهرية هي أن مقاييس الناجح التبدلية المطلوبة للتخطيط عالي المستوى يمكن اشتقاقها مباشرة من مقياس ناجح كلاسيكي واحد.

1. الميزة التبدلية: يعرّف المؤلفون دالة ميزة مكونة من $k$ خطوة حيث يتبع الوكيل سياسة مشروطة بهدف فرعي $\pi_w$ لمدة $k$ من الخطوات ثم ينتقل إلى سياسة فعالة عالميًا $\pi$.
2. تبديل وقت الوصول: لمعالجة الانحياز الناتج عن الآفاق الثابتة (حيث قد لا تتوافق $k$ من الخطوات مع الوصول إلى هدف فرعي)، يستبدل الإطار الـ $k$ الثابتة بوقت الوصول $H^{\pi_w}_s(w)$.
3. النظرية 1: تثبت الورقة هوية رئيسية تربط مقياس الناجح التبدلي $M^{\pi_w \to \pi}_s$ بمقاييس الناجح القياسية:
   $$M^{\pi_w \to \pi}_s(s') = M^{\pi_w}_s(s') + \frac{M^{\pi_w}_s(w)}{M^{\pi_w}_w(w)} \left( M^{\pi}_w(s') - M^{\pi_w}_w(s') \right)$$
   توضح هذه النظرية أن الهرمية مشفرة ضمنيًا في تمثيلات الناجح القياسية ويمكن استعادتها دون تعلم إضافي.
4. النتيجة 1: يتم اشتقاق دالة الميزة التبدلية كالتالي:
   $$A^{\pi_w \to \pi}_s(r) = V^{\pi_w}(s; r) + \frac{M^{\pi_w}_s(w)}{M^{\pi_w}_w(w)} \left( V^{\pi}(w; r) - V^{\pi_w}(w; r) \right) - V^{\pi}(s; r)$$
   وهذا يعمل كهدف للسياسة عالية المستوى لاختيار الأهداف الفرعية $w$.

الخوارزمية: FB $\pi$-Switch

يقترح المؤلفون FB $\pi$-Switch، وهي خوارزمية تعلم غير متصلة (offline) مكونة من ثلاث مراحل:

1. تعلم تمثيل الحالة-الناجح: تتعلم الخوارزمية تمثيلات الحالة-الناجح المشروطة بالمكافأة والخالية من الأفعال ($F(s, z)$ و $B(s)$) باستخدام هدف انحدار الـ expectile. تقوم هذه الخطوة بتهميش الأفعال وتجنب التحسين المقترن للسياسة والتمثيل الموجود في الـ FB القياسي، مما يتيح إجراء تعلم في خطوة واحدة.
2. تعلم السياسة عالية المستوى: يتم تدريب سياسة عالية المستوى $\pi_h$ لاختيار أهداف فرعية كامنة $z_w$ عن طريق تعظيم تقريب الـ FB لدالة الميزة التبدلية باستخدام انحدار الميزة المرجحة (AWR).
3. تعلم السياسة منخفضة المستوى: يتم تدريب سياسة منخفضة المستوى $\pi_\ell$ لتنفيذ الأفعال الأولية المشروطة بالهدف الفرعي المختار، باستخدام AWR أيضًا.

تسمح الطريقة بـ الضبط اللاحق الهرمي، حيث يمكن إضافة السياسة عالية المستوى إلى نماذج التأسيس السلوكية (BFMs) سابقة التدريب دون إعادة تدريب المتحكم منخفض المستوى أو التمثيلات الأساسية.

المساهمات الرئيسية

1. مقاييس الناجح التبدلية: إطار عمل مبدئي لاستخراج الهيكل الهرمي من تمثيلات الناجح. تثبت الورقة أن مقاييس الناجح الضرورية للتخطيط عالي المستوى يمكن اشتقاقها من مقياس ناجح كلاسيكي واحد، مما يظهر أن الهرمية مشفرة ضمنيًا.
2. خوارزمية FB $\pi$-Switch: خوارزمية تعلم تعزيزي هرمي صفري الاستباق حيث يتم اشتقاق كل من اختيار الهدف الفرعي عالي المستوى والتحكم منخفض المستوى مباشرة من تمثيلات FB. تتبع الطريقة إجراء تدريب مكون من ثلاث مراحل، حيث تكون المرحلة عالية المستوى متوافقة مع خوارزميات FB الموجودة.
3. التحقق التجريبي: التقييم على المتاهات المنفصلة، وAntMaze (المشروط بالهدف)، وAntMaze مع دوال مكافأة عامة.

النتائج التجريبية

قيم المؤلفون FB $\pi$-Switch في المتاهات المنفصلة، وAntMaze (المشروط بالهدف)، وAntMaze مع دوال مكافأة عامة.

• المهام المشروطة بالهدف (AntMaze): حققت FB $\pi-Switch$ أداءً مشابهًا لـ HIQL، وهو أسلوب هرمي رائد. ومن الملاحظ أن إضافة سياسة عالية المستوى حسنت الأداء باستمرار مقارنة بالنسخ غير الهرمية. وحتى بدون الهرمية، تفوق FB $\pi$-Switch على غيره من النماذج غير الهرمية (مثل FB القياسي وICVF).
• مهام المكافأة العامة: في البيئات ذات تضاريس المكافأة الموزعة (وليست مجرد الوصول لهدف واحد)، حققت FB $\pi$-Switch أفضل متوسط أداء. وأظهر المتغير الهرمي تحسنًا في المتانة عبر البيئات.
• الدراسة الاستقصائية والتحليل:
  • تحفز السياسة عالية المستوى في FB $\pi$-Switch أهدافًا فرعية تقع على طول مسارات متماسكة نحو الهدف، في حين أن أهداف HIQL الفرعية غالبًا ما تؤدي إلى أفعال فورية متشابهة دون اتساق في المسار.
  • أظهرت التجارب التي جمعت بين السياسات عالية المستوى من FB $\pi$-Switch والسياسات منخفضة المستوى من FB القياسي أن جودة السياسة منخفضة المستوى أمر بالغ الأهمية لتحقيق الفوائد الهرمية.
  • تتعامل الطريقة بنجاح مع المهام التي تتضمن مقايضات بين الأهداف المحلية والعالمية، مما يتجاوز التركيز على الهدف الواحد التقليدي في GCRL.

الأهمية والادعاءات

تدعي الورقة أن تمثيلات الناجح المهيكلة توفر أساسًا مرنًا للتعلم التعزيزي الهرمي صفري الاستباق الذي يمتد إلى ما وراء مهام الوصول إلى الهدف. من خلال تقديم مقاييس الناجح التبدلية، يوضح المؤلفون أنه يمكن استخراج السلوك الهرمي مباشرة من التمثيلات المتعلمة دون الحاجة إلى:

• مسارات الخبراء.
• تجريدات زمنية مصممة يدويًا.
• أهداف مستقلة مشرفة للهرمية.

يجمع هذا العمل بين اتخاذ القرار المحلي والعالمي، مما يشير إلى أن تمثيلات الناجح يمكن أن تدعم بشكل طبيعي تركيب السلوكيات عبر المناطق. يشير المؤلفون إلى أنه بينما الطريقة فعالة، فإن جودة النموذج الأساسي تظل اعتمادًا، ويمكن للأعمال المستقبلية استكشاف التخطيط متعدد الأهداف والمقارنة مع الأساليب التوليدية القائمة على النماذج. يتم تقديم الإطار كنهج موحد لاشتقاق السياسات الهرمية من تمثيلات الناجح، مما يعالج الفجوة بين تعلم التمثيل والتحكم الهرمي في الإعدادات صفرية الاستباق.