Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التعميم من المراجع باستخدام إطار عمل تعزيزي متعدد المهام يعتمد على المرجع والهدف."

1. بيان المشكلة

تتناول الورقة مقايضة جوهرية في تعلم سلوكيات الروبوتات البشرية (Humanoid) الرشيقة:

• التعلم التعزيزي لتتبع المرجع (Reference-Tracking RL): السياسات التي يتم تدريبها لاتباع بيانات التقاط الحركة (MoCap) بدقة تنتج حركات عالية الجودة، طبيعية، ومنسقة. ومع ذلك، غالبًا ما تكون هشة، حيث تفشل في التعميم عند مواجهة أهداف أو بيئات أو ظروف أولية جديدة خارج مجموعة بيانات العروض التوضيحية.
• التعلم التعزيزي القائم على الهدف (Goal-Driven / Tabula Rasa RL): السياسات التي يتم تدريبها فقط على أهداف المهمة (مثل "الوصول إلى هذه النقطة") تكون شديدة التكيف، لكنها غالبًا ما تنتج حركات غير طبيعية، غير منسقة، أو عدوانية لأنها تفتقر إلى الانحياز الاستقرائي لحركة البشر.

تحاول الأساليب الحالية (مثل التقطير، أو التقليد التنافسي) سد هذه الفجوة، لكنها تظل غالبًا مرتبطة ارتباطًا وثيقًا ببيانات المرجع أثناء الاستنتاج، أو تعاني من عدم الاستقرار في السيناريوهات الديناميكية الغنية بالتلامس. يهدف المؤلفون إلى إنشاء وحدة تحكم تتعلم مهارات حركية مهيكلة تشبه حركة البشر من المراجع، ولكن يمكنها التكيف بمرونة مع الأهداف الجديدة دون الحاجة إلى مسارات مرجعية وقت التنفيذ.

2. المنهجية

يقترح المؤلفون إطار عمل موحد للتعلم التعزيزي متعدد المهام (Multi-Task RL) يدرب سياسة واحدة مشروطة بالهدف على مهمتين متمايزتين ولكن تشتركان في نفس الخصائص.

أ. البنية الأساسية

• سياسة واحدة: يتم تدريب سياسة مشروطة بالهدف $\pi(s_t, g_t)$ بشكل مشترك على مهمتين.
• فضاء الملاحظة: تلاحظ السياسة حالة الروبوت $s_t$ (تكوين المفاصل، السرعات، إسقاط الجاذبية) وهدفًا $g_t$ (موقع الجذر المستهدف). ومن الأهمية بمكان أن حركات المرجع لا تُقدم أبدًا كمدخلات للسياسة.
• فضاء الفعل: تخرج السياسة أفعالًا متبقية (residual actions) يتم رسم خرائطها إلى وحدات التحكم في المفاصل (PD controllers). وعلى عكس التتبع القياسي، لا تُستخدم مواضع المفاصل المرجعية للتغذية الأمامية.

ب. المهمتان

1. مهمة التقليد الموجه بالمرجع:
   • الهدف: مستمد من حركات المرجع.
   • المكافأة: مكافآت تقليد كثيفة ($r_{track}$) تشجع الروبوت على مطابقة وضعية المرجع، والسرعة، وتكوينات المفاصل، بالإضافة إلى مكافآت التنظيم والبقاء.
   • الغرض: توفير إشراف كثيف لتشكيل السياسة نحو سلوكيات طبيعية، منسقة، وممكنة فيزيائيًا (تعلم التمثيل).
2. مهمة التعميم المشروط بالهدف:
   • الهدف: يتم أخذ عينات منه عشوائيًا وبشكل مستقل عن أي مرجع.
   • المكافأة: مكافآت مهمة متفرقة ($r_{goal}$) تعتمد على الوصول إلى الموقع/الاتجاه المستهدف، بالإضافة إلى نفس شروط التنظيم والبقاء.
   • الغرض: إجبار السياسة على تكييف المهارات الحركية المتعلمة لتحقيق الأهداف تحت ظروف متنوعة دون الاعتماد على المرجع.

ج. التعلم المنهجي (Curriculum Learning) والتدريب

• العزم المساعد (Assistive Wrench): مجدول صعوبة تلقائي ($\lambda$) يتحكم في عزم مساعد افتراضي يُطبق على قاعدة الروبوت. يكون هذا العزم قويًا في بداية التدريب (عندما يكون $\lambda$ منخفضًا) لاستقرار تعلم المهارات الديناميكية (مثل القفز)، ثم يتلاشى مع تقدم التدريب.
• خلط المهام: يتم استكمال (interpolation) احتمالية أخذ العينات بين مهمة التقليد ومهمة التعميم بناءً على $\lambda$. يبدأ المنهج بتدريب مكثف على التقليد (لاكتساب المهارة) وينتقل تدريجيًا نحو التعميم (للتكيف).
• تهيئة الحالة:
  • التقليد: يتم تهيئة الحالات بالقرب من مسارات المرجع.
  • التعميم: يتم أخذ عينات من الحالات والأهداف من توزيعات واسعة لفرض المتانة.
• الخوارزمية: استخدام خوارزمية (PPO) مع بنية (actor-critic) غير متماثلة. يتلقى الناقد (critic) معلومات مميزة (الحالة الكاملة، قوى التلامس) متاحة فقط في المحاكاة لتحسين استقرار التدريب.

3. المساهمات الرئيسية

1. فك الارتباط بين جودة الحركة ومدخلات المرجع: يعامل إطار العمل حركة المرجع كـ أولوية لتشكيل السلوك وليس كقيد وقت التشغيل. تنفذ السياسة النهائية الحركة بناءً على الحالة والهدف فقط، مما يسمح بالتعميم خارج نطاق التوزيع التدريبي.
2. صياغة موحدة متعددة المهام: من خلال تحسين مهام التقليد والتعميم بشكل مشترك ضمن فضاء ملاحظة مشترك، تكتسب السياسة مهارات حركية مهيكلة مع تعلم كيفية التكيف مع السيناريوهات الجديدة.
3. لا يوجد تنافس أو تتبع صريح عند الاستنتاج: يتجنب الأسلوب عدم الاستقرار في التعلم التقليدي التنافسي (AIL) وجمود تتبع المسار الصريح أثناء النشر.
4. تركيب المهارات طويلة المدى: يمكن تركيب المهارات المتعلمة عبر آلة حالة قائمة على القواعد لأداء تسلسلات باركور معقدة ومتعددة المراحل (مثل: مشي $\leftarrow$ قفز $\leftarrow$ تسلق $\leftarrow$ نزول).

4. النتائج التجريبية

تم تقييم الطريقة على الروبوت البشري Unitree G1 (بـ 29 درجة حرية) في المحاكاة (MuJoCo, Isaac Lab) وعلى الأجهزة الحقيقية.

• المهام: مشي-قفز، مشي-تسلق، وتسلق-نزول فوق بيئة باركور تعتمد على الصناديق.
• المتانة والتعميم:
  • حققت الطريقة المقترحة نسب نجاح عالية (تصل إلى 100% في الظروف الاسمية، وحوالي 76% في الظروف الخارجة عن النطاق الاسمي) حتى عندما تم تغيير الظروف الأولية (الموقع، الاتجاه، ارتفاع الصندوق) بشكل كبير.
  • في المقابل، فشلت طريقة ZEST (القائمة على التتبع) تحت الظروف الخارجة عن النطاق الاسمي (انخفضت نسبة النجاح إلى ~17-57%) لأنها حاولت فرض التوافق مع مسار المرجع، مما تسبب في عدم الاستقرار.
  • حققت طريقة التعلم من الصفر (Tabula Rasa RL) نسب نجاح عالية ولكنها أنتجت حركات غير منسقة، عدوانية، وغير طبيعية (مثل القفز مباشرة من فوق الصندوق بدلًا من النزول منه).
• جودة الحركة: حافظت الطريقة المقترحة على خطأ منخفض في اتجاه الجذر وأخطاء معقولة في مواضع المفاصل، مما حافظ على الأسلوب الشبيه بالبشر مع التكيف مع الأهداف الجديدة.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة المنهج التعليمي (Curriculum) إلى فشل كامل في المهام الديناميكية (القفز/التسلق).
  • أدت إزالة مهمة التقليد إلى سلوكيات جشعة وغير منسقة.
  • أدت إزالة مهمة التعميم إلى الحفاظ على الأسلوب ولكن مع الفشل في التكيف مع الظروف الجديدة.

5. الأهمية

توضح هذه الدراسة مسارًا عمليًا نحو استقلالية الروبوتات البشرية المرنة والموجهة بالأهداف في البيئات غير المنظمة. من خلال النجاح في نقل المهارات المتعلمة من بيانات البشر إلى سيناريوهات معقدة وجديدة (الباركور) دون الحاجة إلى مدخلات مرجعية وقت التشغيل، يتغلب إطار العمل على "هشاشة" التعلم التقليدي القائم على التقليد. إنها تثبت أن سياسة واحدة يمكنها إتقان أسلوب الحركة البشرية والقدرة على التكيف المطلوبة للنشر في العالم الحقيقي في آن واحد، مما يمهد الطريق لروبوتات بشرية أكثر متانة وتعددًا في الاستخدام قادرة على أداء سلوكيات رياضية معقدة.