Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان: "التحكم التنبئي بالنماذج القائم على مطابقة التكلفة من أجل التعلم المعزز الفعال في حركة الروبوتات البشرية (Humanoid)."

1. بيان المشكلة

تواجه حركة الروبوتات البشرية تحديات كبيرة بسبب الاتصالات المتقطعة، ودرجات الحرية العالية، والقيود الصارمة على السلامة. وبينما يعد التحكم التنبئي بالنماذج (MPC) نموذجًا مهيمنًا للتعامل مع هذه القيود عبر التحسين عبر الإنترنت، فإنه يعتمد على نماذج مبسطة (مثل ديناميكيات المركز - centroidal dynamics) لتلبية متطلبات الحوسبة في الوقت الفعلي. يؤدي هذا التبسيط إلى عدم تطابق النموذج (model mismatch) مع التنفيذ الفيزيائي عالي الدقة، مما يؤدي غالبًا إلى أداء دون المستوى يتطلب ضبطًا يدويًا مكثفًا لأوزان التكلفة وعقوبات النهاية.

يوفر التعلم المعزز (RL) بديلًا قائمًا على البيانات، ولكنه يعاني من عدم كفاءة العينات وصعوبة فرض قيود السلامة الصارمة. تواجه النهج الهجينة الحالية (MPC-RL) التي تعامل الـ MPC كدالة تقريبية قابلة للتعلم عقبة حرجة: تتطلب عملية التدريب القائمة على التدرج (gradient-based training) حل مسألة تحسين الـ MPC بشكل متكرر داخل حلقة التعلم. بالنسبة للأنظمة البشرية المعقدة وحرجة الوقت، فإن نهج "الحل داخل الحلقة" (solve-in-the-loop) هذا يكون مكلفًا حوسبيًا للغاية.

2. المنهجية: التحكم التنبئي بالنماذج القائم على مطابقة التكلفة (CM-MPC)

يقترح المؤلفون التحكم التنبئي بالنماذج القائم على مطابقة التكلفة (CM-MPC)، وهو إطار عمل يتعلم معاملات الـ MPC عن طريق تقليل التفاوت بين التكلفة المتوقدة (cost-to-go) للـ MPC وبين العوائد الفعلية طويلة الأمد المرصودة من تنفيذ النظام، دون حل مسألة تحسين الـ MPC أثناء التدريب.

المفهوم الجوهري

بدلاً من التفاضل عبر حل الـ MPC، تعامل هذه الطريقة الـ MPC كدالة تقريبية معلمية لدالة قيمة الفعل ($Q$).

1. التمثيل المعلمي (Parameterization): يتم تمثيل النموذج التنبئي للـ MPC (ديناميكيات المركز) ودالة التكلفة (تكاليف المرحلة والنهاية) بواسطة متجه $\theta$.
2. القيمة البديلة ($Q^{MPC}_{\theta}$): لحالة معينة وتسلسل مسجل من الأفعال، يتم تقدير قيمة الـ MPC عن طريق تمرير (rolling out) النموذج المعلمي للأمام. يتضمن ذلك تجميع تكاليف المرحلة وإضافة عقوبات قابلة للتفاضل لانتهاكات القيود (القيود الناعمة) على طول المسار.
3. العائد المقاس ($Q^{meas}$): هو إجمالي التكلفة المخصومة الفعلية المرصودة من النظام عالي الدقة (المحاكي أو الروبوت) عبر أفق زمني طويل.
4. هدف التعلم: الهدف هو تقليل متوسط مربع الخطأ (MSE) بين القيمة البديلة والعائد المقاس:
   $$\min_{\theta} \mathbb{E} \left[ (Q^{MPC}_{\theta} - Q^{meas})^2 \right]$$
5. حلقة التدريب:
   • جمع المسارات باستخدام سياسة الـ MPC الحالية.
   • حساب $Q^{meas}$ من البيانات المسجلة.
   • حساب $Q^{MPC}_{\theta}$ عن طريق تمرير النموذج المعلمي على نفس مقاطع الأفعال.
   • تحديث $\theta$ عبر التدرج النازل (gradient descent).
   • الميزة الحاسمة: يتجنب هذا عملية حل مسألة القيود (5) أثناء التدريب، مما يقلل التعقيد الحوسبي من كونه أسيًا/تكراريًا إلى خطي بالنسبة لطول الأفق الزمني.

تطبيق النظام

• الديناميكيات: يستخدم نموذج ديناميكيات مركز كامل (صياغة OCS2) يلتقط الزخم الخطي والزاوي وسرعات المفاصل.
• القيود: تشمل حدود المفاصل، وتجنب تصادم القدم (SDF)، ومخاريط الاحتكاك، وقيود مركز الضغط (CoP).
• دالة التكلفة: مقسمة إلى التتبع، واستقرار القاعدة، وتوازن مركز الكتلة (CoM)، ووضعية القدم المتأرجحة، وتنظيم عزم الدوران.
• المعلمات القابلة للتعلم:
  • الكسب (gains) في معادلات انتشار الزخم (لتصحيح عدم تطابق النموذج).
  • متجهات القياس القطرية لأوزان التكلفة التربيعية ($Q, R, Q_f$).

3. المساهمات الرئيسية

1. إطار تعلم فعال: يقدم نهج مطابقة التكلفة الذي يلغي الحاجة إلى حلول متكررة للـ MPC أثناء التدريب، مما يجعل الـ MPC-RL ممكنًا للأنظمة البشرية المعقدة التي تعمل في الوقت الفعلي.
2. التقارب النظري: يثبت أن تحديث مطابقة التكلفة العشوائي يتقارب نحو نقطة استقرار من الدرجة الأولى تحت افتراضات السلاسة والتباين المحدود القياسية.
3. المتانة عبر التكيف القائم على البيانات: يوضح أن تعلم تكاليف النهاية ومكاسب النموذج يعمل بفعالية على تعويض "قصر النظر" (myopia) للـ MPC قصير الأفق وعدم تطابق النموذج المنهجي (مثل الامتثال غير النموذجي أو تجريدات تتبع المكدس).
4. تنفيذ مفتوح المصدر: يوفر تنفيذًا كاملاً لمنصة روبوت بشري تجارية (Unitree G1).

4. النتائج والتحليل

تم التحقق من صحة الطريقة في محاكاة عالية الدقة لروبوت بشري من طراز Unitree G1، مع مقارنة الـ CM-MPC المتعلم مقابل خط أساس تم ضبطه يدويًا.

• اتساق القيمة: نجح التدريب في تقليل التفاوت بين التكلفة المتوقدة البديلة للـ MPC وبين العوائد طويلة الأمد المقاسة. زادت أوزان تكلفة النهاية ($Q_f$) بشكل كبير أثناء التدريب، مما عمل بفعالية كتقريب "لتكلفة الذيل" (tail-cost) لتصحيح انحياز الأفق القصير.
• رد الفعل تجاه الاضطرابات: تحت تأثير الاضطرابات الخارجية (نبضات قوة جانبية وعزم دوران حول المحور الرأسي):
  • تعافي أسرع: قلل CM-MPC زمن الاستقرار بنسبة 31.25% مقارنة بالخط المرجعي.
  • تحكم أكثر سلاسة: أظهر جهد تحكم أقل و"ارتجافًا" (اختلاف المدخلات) أقل، مما يشير إلى إجراءات تصحيحية أكثر استقرارًا.
  • المقايضات: بينما ظلت أخطاء تتبع الزخم الصارمة قابلة للمقارنة، أعطى المتحكم الأولوية لاستقرار الجسم بالكامل وصد الاضطرابات على التتبع الدقيق للمرجع، وهو سلوك تم تعلمه ضمنيًا من خلال عملية مطابقة التكلفة.
• التحسينات الإحصائية:
  • انخفاض ذروة الخطأ بعد الدفع بنسبة 4.80%.
  • انخفاض الخطأ المطلق المتكامل (IAE) بنسبة 6.82%.
  • تقليل جهد التحكم في النسب المئوية العالية بنسبة 5.26%.

5. الأهمية

يسد هذا العمل الفجوة بين ضمانات السلامة للـ MPC المقيد وقدرة التعلم المعزز على التكيف.

• الكفاءة الحوسبية: من خلال فصل عملية التعلم عن حل الـ MPC، فإنه يتيح تدريب سياسات حركة معقدة كانت في السابق مكلفة حوسبيًا جدًا للتعلم عبر MPC-RL القياسي.
• المتانة: يوفر طريقة منهجية لضبط معاملات الـ MPC باستخدام بيانات العالم الحقيقي، مما يعوض تلقائيًا عن عدم دقة النموذج ويبسط عبء الضبط اليدوي للروبوتات البشرية.
• النشر العملي: يحتفظ المتحكم الناتج بهيكل الـ MPC المقيد القياسي للنشر، مما يضمن السلامة والجدوى مع الاستفادة من تحسينات الأداء القائمة على البيانات.

باخت ملخص، يقدم التحكم التنبئي بالنماذج القائم على مطابقة التكلفة (CM-MPC) حلاً قابلاً للتوسع والفعالية والمتانة لتعلم سلوكيات الحركة المثلى في الروبوتات البشرية، حيث يعالج بنجاح المقايضة بين التكلفة الحوسبية والأداء في التعلم القائم على النموذج.