Learning Hip Exoskeleton Control Policy via Predictive Neuromusculoskeletal Simulation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم سياسة التحكم في الهيكل الخارجي للورك عبر المحاكاة العصبية العضلية الهيكلية التنبؤية."

1. بيان المشكلة

يعتمد تطوير وحدات التحكم الفعالة للهياكل الخارجية للأطراف السفلية عادةً على التحسين في حلقة بشرية (HITL) أو التعلم الخاضع للإشراف باستخدام بيانات واسعة النطاق لالتقاط الحركة. تواجه هذه الأساليب تحديات كبيرة في القابلية للتوسع:

• الاعتماد على البيانات: تتطلب هذه الأساليب تنسيقاً بين الحركية (kinematics)، وقوى رد فعل الأرض (GRF)، والوسم البيوميكانيكي، وهي أمور يصعب الحصول عليها خارج المختبرات المجهزة.
• التعميم: غالباً ما تفشل وحدات التحكم التي تم تحسينها لمهام محددة (مثل سرعة أو تضاريس ثابتة) في التعميم على ظروف متنوعة في العالم الحقيقي (تغير المنحدرات، السرعات، والانتقالات).
• السلامة والكفاءة: إن اختبار استراتيجيات التحكم غير المجربة على البشر عملية تستغرق وقتاً طويلاً، ومكلفة، وقد تكون غير آمنة.
• فجوة المحاكاة إلى الواقع (Sim-to-Real Gap): بينما يعد التعلم التعزيزي (RL) في المحاكاة أمراً واعداً، فإن دراسات قليلة نجحت في نشر سياسات الهيكل الخارسي ذات الحلقة المغلقة التي تم تعلمها بالكامل في محاكاة قائمة على الفيزياء على أجهزة مادية دون الحاجة إلى عروض توضيحية من التقاط الحركة.

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم العصبي العضلي الهيكلي القائم على الفيزياء يقوم بتدريب سياسة التحكم بالكامل في المحاكاة، ثم نشرها على الأجهزة عبر تقطير السياسة (Policy Distillation). يتكون سير العمل من أربعة مكونات:

أ. بيئة المحاكاة العصبية العضلية الهيكلية

• النموذج: نموذج عضلي هيكلي كامل الجسم (H2190) بـ 21 درجة حرية و90 من مشغلات العضلات من نوع "هيل" (Hill-type). تمت إضافة مشغلات هيكل خارجي ثنائية الجانب للورك لتطبيق عزوم دوران الثني والمد (flexion-extension).
• محرك الفيزياء: محرك Hyfydy مدمج مع إطار عمل SCONE.
• التعلم المنهجي (على مرحلتين):
  1. المرحلة 1 (بدون هيكل خارجي): يتعلم الوكيل المشي المستقر غير المدعوم عبر نطاق واسع من السرعات (0.7–1.5 م/ث) والمنحدرات (-5° إلى +5°) باستخدام أولوية تآزر عضلي (muscle-synergy action prior).
  2. المرحلة 2 (بمساعدة الهيكل الخارجي): يتعلم الوكيل كيفية تنسيق الاستثارات العضلية وعزوم دوران الهيكل الخارجي. يتم تدريب خط أساس "بدون هيكل خارسي" مطابق في نفس الوقت لقياس مدى الاستفادة من المساعدة.
• فضاء العمل (Action Space): بدلاً من التحكم في العضلات الفردية، يستخدم الوكيل أولوية التآزر العضلي (المستمدة من بيانات المشي البشري عبر تحليل المصفوفة غير السالبة - NMF). يتضمن فضاء العمل 10 معاملات تآزر لكل ساق، و10 تنشيطات للجذع/الحوض، وأمرين خام لعزم دوران الورك.
• دالة المكافأة: صُممت لتشجيع السرعة المستهدفة، وتقليل الجهد العضلي (وكيل للتكلفة الأيضية)، والحفاظ على نطاقات المفاصل الفسيولوجية، ومعاقبة السقوط، وضمان تقديم عزم دوران سلس.

ب. تقطير السياسة (النقل من المحاكاة إلى الواقع)

• سياسة المعلم (Teacher Policy): وكيل تعلم تعزيزي ذو امتيازات (Soft Actor-Critic) مدرب في المحاكاة مع الوصول إلى معلومات الحالة الكاملة (حالات العضلات، حركية المفاصل، قوى رد فعل الأرض، إلخ).
• سياسة الطالب (Student Policy): لسد الفجوة مع الأجهزة المادية، يتم تقطير "المعلم" في شبكة تلافيفية زمنية (TCN).
  • المدخلات: سجل قصير (0.95 ثانية) لإشارة مستشعر واحد قابل للارتداء: السرعة الزاوية في الاتجاه الوسطي الجانبي للفخذ (من مستشعر IMU).
  • المخرات: أوامر عزم دوران الورك في الوقت الفعلي.
  • الأساس المنطقي: حدد المؤلفون أن محور الجيروسكوب الوسطي الجانبي يمتلك أعلى ارتباط ($r=0.55$) بين بيانات المحاكاة والبيانات المادية، مما يجعله الوسيط الأمثل للمدخل الواحد.

ج. التنفيذ على الأجهزة

• الجهاز: هيكل خارجي للورك روبوتي مخصص (4.5 كجم) بمحركات تعمل بالدفع المباشر شبه المباشر (quasi-direct-drive) بعزم دوران ذروي قدره 18 نيوتن متر.
• التحكم المدمج: يعمل على منصة NVIDIA Jetson Orin Nano. تنفذ سياسة الطالب عند تردد 100 هرتز.
• التكيف: يتم تغيير مقاييس أوامر عزم الدوران بناءً على كتلة جسم المستخدم بالنسبة لنموذج المحاكاة، ويتم تطبيق مرشح تمرير منخفض ($\tau=0.15$ ثانية) لتخفيف الضوضاء.

3. المساهمات الرئيسية

1. تدريب خالٍ من التقاط الحركة: أثبتت الدراسة مساراً لتعلم سياسات التحكم في الهيكل الخارجي بالكامل في المحاكاة دون الحاجة إلى عروض توضيحية بشرية لالتقاط الحركة أو أهداف محاكاة الحركة.
2. التحقق الكمي من النقل من المحاكاة إلى الواقع: قدمت أدلة صارمة على النقل من خلال مقارنة موجات عزم المساعدة بين المحاكاة والأجهزة المادية، محققة ارتباطاً عالياً ($r=0.82 \pm 0.19$) وخطأ منخفضاً (RMSE: $0.03 \pm 0.01$ نيوتن متر/كجم).
3. معايرة الدقة البيوميكانيكية: تم التحقق من دقة المحاكاة من خلال مقارنة زوايا المفاصل وعزومها مع بيانات البيوميكانيكا البشرية مفتوحة المصدر، مما أكد أن المحاكاة تنتج مشية فسيولوجية منطقية ($RMSE_{angle} \approx 7.3^\circ$، $RMSE_{moment} \approx 0.26$ نيوتن متر/كجم).
4. تحليل تقليل الجهد: كمّت الدراسة تقليل التنشيط العضلي وقدرة المفاصل في المحاكاة، مما أظهر فوائد منهجية تزداد مع سرعة المشي.

4. النتائج الرئيسية

• أداء المحاكاة:
  • قللت مساعدة الهيكل الخارجي من متوسط التنشيط العضلي بنسبة تصل إلى 3.4% (الأرض المستوية) و3.4% (صعود المنحدر).
  • قللت من متوسط قدرة المفاصل الموجبة بنسبة تصل إلى 7.0% على الأرض المستوية وصعود المنحدر.
  • زادت الفوائد بشكل منهجي مع زيادة سرعة المشي (ارتباط $r=0.98$ بين السرعة وتقليل التنشيط).
  • لوحظت فائدة ضئيلة عند نزول المنحدر، وهو ما يتوافق مع التوقعات البيوميكانيكية حيث يسود العمل السلبي.
• النقل من المحاكاة إلى الواقع:
  • تم الحفاظ على ملفات المساعدة التي تم تعلمها في المحاكة على الجهاز المادي عبر ظروف السرعة والمنحدر المتطابقة.
  • صعود المنحدر: أعلى درجة توافق ($r=0.98$).
  • الأرض المستوية: توافق عالٍ ($r=0.83$).
  • نزول المنحدر: توافق أقل ولكنه لا يزال كبيراً ($r=0.66$).
• تحليل التوقيت:
  • طور المتحكم المتعلم بشكل طبيعي تأخراً في الطور (phase lag) بالنسبة لعزوم المفاصل البيولوجية (103 مللي ثانية للمد و166 مللي ثانية للثني)، وهو ما يتماشى مع التأخيرات المعروفة في الاستشعار والتشغيل البيولوجي، دون الحاجة إلى ضبط يدوي لتأخيرات ثابتة.

5. الأهمية والأثر

• القابلية للتوسع: يوفر هذا النهج أساساً قابلاً للتوسع لتطوير الهياكل الخارجيةية، مما يقلل بشكل كبير من العبء التجريبي أثناء مرحلة التصميم. فهو يسمح بالتكرار السريع والاختبار لمختلف التضاريس والسرعات دون الحاجة إلى بشر.
• الإمكانات السريرية: من خلال الاعتماد على النماذج العصبية العضلية الهيكلية التنبؤية بدلاً من التقاط الحركة، يمكن تكييف هذا الإطار للتعامل مع الفئات التي تعاني من إصابات (مثل السكتة الدماغية، أو إصابات النخاع الشوكي) حيث يكون جمع مجموعات بيانات ضخمة ومتنوعة أمراً صعباً أخلاقياً ولوجستياً. كما يسمح بدمج القيود الفسيولوجية العصبية الخاصة بكل حالة مرضية.
• تحول في النموذج الفكري: ينتقل هذا العمل من المتحكمات "المعدلة يدوياً" أو "محاكية الحركة" إلى سياسات متعلمة من البداية إلى النهاية (end-to-end) تكتشف استراتيجيات المساعدة المثلى بناءً على التفاعل الفيزيائي وتقليل الجهد، مع التحقق منها عبر مقاييس كمية للنقل من المحاكاة إلى الواقع.

في الختام، تثبت الورقة أن المحاكة العصبية العضلية الهيكلية القائمة على الفيزياء هي أداة حيوية وعملية لتطوير وحدات تحكم قوية وقابلة للتعميم للهياكل الخارجية، حيث نجحت في سد الفجوة بين المحاكاة ونشر الأجهزة في العالم الحقيقي دون الحاجة إلى بيانات عرض توضيحي بشرية واسعة النطاق.