ملخص تقني: التعلم المعزز العميق لحركة الرباعيات المتحكم بها عبر اللغة الطبيعية

بيان المشكلة

بينما توفر الروبوتات رباعية الأرجل مرونة فائقة في البيئات غير المهيكلة مقارنة بالمنصات ذات العجلات، إلا أن تحقيق حركة ديناميكية موثوقة تحت تحكم العنصر البشري في الحلقة (human-in-the-loop) لا يزال يمثل تحدياً. تعتمد طرق التحكم التنبئي بالنموذج (MPC) التقليدية على نماذج حركية وديناميكية صريحة غالباً ما تكون هشة تجاه التغيرات البيئية وتتطلب حركات مرجعية مصممة يدوياً. علاوة على ذلك، فإن أساليب التعلم المعزز العميق (DRL) الحالية، رغم متانتها، تقيد التفاعل البشري عادةً بواجهات منخفضة المستوى (مثل عصا التحكم أو النصوص البرمجية)، مما يحد من العمل الجماعي السلس بين الإنسان والروبوت. يتمثل التحدي الجوهري الذي يعالجه هذا البحث في سد الفجوة بين أوامر اللغة الطبيعية المجردة وحرة الشكل، وبين التحكم الحركي عالي التردد والمستمر المطلوب لاستقرار حركة الرباعيات، دون الاعتماد على مكتبة ثابتة من المهارات المنفصلة.

المنهجية

يقترح المؤلفون إطار عمل متكامل من الطرف إلى الطرف (end-to-end) يدمج وحدة فهم اللغة الطبيعية (NLU) مع متحكم حركة قائم على التعلم المعزز العميق (DRL). يعمل النظام من خلال المسار التالي:

1. وحدة فهم اللغة الطبيعية (NLU)

تقوم مشفرة DistilRoBERTa خفيفة الوزن بمعالجة أوامر المستخدم الخام (مثل "امشِ للأمام ببطء"). تقوم الوحدة التي تم ضبطها بدقة على مجموعة بيانات مكونة من 5,000 عينة من الأوامر والأهداف المقترنة، بإخراج ما يلي:

• ملصق النية (Intent Label): تصنيف لهدف المستخدم (مثل: الحركة، الدوران).
• أهداف الحركة المستمرة (Continuous Motion Targets): معاملات مستخرجة مثل السرعات الخطية والزاوية المرغوبة.
• التضمين الدلالي (Semantic Embedding): تمثيل متجه مضغوط للأمر.

تعمل هذه المخرجات كإشارات توجيه ديناميكية للمتحكم.

2. متحكم التعلم المعزز العميق (DRL)

يتم تدريب سياسة الحركة باستخدام خوارزمية تحسين السياسة القريبة (PPO) مع بنية الممثل-الناقد (actor-critic).

• فضاء الحالة (State Space): يتضمن البيانات الحسية الذاتية (مواضع وسرعات المفاصل، بيانات وحدة القياس العطالي IMU، حالات تلامس القدم) وإشارات الـ NLU المستخرجة.
• فضاء الفعل (Action Space): زوايا الأهداف المستمرة لـ 12 محركاً في روبوت Unitree A1.
• تشكيل المكافأة (Reward Shaping): يكمن الابتكار الجوهري في دالة المكافأة التي يتم تعديلها ديناميكياً بواسطة مخرجات الـ NLU. تجمع المكافأة الإجمالية $R_t$ بين:
  • مكافأة الحركة ($R_{locomotion}$): تضمن الاستقرار (تتبع مركز الكتلة القائم على ليابونوف)، وتتبع السرعة، والوضعية المنتصبة.
  • المكافأة الموجهة بـ NLU ($R_{NLU}$): تعدل المكافآات ديناميكياً بناءً على النية المتوقعة والأهداف المستمرة (مثل معاقبة الانحراف عن هدف السرعة "البطيئة").
  • التنظيم ($R_{regularization}$): يعاقب عزم دوران المفاصل العالي من أجل كفاءة الطاقة ويفرض عقوبات إنهاء عند السقوط.

3. تقطير المعلم-الطالب (Teacher–Student Distillation)

لمعالجة فجوة المحاكاة إلى الواقع (sim-to-real) وتحسين المتانة تحت الملاحظة الجزئية، يتم استخدام مخطط تدريب المعلم-الطالب:

• سياسة المعلم (Teacher Policy): مدربة في عملية ماركوف لاتخاذ القرار (MDP) كاملة الملاحظة مع معلومات مميزة (مثل ارتفاعات التضاريس الدقيقة، وقوى التلامس).
• سياسة الطالب (Student Policy): مدربة في عملية ماركوف لاتخاذ القرار جزئية الملاحظة (POMDP) باستخدام بيانات استشعار واقعية فقط. يتعلم الطالب عبر فقدان هجين يجمع بين استنساخ السلوك (imitation learning) والتعلم المعزز، باستخدام تباعد كولباك - ليبلر (KL divergence) ومحاكاة المكافأة للتماشي مع متانة المعلم.

المساهمات الرئيسية

1. مسار اللغة إلى الحركة: نظام يحلل الأوامر حرة الشكل إلى تمثيلات مهيكلة (النية + المعاملات المستمرة) مناسبة للتحكم في الوقت الفعلي، مما يلغي الحاجة إلى مكتبات مهارات محددة مسبقاً.
2. واجهة شرطية موحدة: آلية لحقن الأوامر المستخرجة في متحكم DRL عبر التكييف بالأهداف (دمج التضمينات في الحالة) وتشكيل المكافأة الديناميكي، مما يسمح بالتكيف المستمر مع نية المستخدم.
3. تقطير المعلم-الطالب: استراتيجية لضغط سياسة معلم عالية القدرة إلى سياسة طالب خفيفة الوزن، مما يحسن المتانة تجاه الضجيج ويقلل من فجوة المحاكاة إلى الواقع بشكل كبير.
4. التقييم المنهجي: بروتوكول شامل يقيم دقة الـ NLU، ومقاييس الحركة، والجدوى الأولية على الأجهزة باستخدام روبوت Unitree A1.

النتائج التجريبية

أُجريت التجارب في محاكي MuJoCo (نموذج Unitree A1) وتم التحقق منها على الأجهزة الحقيقية.

• أداء الـ NLU: حقق نموذج DistilRoBERTa دقة تصنيف للنية بلغت 95.7% ومتانة بلغت 91.8% تجاه إعادة الصياغة اللغوية، متفوقاً على نماذج BERT الأساسية مع الحفاظ على زمن استجاف أقل.
• مقاييس الحركة: في المحاكاة، حققت الطريقة المقترحة معدل نجاح بنسبة 93.4% عبر سيناريوهات متنوعة (الحركة الأساسية، الأوامر متعددة الأنماط، التكيف مع التضاريس)، متفوقة على MPC التقليدي (79.3%) وPPO القياسي بدون NLU (86.1%).
• التحقق على الروبوت الحقيقي: أظهرت التجارب الأولية على Unitree A1 معدلات نجاح عالية لأوامر محددة: المشي للأمام (96%)، الدوران يساراً (94.8%)، والتوقف (100%).
• الكفاءة: أظهر النظام تحسناً في كفاءة الطاقة (0.10 جول/خطوة) وسرعة تكيف أعلى (1.0 ثانية) مقارنة بالنماذج المرجعية.
• دراسات الاستئصال (Ablation Studies): أدى إزالة التكييف بـ NLU إلى انخفاض معدلات النجاح إلى 85.7%، كما أدى إزالة خطوة التقطير إلى زيادة الحساسية للضجيج، مما يؤكد ضرورة كلا المكونين.

الأهمية والادعاءات

يزعم البحث أن الإشارات المهيكلة المستخرجة من اللغة حرة الشكل يمكن أن تعدل بفعالية أهداف حركة DRL لتنفيذ أوامر ذات معاملات في الوقت الفعلي. من خلال ربط الـ NLU بتشكيل المكافأة والتكييف بالأهداف، يتيح إطار العمل للروبوتات رباعية الأرجل تكييف مشيتها ومعاملات حركتها عبر الإنترنت دون إعادة تدريب. يؤكد المؤلفون أن نهجهم يوفر استقراراً وقدرة على التكيف أعلى مقارنة بالطرق التي تعتمد على تمثيلات أنماط التلامس الوسيطة (مثل SayTap) أو مكتبات المهارات الثابتة.

يتبنى المؤلفون موقفاً متواضعاً فيما يتعلق بالقيود، حيث يقرون بأن نطاق الأوامر الحالي محدود لنيات ومعاملات مستمرة محددة، وأن مجموعة بيانات الـ NLU اصطناعية جزئياً، وأن تجارب الروبوت الحقيقي أولية. ويرون أن العمل المستقبلي يجب أن يركز على توسيع نطاق الأوامر ليشمل تعليمات متعددة النوايا، ودمج تعدد الوسائط (الرؤية + اللغة)، وإجراء اختبارات ميدانية واسعة للتحقق من الموثوقية طويلة المدى.