Terrain Consistent Reference-Guided RL for Humanoid Navigation Autonomy
تقدم هذه الورقة طريقة تعلّم تعزيزي موجهة بمرجع تعمل على تعديل مسارات التدريب لتتطابق مع هندسة التضاريس، مما يمكّن روبوت "يونيتري جي 1" (Unitree G1) البشري من تحقيق ملاحة ذاتية قوية وطويلة المدى فوق التضاريس الوعرة والسلالم باستخدام الاستشعار والحوسبة المدمجة فقط.
المؤلفون الأصليون:William D. Compton, Zachary Olkin, Aaron D. Ames
تخيل أنك تعلم روبوتًا كيف يمشي في عالم فوضوي وغير متوقع — مثل موقع بناء يحتوي على سلالم، وأرض غير مستوية، ومداخل ضيقة. عادةً، يكون أمامك خياران: إما تعليم الروبوت كيف "يتحسس" طريقه باستخدام الكاميرات (وهو أمر قد يكون متعثرًا)، أو إعطاؤه "نصًا" مثاليًا مكتوبًا مسبقًا يحدد بدقة كيفية تحريك أرجله (وهذا النص سيفشل إذا تغيرت طبيعة الأرض).
تقدم هذه الورقة البحثية حلاً وسطًا ذكيًا: روبوت يتعلم المشي من خلال اتباع "نص ذكي" يغير نفسه في الوقت الفعلي ليتناسب مع شكل الأرض.
إليك كيف فعلوا ذلك، مقسمًا إلى مفاهيم بسيطة:
١. المشكلة: النص "الأعمى" مقابل الكاميرا "المتعثرة"
الطريقة القديمة (الموجهة بالمرجع): تخيل أنك تعطي راقصًا نصًا يقول: "تقدم خطوة للأمام بمقدار متر واحد". إذا كانت الأرض مستوية، سيخطو مترًا واحدًا. أما إذا كان هناك حفرة أو درجة مرتفعة، فقد يتعثر لأن النص لا يعلم أن الأرض قد تغيرت.
الطريقة القديمة الأخرى (التعلم المعزز الإدراكي): تخيل أنك تعلم روبوتًا عبر عرض آلاف الفيديوهات للمشي عليه، وتتركه يكتشف قوانين الفيزياء بنفسه. هذا يعمل جيدًا، لكن من الصعب ربطه بنظام "GPS" يخبر الروبوت أين يذهب. قد يكون الروبوت بارعًا في المشي، لكنه سيء جدًا في اتباع خريطة.
٢. الحل: النص "متغير الشكل"
ابتكر المؤلفون نظامًا يتعلم فيه الروبوت المشي من خلال اتباع مسار مرجعي (نص)، ولكن هذا النص يتم "تشكيله" ليتناسب مع التضاريس قبل أن يحاول الروبوت اتباعه.
فكر في الأمر كالتالي:
لدى الروبوت "عقل" (سياسة الذكاء الاصطناعي) يريد اتباع مسار محدد.
قبل أن يتحرك الروبوت، يعمل نموذج رياضي سريع (يسمى البندول المعكوس الخطي) كأنه طابعة ثلاثية الأبعاد للمسار.
إذا رأى الروبوت درجًا، فإن "الطابعة" تقوم فورًا بإعادة تشكيل أمر "تقدم خطوة متر واحد" إلى "تقدم خطوة متر واحد، ولكن ارفع قدمك عاليًا وزاوية قدمك لتناسب الدرجة".
يتعلم الروبوت بعد ذلك اتباع هذا النص المعدل. ولأن النص معدل بالفعل ليكون مثاليًا للتضاريس، فإن الروبوت يتعلم المشي بشكل أسرع وأكثر استقرارًا.
٣. واجهة "SE(2)": جهاز التحكم الشامل
أحد أكبر العوائق في علم الروبوتات هو جعل "العقل" (الذي يمشي) يتواصل مع "الملاح" (نظام الـ GPS أو المخطط).
عادةً، يتحدث هذان النظامان لغتين مختلفتين. الملاح يقول "اذهب إلى المطبخ"، لكن الروبوت يحتاج لمعرفة كيفية تحريك كل مفصل بدقة.
تمنح هذه الورقة الروبوت جهاز تحكم عن بعد شامل. الملاح يرسل فقط أوامر بسيطة مثل "امشِ للأمام بسرعة متر واحد في الثانية" أو "انعطف يسارًا".
يأخذ النظام الداخلي للروبوت هذا الأمر البسيط، وينظر إلى الأرض، ويعيد تشكيل "النص" (المرجع)، ثم ينفذ حركات الأرجل المعقدة تلقائيًا. هذا يجعل من السهل دمج هذا الروبوت اللاهث في برامج الملاحة القياسية.
٤. النتائج: المشي ببراعة
اختبر الفريق هذا النظام على روبوت بشري من نوع Unitree G1 (روبوت ثنائي الأرجل يشبه البشر).
في المحاكي: أظهروا أنه عندما يستخدم الروبوت النص "المُشكل"، فإنه يتتبع المسار بشكل أفضل بكثير مما لو حاول اتباع نص ثابت لا يتغير.
في العالم الحقيقي: وضعوا الروبوت في مبنى حقيقي وفي الخارج.
مشى الروبوت أكثر من ٧٠ مترًا (حوالي طول ملعب كرة قدم) بشكل مستقل.
صعد طابقين من السلالم وتنقل فوق أرض وعرة وغير مستوية.
فعل كل ذلك مع حدوث كل عمليات "التفكير" و"الاستشعار" داخل الروبوت نفسه، دون أن يكون مرتبطًا بجهاز كمبيوتر خارجي.
ملخص تشبيهي
تخيل أنك تتعلم قيادة السيارة.
الطريقة (أ) (الطريقة القديمة): لديك نظام GPS يخبرك بزاوية التوجيه الدقيقة وضغط دواسة الوقود لطريق معين. إذا سلكت طريقًا فرعيًا، ستكون التعليمات خاطئة، فتقوم بالاصطدام.
الطريقة (ب) (الطريقة القديمة): يتم إلقاؤك في سيارة بدون أي تعليمات ويُطلب منك "أن تفهم الأمر بنفسك". قد تتعلم، لكن الأمر يستغرق وقتًا طويلاً، ولا يمكنك بسهولة إخبار السيارة "اذهبي إلى المتجر".
طريقة هذه الورقة: لديك نظام GPS يخبرك "اذهب إلى المتجر". وبينما تقود، يقوم مساعد ذكي بإعادة كتابة تعليمات "التوجيه والوقود" فورًا بناءً على الحفر والمنعطفات التي تراها في تلك اللحظة. أنت تتبع هذه التعليمات المثالية والفورية، مما يسمح لك بالقيادة في أي مكان بأمان وكفاءة.
تثبت هذه الورقة أنه من خلال جعل "التعليمات" تتكيف مع التضاريس في الوقت الفعلي، يمكنك تعليم روبوت بشري كيف يمشي عبر البيئات البشرية المعقدة (مثل السلالم والأرض الوعرة) ودمجه في نظام ملاحة كامل.
ملخص تقني: التعلم المعزز الموجه بالمرجع المتوافق مع التضاريس للملاحة البشرية (Humanoid Navigation)
بيان المشكلة
حققت أساليب حركة الروبوتات البشرية (Humanoid locomotion) المعاصرة رشاقة ومتانة عالية، وغالبًا ما تستفيد من البيانات البشرية أو تحسين المسارات لتوجيه التعلم المعزز (RL). ومع ذلك، لا تزال هناك عقبة كبيرة تتمثل في نشر هذه السلوكيات ضمن حزم ملاحة أكبر للبيئات المعقدة وغير المنظمة. تواجه أساليب التعلم المعزز الموجهة بالمرجع الحالية مشكلتين رئيسيتين:
نقص واجهة التخطيط: تتطلب العديد من الطرق مسارات مرجعية كاملة لدرجات الحرية أو التقاط حركة مباشر كمدخلات، مما يجعلها غير متوافقة مع مخططات الملاحة القياسية التي تصدر أوامر سرعة بسيطة (مثل سرعات SE(2)).
غياب التكييف البيئي: لا تأخذ خطوط إنتاج المراجع القياسية هندسة التضاريس في الاعتبار (مثل مواضع القدم الصالحة، السلالم، أو المنحدرات). وبناءً على ذلك، فإن السياسات المدربة على مراجع ثابتة تعاني من عدم الاستقرار أو الفشل عند النشر في تضاريس وعرة.
بينما تعالج بعض الأعمال الحركة الإدراكية دون مراجع، إلا أنها غالبًا ما تفتقر إلى متانة الطرق الموجهة بالمرجع. وعلى العكس من ذلك، غالبًا ما تفشل الطرق الموجهة بالمرجع في التكامل مع حزم الاستقلالية أو التكيف مع التضاريس. تعالج هذه الورقة التقاطع بين التعلم المعزز الإدراكي الموجه بالمرجع والملاحة المستقلة ذات الحلقة المغلقة.
المنهجية
المنهج المقترح، التعلم المعزز الموجه بالمرجع المتوافق مع التضاريس، يدمج مسارات مرجعية متوافقة بيئيًا مباشرة داخل حلقة تدريب التعلم المعزز. تم تصميم النظام لإخراج سياسة تقبل أوامر سرعة SE(2) قياسية مع استخدام بيانات كاميرا العمق للتكيف مع التضاريس.
1. توليد المرجع المتوافق بيئيًا
الابتكار الجوهري هو التوليد السريع للمسارات المرجعية باستخدام نموذج البندول المقلوب الخطي (LIP) الذي يتم تعديله ليتناسب مع هندسة التضاريس.
توليد القاعدة: يتم تحويل أمر سرعة SE(2) المطلوب (vd) إلى أطوال خطوات مطلوبة ومسار لمركز الكتلة (CoM) باستخدام ديناميكيات نموذج LIP. ينتج عن ذلك مرجع اسمي لمركز الكتلة، والقدم المتأرجحة، والأذرع.
إسقاط التضاريس: قبل أن يتلقى وكيل التعلم المعزز المرجع، يقوم النظام بإسقاط موقع خطوة القدم المطلوب على أقرب موضع قدم صالح مستمد من هندسة التضاريس (الممثلة كشبكة من المضلعات).
تعديل المسار:
خطوات الأقدام: يتم إسقاط الخطوة المطلوبة إلى موضع القدم الصالح، ويتم دمج ميل (roll) وارتفاع (pitch) التضاريس عند تلك النقطة.
القدم المتأرجحة: يتم تعديل مسار القدم المتأرجحة ليربط بين الوضع الأولي والوضع المسقط، بما في ذلك اتجاه التضاريس. يتم ضبط ارتفاع z بإضافة ارتفاع الغلاف المحدب العلوي لنقاط التضاريس على طول مسار التأرجح لضمان الخلوص (clearance).
مركز الكتلة (CoM): يتم ضبط مسار ارتفاع مركز الكتلة بناءً على الخط الواصل بين قدم الثبات الحالية وموقع الخطوة المسقط.
الكفاءة: يتم تنفيذ هذا التوليد بسرعة داخل حلقة التدريب، مما يسمح للسياسة بالتعلم من مراجع متسقة فيزيائيًا مع البيئة المباشرة.
2. سياسة الحركة والتدريب
البنية: تستخدم السياسة بنية تعتمد على "المدرك متعدد الطبقات" (MLP) أحادي المرحلة. وهي تقوم برسم خرائط من الإدراك الذاتي وصورة واحدة لكاميرا العمق (بدقة 26x30) مباشرة إلى الأفعال.
الإدراك: توفر كاميرا العمق ZED Mini المثبتة على جذع الروبوت المدخلات. في المحاكاة، يتم نمذجة هذا عبر "Raycasting" مع خفض عشوائي حاد لمحاكاة ضوضاء وعيوب العالم الحقيقي.
تصميم المكافأة: يستخدم التدريب دوال ليابونوف للتحكم (CLF-RL). يتم تعريف دوال ليابونوف تربيعية لأهداف التتبع (الحوض، القدم المتأرجحة، المفاصل). تتكون دالة المكافأة من عنصرين:
عنصر يشجع على التتبع الوثيق للإشارة المرجعية.
عنصر يحفز على تحقيق شرط "ليابونوف المتناقص" (ضمان تحرك النظام نحو المرجع). هذا النهج يكثف إشارة المكافأة، مما يوفر تغذية راجعة حتى عندما يكون التتبع غير مثالي ولكنه في حالة تحسن.
الناقد-الممثل غير المتماثل (Asymmetric Actor-Critic): يتلقى "الممثل" (Actor) بيانات الإدراك الذاتي والعمق المشوبة بالضوضاء، بينما يتلقى "الناقد" (Critic) ملاحظات خالية من الضوضاء ومعلومات مميزة (مراجع حقيقية، حالات التلامس، إلخ).
3. حزمة الملاحة المستقلة
يتم دمج سياسة الحركة المدربة في حزمة استقلالية كاملة عبر واجهة سرعة SE(2) نظيفة.
المخطط (Planner): يعمل مخطط التحكم التنبؤي بالنماذج (MPC) على مكامل واحد مع نموذج الاتجاه. يأخذ وضعية الهدف وخريطة البيئة (المولدة عبر LiDAR و FAST-LIO2) لتخطيط مسارات خالية من الاصطدام.
دوال حاجز التحكم (CBFs): يتضمن الـ MPC قيود CBF في الزمن المنفصل لضمان تجنب العوائق والمتانة ضد أخطاء التتبع.
التنفيذ: يخرج الـ MPC مسار أوامر السرعة، والتي يتم تتبعها بواسطة متحكم تغذية راجعة وتمريرها إلى سياسة حركة التعلم المعزز.
المساهمات الرئيسية
توليد المرجع المشروط بيئيًا: تقدم الورقة أول خط إنتاج للتعلم المعزز الموجه بالمرجع للروبوتات البشرية حيث يتم تعديل المراجع عبر الإنترنت لتكون متسقة مع هندسة التضاريس (السلالم، المنحدرات، مواضع الأقدام المنفصلة) باستخدام نموذج LIP مختزل داخل حلقة التدريب.
بنية مبسطة: تعتمد السياسة الناتجة فقط على MLP دون الحاجة إلى مخازن تاريخية (history buffers)، مما يلغي الحاجة إلى الشبكات المعقدة أو التكرارية، ومع ذلك تحقق أداءً مشابهًا للنماذج القائمة على الانتباه (Attention-based).
التكامل مع الاستقلالية ذات الحلقة المغلقة: نجح النهج في دمج سياسة تعلم معزز إدراكية موجهة بالمرجع في حزمة ملاحة قياسية. وقد أظهرت قدرة على الملاحة المستقلة طويلة المدى (>70 مترًا) على روبوت Unitree G1 في بيئات خارجية تحتوي على تضاريس وعرة وسلالم متتالية، مع كافة عمليات الاستشعار والحوسبة على متن الروبوت.
النتائج
المحاكاة
أداء التتبع: أدى تكييف المراجع مع البيئة إلى تحسين أداء التتبع بشكل كبير مقارنة باستخدام مراجع غير معدلة (غير مشروطة بالبيئة). في تضاريس السلالم، انخفض خطأ التتبع بمقدار الضعف.
تعقيد النموذج: حققت السياسة البسيطة القائمة على MLP ("Ours") أخطاء تتبع متشابهة إحصائيًا مع بنية أكثر تعقيدًا تستخدم "Cross-attention" ("Ours (Attn)") عبر التضاريس المسطحة والمنحدرة والسلالم. ومع ذلك، تطلبت نسخة الـ MLP ذاكرة فيديو (VRAM) أقل بكثير (14 جيجابايت مقابل 60 جيجابايت) وهي أسهل في التنفيذ.
الأداء: نجح النظام في تنفيذ ملاحة مستقلة مغلقة الحلقة في بيئات بشرية خارجية.
السلالم: تنقل الروبوت ذاتيًا عبر 15 درجة سلم متتالية.
المدى الطويل: تنقل الروبوت لأكثر من 70 مترًا، عابرًا جذور الأشجار، التضاريس الوعرة، الأرصفة، ومجموعتين من السلالم.
الانتقال بين الداخل والخارج: صعد الروبوت سلالم خارجية، ثم دخل مبنى، ثم صعد سلالم داخلية.
المقارنة: على عكس الأعمال السابقة التي تعتمد على متحكمات نموذجية عمياء للملاحة أو طرق تعلم معزز إدراكية غير مدمجة في حزم الاستقلالية، يوضح هذا العمل سياسة موجهة بالمرجع ومشروطة بالإدراك تعمل كطبقة حركة لحزمة استقلالية كاملة.
الأهمية والادعاءات
تزعم الورقة أن هذا العمل يسد الفجوة بين الحركة عالية الأداء الموجهة بالمرجع والملاحة المستقلة العملية. ومن خلال توليد مراجع متسقة مع التضاريس أثناء التدريب، يسمح هذا النهج لسياسة التعلم المعزز بتعلم سلوكيات قوية للبيئات غير المنظمة دون الحاجة إلى بنيات معقدة تعتمد على التاريخ.
تكمن الأهمية في واجهة سرعة SE(2)، التي تجعل سياسة الحركة مكونًا يمكن دمجه بسهولة في مخططات الملاحة القياسية. هذا يسمح بنشر حركة بشرية رشيقة وإدراكية في سيناريوهات العالم الحقيقي (السلالم، التضاريس الوعرة) التي كانت غير متاحة سابقًا للطرق الموجهة بالمرجع بسبب نقص التكييف البيئي وعدم التوافق مع التخطيط. يضع المؤلفون هذا العمل كخطوة نحو الملاحة العامة للروبوتات البشرية في البيئات المخصصة للبشر، متجاوزين الأرض المسطحة أو التضاريس المصممة خصيصًا للمختبرات.