💻 computer science

NaviGait: Navigating Dynamically Feasible Gait Libraries using Deep Reinforcement Learning

تُعد NaviGait إطار عمل هرمي يجمع بين تحسين المسار والتعلم التعزيزي العميق لتخليق حركة ثنائية الأرجل قوية وبديهية عبر اختيار وتعديل أنماط المشي من مكتبة غير متصلة بالإنترنت بشكل طفيف، مما يؤدي إلى تبسيط تصميم المكافأة وتسريع التدريب مع الحفاظ على دقة عالية تجاه الحركات المرجعية.

المؤلفون الأصليون: Neil Janwani, Varun Madabushi, Maegan Tucker

نُشر 2026-03-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Neil Janwani, Varun Madabushi, Maegan Tucker

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يمشي. لديك طريقتان رئيسيتان للقيام بذلك، ولكل منهما نقاط قوة ونقاط ضعف خاصة بها.

الطرق القديمة:

"المهندس الصارم" (تحسين المسار - Trajectory Optimization): هذه الطريقة تشبه مهندسًا معماريًا بارعًا يرسم مخططًا مثاليًا وخاليًا من العيوب رياضيًا للمشي. هو يعرف بالضبط كيف يجب أن تتحرك كل مفصل لضمان الاستقرار. المشكلة؟ إذا دفع شخص ما الروبوت أو أصبحت الأرض غير مستوية، يصاب الروبوت بالذعر. إنه مرتبط بصرامة شديدة بمخططه لدرجة أنه لا يستطيع التكيف مع فوضى العالم الحقيقي.
"الطالب الذي يتعلم بالتجربة والخطأ" (التعلم التعزيزي - Reinforcement Learning): هذه الطريقة تشبه إلقاء روبوت في غرفة وقول: "فقط اكتشف الأمر بنفسك!". يحاول الروبوت ملايين الحركات العشوائية، ويتعلم من سقطاته. المشكة؟ يستغرق الأمر وقتًا طويلاً جدًا للتعلم، وأحيانًا يتعلم الروبوت المشي بطريقة غريبة وغير طبيعية (مثل الزومبي) لمجرد الحصول على المكافأة. كما أن شرح ماهية المشية "الجيدة" للروبوت أمر صعب للغاية.

إليك NAVIGAIT: "أمين المكتبة الذكي"
تقدم الورقة البحثية نظام NAVIGAIT، الذي يعمل كـ أمين مكتبة ذكي لحل كلتا المشكلتين.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. مكتبة المشيات المثالية (مكتبة المشية - The Gait Library)

تخيل مكتبة ضخمة مليئة بالكتب. كل كتاب يحتوي على "وصفة مثالية" للمشي بسرعة أو أسلوب معين (مثل: "المشي سريعًا للأمام"، "المشي ببطء جانبيًا"). هذه الوصفات كتبها "المهندس الصارم" مسبقًا، لذا فهي مثالية رياضيًا وتبدو طبيعية.

2. أمين المكتبة (الذكاء الاصطناعي)

بدلاً من جعل الروبوت يخترع مشية جديدة من الصفر، يرسل NAVIGAIT أمين مكتبة (الذكاء الاصطناعي) إلى هذه المكتبة.

المهمة: يحتاج الروبوت للمشي للأمام. يقوم أمين المكتبة فورًا بسحب كتاب "المشي للأمام".
اللمسة المبتكرة: الروبوت يمشي الآن، ولكن فجأة، قام شخص ما بدفعه من الجانب! "المهندس الصارم" كان سيسقط لأن كتابه لم يأخذ بعين الاعتبار الدفعة. لكن أمين المكتبة ذكي؛ فهو يقلب الصفحة بسرعة أو يسحب كتابًا مختلفًا قليًا يأخذ في الاعتبار الدفعة، مع الحفاظ على مشية الروبوت لتبدو طبيعية.

3. سحر "البواقي" (شبكة الأمان - The Residual Magic)

هذا هو السر الخفي. الروبوت لا يتبع الكتاب بشكل أعمى، بل يضيف أمين المكتبة "شبكة أمان" صغيرة من التصحيحات.

فكر في الكتاب على أنه الطبق الرئيسي (المشية المثالية).
يضيف الذكاء الاصطناًا رشة ملح صغيرة (تصحيح البواقي/الريدجوال) للتكيف مع الرياح، أو نتوء في الطريق، أو دفعة.
ولأن الروبوت يحتاج فقط لتعلم "رشة الملح" بدلاً من تعلم الوجبة بأكملها، فإنه يتعلم بسرعة أكبر بكثير ويظل قريبًا جدًا من المشية الطبيعية التي تشبه مشية البشر.

لماذا يعد هذا أمرًا مهمًا؟

إنه أسرع: تعليم الروبوت مجرد إضافة "رشة الملح" يستغرق وقتًا أقل بكثير من تعليمه كيفية طبخ الوجبة بأكملها من الصفر.
إنه قابل للتعديل: هل تريد أن يمشي الروبوت بأسلوب "متمايل" أو أسلوب "متعثر"؟ ما عليك سوى استبدال كتب مكتبة المشية وإعادة تدريب أمين المكتبة. ليس عليك إعادة كتابة الكود بالكامل.
إنه قوي (متين): في الاختبارات، استطاع هذا الروبوت التعامل مع الدفعات والاصطدامات تمامًا مثل أفضل روبوتات "التجربة والخطأ"، لكن مشيته كانت تبدو أكثر طبيعية وتعلم القيام بذلك في جزء بسيط من الوقت.

الخلاصة

NAVIGAIT يشبه إعطاء الروبوت خريطة GPS (المكتبة) ومساعد طيار ذكي (الذكاء الاصطناعي). تخبره الخريطة أين يذهب ليبقى آمنًا وفعالًا، والمساعد يقوم بتعديلات دقيقة في الوقت الفعلي للتعامل مع الازدحام المروري أو العوائق. النتيجة هي روبوت يمشي بشكل طبيعي، ويتعافى من الصدمات بسهولة، ويتعلم القيام بكل ذلك في وقت قياسي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "NAVIGAIT: التنقل عبر مكتبات المشية الديناميكية القابلة للتنفيذ باستخدام التعلم التعزيزي العميق."

1. بيان المشكلة

تتناول الورقة التحدي المتمثل في تحقيق حركة ثنائية الأرجل قوية، طبيعية، وقابلة للضبط في بيئات العالم الحقيقي. وهي تحدد مقايضة بين نموذجين سائدين:

تحسين المسار (مثل: Dynamic Zero Dynamics - HZD): يقدم خطط حركة ذات أسس رياضية، قابلة للتفسير، وقابلة للضبط مع ضمانات للاستقرار. ومع ذلك، فإن هذه الطرق غالبًا ما تكون هشة أمام الاضطرابات في العالم الحقيقي (الدفع الخارجي، تغيرات التضاريس) وتعتمد على نماذج مثالية. كما أنها تواجه صعوبة في إعادة التخطيط عبر الإنترنت (online re-planning) بسبب التكلفة الحسابية العالية.
التعلم التعزيزي (RL): ينتج سياسات قوية للغاية قادرة على التعامل مع البيئات غير المهيكلة والتغذية الراجعة الغنية من المستشعرات. ومع ذلك، يعاني التعلم التعزيزي من ارتفاع تعقيد العينات، وطول أوقات التدريب، وصعوبة تصميم دالات مكافأة بديهية. علاوة على ذلك، تفتقر سياسات التعلم التعزيزي غالبًا إلى القابلية للتفسير وقد تنتج مشيات غير طبيعية أو غير مستقرة إذا لم يتم ضبطها بعناية.

الفجوة الجوهرية: هناك حاجة إلى إطار عمل يجمع بين الهيكل والقابلية للتفسير الموجودة في تحسين المسار، وبين القدرة على التكيف والمتانة الموجودة في التعلم التعزيزي، دون التضحية بكفاءة التدريب أو جودة الحركة.

2. المنهجية: إطار عمل NAVIGAIT

إن NAVIGAIT هو إطار عمل هرمي يفصل بين توليد الحركة عالي المستوى وبين الاستقرار منخفض المستوى. وهو يستخدم بنية "السياسة المتبقية" (residual policy) التي تعمل فوق مكتبة مشية تم إنشاؤها مسبقًا (offline).

أ. توليد مكتبة المشية (خارج الإنترنت - Offline)

المصدر: يتم توليد حركات المرجع باستخدام FROST، وهو حزمة لتحسين المسار تعتمد على "الصفر الديناميكي الهجين" (HZD).
العملية: يقوم النظام بحل برنامج غير خطي (NLP) لتوليد مسارات مرجعية دورية مُعلمة بمنحنيات بيزييه (Bézier curves). تغطي هذه المشيات نطاقًا من السرعات، وتم تحسينها من أجل الجدوى الفيزيائية، وثبات الصدمات، ودالات تكلفة محددة (مثل تقليل عزم الدوران).
الفضاء المستمر: على عكس المكتبات السابقة التي تستخدم شبكات منفصلة، يعامل NAVIGAIT المكتبة كـ فضاء مستمر. فهو يستخدم خصائص كثيرات حدود بيزييه لاستكمال ودمج نقاط التحكم، مما يسمح بانتقالات سلسة بين أي مشيتين (مثل تغيير السرعة أو الاتجاه) دون قفزات منفصلة.

ب. سياسة NAVIGAIT (عبر الإنترنت - Online)

السياسة هي شبكة عصبية يتم تدريبها عبر تحسين السياسة القريبة (PPO) والتي تؤدي ثلاث مهام متزامنة في كل خطوة استدلال:

الاختيار: تختار مسارًا مرجعيًا من مكتبة المشية المستمرة بناءً على أمر السرعة للمستخدم ( $v_d$ ).
الانتقال: تقوم بعملية استكمال سلس (interpolation) بين الحركة الحالية والحركة المرجعية المختارة حديثًا.
التصحيح (التحكم المتبقي): تُنتج نوعين من المتبقيات:
- متبقي السرعة ( $\Delta v$ ): يعدل السرعة المستهدفة لتتوافق بشكل أفضل مع الأمر المطلوب أو للتعويض عن الاضطرابات.
- متبقي المفاصل ( $\Delta q$ ): يوفر تصحيحات دنيا على مستوى المفاصل لتحقيق الاستقرار ضد الاضطرابات.

الأمر النهائي للمحرك هو مجموع المسار المرجعي والمتبقيات المتعلمة، والتي يتم تتبعها بواسطة متحكم PD بتردد عالٍ (2000 هرتز).

ج. إعداد التعلم

الملاحظات: تستقبل الشبكة تاريخ المستشعرات (IMU، مواضع المفاصل)، والمسارات المرجعية، والإجراءات السابقة.
دالة المكافأة: مبسطة بشكل كبير مقارنة بالتعلم التعزيزي القياسي. فهي تركز على:
- تتبع المسارات المرجعية (المشية والقاعدة).
- تقليل عزم الدوران (الطاقة).
- تنعيم المتبقيات (منع التغيرات السريعة والمتقطعة).
من المحاكاة إلى الواقع (Sim-to-Real): يستخدم النظام عشوائية النطاق (domain randomization) المكثفة (الاحتكاك، الكتلة، التأخير، الاضطرابات)، وتم تنفيذه في JaX (المبني على JAX و MuJoCo) من أجل التجميع في الوقت المناسب (Just-In-Time compilation) والتوازي، مما يسهل التدريب السريع.

3. المساهمات الرئيسية

إطار عمل هرمي مبتكر: يدمج NAVIGAIT مكتبة مشية معلومة فيزيائيًا تم حسابها مسبقًا مع سياسة تعلم تعزيزي متبقية، مما يسمح للوكيل بالتنقل بين المشيات مع الحفاظ على الاستقرار.
تنفيذ متوافق مع JaX: يقدم المؤلفون أول تنفيذ مفتوح المصدر ومتوافق مع JaX لاستكمال ودمج مرجع المشية المستمر والسلس، مما يتيح محاكاة وتدريبًا متوازيين وفعالين.
تصميم مبسط للمكافأة: من خلال ربط السياسة بمرجعيات فيزيائية، تقل الحاجة بشكل كبير إلى دالات مكافأة معقدة ومضبوطة يدويًا. تتعلم السياسة "تشويه" الحركات الجيدة الموجودة بدلاً من اكتشاف الحركة من الصفر.
المرونة الأسلوبية: تسمح البنية بتوليد أساليب مشي مختلفة (مثل "المشي الطبيعي" مقابل "تدحرج الورك المبالغ فيه") ببساطة عن طريق تغيير مكتبة المشية (التي تم إنشاؤها مسبقًا) وإعادة تدريبها، دون تغيير هيكل المتحكم أو أوزان المكافأة.
التحقق من الأجهزة: تم نشر إطار العمل بنجاح على الروبوت البشري منخفض التكلفة BRUCE، مما أظهر مشيًا مستقرًا ورفضًا للاضطرابات في العالم الحقيقي.

4. النتائج التجريبية

قارن المؤلفون NAVIGAIT مقابل نموذجين أساسيين: التعلم التعزيزي القياسي (بدون حركات مرجعية) والتعلم التعزيزي بالتقليد (تقليد مراجع المكتبة دون تعديل السرعة المتبقي).

كفاءة التدريب: حقق NAVIGAIT معالم رئيسية (الخطوات، المشي للأمام، رفض الاضطرابات) بسرعة أكبر من كلا النموذجين الأساسيين. فقد وصل إلى مرحلة الخطوات المستقرة في حوالي 23 دقيقة مقارنة بـ 55 دقيقة للتعلم التعزيزي القياسي.
رفض الاضطرابات:
- أظهر NAVIRAIT متانة فائقة تجاه الدفع الخارجي المتوسط مقارنة بالتعلم التعزيزي بالتقليد والتعلم التعزيزي القياسي.
- حقق معدل نجاح بنسبة 99.8% ضد دفع بقوة 10 نيوتن (مقابل 95.4% للتعلم التعزيزي القياسي).
- بينما كان التعلم التعزيزي بالتقليد أفضل قليلاً عند الدفع الشديد، فإن قدرة NAVIGAIT على تبديل مراجع المشية سمحت له بالتعافي بشكل أكثر فعالية من الاضطرابات المتوسطة.
طبيعية الحركة ودقة التقليد:
- حافظ NAVAIGT على أدنى خطأ في التقليد (الانحراف عن مشية المرجع) أثناء الاضطرابات.
- أظهر انحرافًا أقل في السرعة وتتبعًا أفضل للسرعة الزاوية مقارنة بالتعلم التعزيزي القياسي.
نقل الأسلوب: نجح النظام في توليد أسلوبين مختلفين للمشي (طبيعي مقابل مبالغ فيه) باستخدام نفس بنية السياسة، مما يثبت الفصل بين الأسلوب (المكتبة) والاستقرار (التعلم التعزيزي).

5. الأهمية والقيود

الأهمية:
يوفر NAVAIGT حلاً قابلاً للتوسع للحركة الديناميكية للأطراف عبر سد الفجوة بين تخطيط الحركة المصنوع يدويًا والتعلم الشامل (end-to-end). إنه يحل مشكلة "تصميم المكافأة" في التعلم التعزيزي من خلال الاستفادة من التحسين خارج الإنترنت لتخليق الجزء الأكبر من الحركة، تاركًا للتعلم التعزيزي مهمة التعامل فقط مع الاستقرار والتكيف. ينتج هذا سياسات قابلة للتفسير، وقابلة للضبط، ومتينة، وذات كفاءة في العينات.

القيود:

السلوكيات الناشئة: تقيد هذه البنية الوكيل (التعلم التعزيزي) من تعلم سلوكيات جديدة تمامًا (مثل تقاطع القدم) غير موجودة في مكتبة المشية، لأن المكافأة تعاقب الانحراف عن المراجع.
الحاجة إلى الخبرة: يتطلب إعداد تحسين المسار الأولي (NLP) ومكتبة المشية خبرة في نظرية التحكم، رغم أن المؤلفين يقدمون إطار عملهم للتخفيف من حدة ذلك.

في الختام، يثبت NAVAIT أن الجمع بين الضمانات الهيكلية لتحسين المسار وقدرة التكيف للتعلم التعزيزي يؤدي إلى استراتيجية تحكم متفوقة للروبوتات ثنائية الأرجل في العالم الحقيقي.