3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

ملخص تقني: 3D RL-DWA للملاحة الروبوتية عالية درجات الحرية

بيان المشكلة
تظل الملاحة الذاتية في البيئات ثلاثية الأبعاد المعقدة والمقيدة تحديًا كبيرًا للأنظمة الروبوتية ذات درجات الحرية العالية (DoF)، لا سيما عند العمل في ظل ظروف استشعار شحيحة. غالبًا ما تفشل طرق التخطيط العالمي التقليدية في البيئات الديناميكية وناقصة المعرفة، بينما تعتمد المخططات المحلية القياسية مثل "نهج النافذة الديناميكية" (DWA) على ضبط ثابت للمعلمات مما يحد من القدرة على التكيف. علاوة على ذلك، ركزت مناهج الهجين بين التعلم التعزيزي (RL) وDWA الموجودة حاليًا بشكل أساسي على الحركة ثنائية الأبعاد في بيئات مهيكلة، مما ترك فجوة في الحلول المخصصة للتحكم ثلاثي الأبعاد في الروبوتات القابلة للتشوه وعالية درجات الحرية (مثل الروبوتات الدقيقة) التي يجب أن تحسن الحركة والشكل في آن واحد للتنقل عبر الهياكل الملتوية مثل الشبكات الوعائية.

المنهجية
يقترح المؤلفون 3D RL-DWA، وهو إطار عمل هجين يدمج التعلم التعزيزي (RL) مع نهج نافذة ديناميكية (DWA) مخصص ثلاثي الأبعاد للملاحة المحلية لروبوت قابل للتشوه بـ 9 درجات حرية. يتم نمذجة النظام كشكل إهليلجي بـ 6 درجات حرية للوضعية (الموقع والتوجه) و3 درجات حرية لتشوه الشكل على طول محاوره التناظرية.

• بنية التحكم: يعمل إطار العمل في حلقة مغلقة حيث يقوم وكيل التعلم التعزيزي بمراقبة البيئة (حالة المهمة وبيانات المسح الليزري الشحيحة) ويخرج نوعين من الأوامر:

  1. معلمات DWA: يقوم الوكيل بضبط عوامل الوزن ($\alpha, \beta, \gamma, \zeta$) لدالة تكلفة DWA ديناميكيًا، والتي توازن بين السرعة، والاتجاه، والابتعاد عن العوائق، والمحاذاة مع الهدف.
  2. أوامر السرعة: يخرج الوكيل مباشرة السرعة الزاوية ($\omega_x$) وسرعات التشوه ($\dot{\delta}$). بعد ذلك، يستخدم نموذج DWA هذه المعلمات لاختيار السرعة الخطية المثلى من مجموعة مسموح بها، مما يضمن مسارات خالية من الاصطدامات داخل نافذة ديناميكية ثلاثية الأبعاد.

• صياغة التعلم التعزيزي: تمت صياغة المشكلة كعملية قرار ماركوف (MDP) باستخدام خوارزمية "الناقد الفاعل الناعم" (Soft Actor-Critic - SAC). يتم تدريب الوكيل على تعظيم دالة مكافأة كثيفة تشجع التقدم للأمام، وتجنب الاصطدام، وتعظيم حجم الروبوت المشغول داخل الوعاء. تتضمن مساحة الملاحظة حالة تشوه الروبوت، والسرعة المعيرة، ومتجه الإزاحة نحو الهدف، و$N$ من مسافات المسح الليزري.

• الكينماتيكا (علم الحركة): تخضع حركة الروبوت لنموذج كينماتيكي مبسط مستوحى من الأنظمة الفيروفلويدية (المغناطيسية السائلة). أحد القيود الرئيسية هو أن محور x الخاص بالروبوت محاذٍ لاتجاه الحركة، مما يقلل درجات الحرية الدورانية القابلة للتحكم إلى محور واحد ($\omega_x$)، بينما يتم تحفيز المكونات الدورانية المتبقية بشكل سلبي عبر قيود المحاذاة.

المساهمات الرئيسية

1. إطار عمل هجين مبتكر: يقدم البحث أول تطبيق لنهج RL-DWA الهجين خصيصًا للملاحة المحلية ثلاثية الأبعاد للروبوتات القابلة للتشوه عالية درجات الحرية، مما يعالج الفجوة في التحكم ثلاثي الأبعاد لهذه الأنظمة.
2. الضبط التكيفي للمعلمات: على عكس DWA التقليدي الذي يتطلب ضبطًا يدويًا، تستخدم الطريقة المقترحة التعلم التعزيزي لضبط أوزان دالة تكلفة DWA ديناميكيًا في الوقت الفعلي بناءً على الظروف البيئية وشح البيانات الاستشعارية.
3. التحكم المتزامن في الحركة والشكل: يقوم إطار العمل بتحسين الوضع وتشوه الشكل في آن واحد، مما يمكن الروبوت من تعظيم إشغال حجمه أثناء التنقل في المساحات الضيقة.
4. المتانة تجاه الاستشعار الشحيح: تم تقييم النظام صراحة تحت مستويات متغيرة من البيانات الخارجية ($N=15, 25, 50$ نقطة استشعار)، مما أظهر قدرة على التكيف في الظروف النموذجية للتطبيقات الطبية الحيوية حيث تكون الاستشعار عالية الدقة محدودة.

النتائج التجريبية
تم تقييم إطار العمل في بيئة شبكة وعائية محاكية باستخدام 1,080 تجربة تجريبية عبر سيناريوهات التدريب والاختبار غير المرئية.

• مقارنة الأداء: تفوق 3D RL-DWA بشكل كبير على كل من خط الأساس للتعلم التعزيزي النقي (SAC) والتحكم القائم على النموذج (باستمايل دلاوني ومخططات فورونوي).
  • إكمال المسار: في سيناريوهات الاختبار غير المرئية مع استشعار عالي الدقة ($N=50$)، حقق 3D RL-DWA إكمال مسار شبه مثالي (وسيط ~99.22%)، بينما عانى خط الأساس للتعلم التعزيزي النقي (وسيط ~45.75%)، وفشلت الطريقة القائمة على النموذج تمامًا عند الدقة المنخفضة.
  • التشوه: حافظ النهج الهجين على قدرات تشوه عالية (وسيط ~53-57% من إشغال الحجم) عبر مختلف مستويات الدقة، بينما أظهر التعلم التعزيزي النقي تدهورًا في أداء التشوه عند كثافة الاستشعار المنخفضة بسبب فشل الملاحة.
• تأثير دقة المستشعر: أدت دقة المستشعر الأعلى ($N=50$) إلى تحسين سرعة التقارب وقابلية التكرار. ومع ذلك، أظهر النظام متانة حتى عند الدقة المتوسطة ($N=25$)، بينما أدت الدقة ($N=15$) إلى انخفاض موثوقية الملاحة مع الحفاظ على بعض قدرات التشوه.
• الكفاءة الحسابية: أظهر النظام ملاءمة للعمل في الوقت الفعلي مع متوسط زمن استنتاج أقل من 2 مللي ثانية لكل خطوة تحكم. كان مكون التعلم التعزيزي ثابتًا في الزمن، بينما توسع مكون DWA خطيًا مع نقاط الاستشعار ولكنه ظل فعالاً.
• المتانة تجاه الضجيج: تحت تأثير زيادة ضجيج غاوسي، حافظ 3D RL-DWA على معدلات إكمال مسار متفوقة مقارنة بخطوط الأساس، رغم أن الأداء تراجع طبيعيًا مع زيادة الضجيج. ثبت أن التحكم في التشوه أكثر متانة بطبيعته تجاه ضجيج المستشعرات مقارنة بالملاحة.

الأهمية والادعاءات
يدعي المؤلفون أن إطار عمل 3D RL-DWA يسد بفعالية الفجوة بين قدرة التكيف التي توفرها الأساليب القائمة على التعلم والتوجيه المهيكل للمخططات الكلاسيكية. ويُقدم النهج الهجين كحل يحقق توازنًا لا تستطيع الطرق القائمة على التعلم النقي أو الطرق القائمة على النموذج وحدهما توفيره في البيئات ثلاثية الأبعاد المقيدة.

يؤكد البحث أن هذه الطريقة فعالة بشكل خاص للتطبيقات الطبية الحيوية الناشئة، مثل التحكم الذاتي في الروبوتات الدقيقة للتدخلات الجراحية طفيفة التوغل، حيث يجب على الروبوتات التنقل في بيئات غير مهيكلة وذات استشعار شحيح. تشير النتائج إلى أن دمج التعلم التعزيزي لضبط معلمات DWA يسمح بملاحة قوية وتكيفية تتعمم جيدًا على تسلسلات النقاط المرجعية (waypoints) غير المرئية وعدم اليقين في الاستشعار، مما يجعلها مرشحًا صالحًا للنشر في الوقت الفعلي في المساحات ثلاثية الأبعاد المعقدة.