Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

ملخص تقني: تعلم السباق في دقائق باستخدام Infoprop Dyna على Mini Wheelbot

بيان المشكلة
لا يزال التحكم في الأنظمة الروبوتية التي تتميز بديناميكيات سريعة، وغير مستقرة، وغير خطية يمثل تحدياً كبيراً، لا سيما عند التعلم مباشرة على الأجهزة الحقيقية. وبينما يوفر التعلم التعزيزي (RL) إمكانات واعدة، فإن الطرق التقليدية غالباً ما تعاني من ضعف كفاءة العينات، مما يستلزم استخدام محاكيات قائمة على الفيزياء مصممة بعناقة وتوسيع نطاق عشوائية المجال (domain randomization) لتحقيق نقل ناجح من المحاكاة إلى الواقع (sim-to-real). يعمل التعلم التعزيزي القائم على النموذج (MBRL) على تحسين كفاءة العينات من خلال تعلم نموذج ديناميكي لتعزيز الخبرة الحقيقية عبر عمليات التدحرج المتخيلة؛ ومع ذلك، فإن النماذج غير المكتملة غالباً ما تؤدي إلى "استغلال النموذج" (model exploitation) أثناء التخطيط طويل المدى، مما يؤدي إلى تدهور الأداء في العالم الحقيقي. التحدي المحدد الذي يتناوله هذا العمل هو Mini Wheelbot، وهو روبوت أحادي العجلة (unicycle) ناقص التفعيل ذو ديناميكيات دوران (yaw) غير خطية للغاية. ويتعقد التحكم فيه بسبب تفاعلات التلامس مع الأرض، والثوابت الزمنية الصغيرة، والحساسية تجاه التشغيل، مما يجعل النمذجة الدقيقة أمراً صعباً ويجعل التخطيط طويل المدى ضرورياً لتتبع المسار بفعالية.

المنهجية
يستخدم المؤلفون Infoprop Dyna، وهو إطار عمل متطور للتعلم التعزيزي القائم على النموذج (MBRL) وواعٍ باليقين، لتمكين Mini Wheelbot من التعلم مباشرة من التفاعلات في العالم الحقيقي دون الاعتماد على محاكي قائم على الفيزياء.

• الخوارزمية الجوهرية: يعامل Infoprop Dyna تنبؤات النموذج كأرصاد ضوضائية لإشارة حقيقية. ومن خلال الاستفادة من نظرية المعلومات، يستعيد الإطار إشارة الحقيقة المقدرة مع تتبع التراكم الناتج عن الضوضاء في الوقت ذاته. يخفف هذا النهج من استغلال النموذج ويمكّن من عمليات تدحرج موثوقة عبر آفاق زمنية أطول من الطرق السابقة.
• نمذجة الديناميكيات: على عكس المعايير السابقة التي تفترض حالات كاملة الملاحظة وخالية من الذاكرة، يعتمد Mini Wheelbot على تقدير الحالة المدمج. وبناءً على ذلك، يعتمد نموذج الانتقال المتعلم على تاريخ قصير من حالات الفيزياء المقدرة ومدخلات التحكم المطبقة للتنبؤ بالحالة المقدرة التالية. وهذا يسمح للنموذج بتضمين ديناميكيات مُقدر الحالة جنباً إلى جنب مع النظام الفيزيائي بشكل ضمني.
• خط أنابيب التدريب: يستخدم النظام إعداد تدريب موزع (كما هو موضح في الشكل 2). يتم جمع البيانات من العالم الحقيقي بواسطة الروبوت الفيزيائي ونقلها عبر بروتوكول SSH إلى محطة عمل محلية، والتي تقوم بدورها بتوجيه مجموعة البيانات إلى عنقود حوسبة عالية الأداء (HPC). يتم تعلم النموذج وتحسين السياسة باستخدام تنفيذ يعتمد على JAX فوق منصة BRAX. ومن الأهمية بمكان أنه لا يتم استخدام أي نموذج محاكاة للتدريب؛ حيث يقوم عنقود الحوسبة عالية الأداء بتوليد عمليات تدحرج اصطناعية متوازية واسعة النطاق باستخدام الديناميكيات المتعلمة، مما يحل محل الحاجة إلى محاكي فيزيائي.
• التهيئة: لضمان السلامة وتوفير انتقالات غنية بالمعلومات، يتم بدء تشغيل مجموعة البيانات في العالم الحقيقي باستخدام دقيقة واحدة من البيانات التي تم جمعها عبر قيادة الروبوت يدوياً باستخدام نموذج تقريبي للتحكم التنبئي (AMPC) وواجهة عصا التحكم.

المساهمات الرئيسية

1. التعلم من العالم الحقيقي بدون محاكي: يوضح هذا العمل أن Infoprop Dyna يمكن أن يمكّن الروبوت من تعلم سياسة تحكم معقدة مباشرة من التفاعلات في العالم الحقيقي، متجاوزاً الحاجة إلى خطوط أنابيب هندسية دقيقة للنقل من المحاكاة إلى الواقع.
2. الاكتساب السريع للسلوك الهجومي: يتعلم Mini Wheelbot السباق حول مسار ثابت في غضون 11 دقيقة فقط من الخبرة في العالم الحقيقي، متدرجاً من الحركة المتحفظة إلى استراتيجيات السباق الهجومية.
3. اكتشاف استراتيجيات غير تقليدية: تكتشف السياسة المتعلمة سلوكيات معقدة، مثل الانزلاق المتحكم به عند السرعات العالية للملاحة في المنعطفات، وهي سلوكيات يصعب التقاطها باستخدام المحاكاة الفيزيائية البحتة.
4. بنية التدريب الموزع: يقدم البحث خط أنابيب حيث تكون أوقات التدريب قابلة للمقارنة مع أوقات جمع البيانات في العالم الحقيقي من خلال التوازي الهائل في الحوسبة عالية الأداء، على عكس المعايير السابقة حيث كان التدريب يهيمن على وقت الجدار (wall-clock time).

النتائج
في جولة تدريب مستمرة واحدة، نجح الوكيل في إكمال لفته الأولى بعد ست دقائق من التفاعل في العالم الحقيقي. وبحلول الدقيقة 11، حقق الوكيل ذروة الأداء، حيث أكمل عدة لفات باتساق عالٍ.

• مقاييس الأداء: حقق وكيل السباق النهائي متوسط سرعة قدره 0.5 م/ث وذروة سرعة بلغت 0.97 م/ث. وبالمقارنة، حقق نموذج AMPC الأساسي متوسط سرعة 0.15 م/ث وسرعة قصوى 0.33 م/ث.
• الكفاءة: أكمل وكيل السباق أكثر من ثلاثة أضعاف عدد اللفات التي أكملها وكيل AMPC.
• الاختلافات السلوكية: بينما اعتمد AMPC على التأثيرات الجيروسكوبية لإعادة التوجيه، استغل الوكيل المتعلم الانزلاق المتحكم به للتعامل مع المنعطفات السريعة، مما سمح له بالالتزام بشكل وثيق بمركز المسار والحفاظ على سرعات أعلى.

الأهمية
يزعم البحث أن هذه النتيات تسلط الضوء على الإمكانات العملية لـ Infoprop Dyna لسد الفجوة بين كفاءة البيانات والأداء النهائي العالي في الأنظمة الروبوتية الحقيقية. ومن خلال إثبات أن نظاماً صعباً ناقص التفعيل يمكنه تعلم سلوكيات سباق هجومية في دقائق دون محاكي، يمهد هذا العمل الطريق نحو اعتماد أوسع لتعلم النماذج القائم على الواقع. ويضع المؤلفون هذا كخطوة نحو توسيع نطاق هذه الأساليب لتشمل ساحات أكبر وتخطيطات مسارات عشوائية، وكذلك تطوير واجهات نمطية لتطبيقات أوسع عبر الأنظمة الروبوتية.