Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

في عالم الروبوتات، غالبًا ما تكون الحركة مسألة مفاضلات. فالروبوت ذو العجلات القياسية يتحرك للأمام وينعطف، ولكن لكي يتحرك جانبيًا، يجب عليه أولاً تدوير جسمه بالكامل. هذا القصور يجعل التنقل في المساحات الضيقة، مثل المستودعات المزدحمة أو ممرات المصانع الضيقة، عملية بطيئة وخرقاء. ولحل هذه المشكلة، طور المهندسون عجلة "ميكانوم" (Mecanum). وهي عبارة عن عجلات قياسية مزودة بحلقة من الأسطوانات الصغيرة المائلة. هذا الإضافة البسيطة تسمح للروبوت بالانزلاق في أي اتجاه — للأمام، أو الخلف، أو الجانب، أو حتى بشكل قطري — دون تغيير اتجاه مقدمته أبدًا. إنها أداة قوية للأتمتة، تمكن الآلات من المناورة بين العقبات بمرونة تشبه مرونة شخص يمشي وسط حشد مزدحم.

ومع ذلك، فإن جعل هذه الروبوتات تتحرك بدقة هو أمر أكثر صعوبة مما يبدو. ففيزياء روبوت "ميكانوم" معقدة بسبب عاملين رئيسيين: أولاً، العجلات نفسها عرضة للانزلاق؛ إذ لا تتماسك الأسطوانات مع الأرض بشكل مثالي، مما يؤدي إلى أخطاء صغيرة وغير متوقعة في الحركة. ثانياً، وهو الأمر الأكثر أهمية، هو مسألة التوازن. فعندما يحمل الروبوت حمولة، مثل صندوق أو ذراع روبوتية، غالبًا ما ينزاح مركز وزنه بعيدًا عن منتصفه الهندسي. هذا الانزياح يغير كيفية مقاومة الروبوت للدوران وكيفية توزيع الوزن عبر عجلاته الأربع. وإذا لم يتوفر نظام تحكم يأخذ في الاعتبار هذا الوزن المتغير وانزلاق العجلات الحتمي، فسوف ينحرف الروبوت عن مساره، أو يتذبذب، أو يفشل في اتباع المسار المقصود.

لقد تصدى الباحثون في جامعة القوة الكهربائية في هانوي، فيتنام، لهذه المشكلة من خلال تطوير طريقة جديدة لتعليم هذه الروبوتات كيفية البقاء على المسار. ويركز عملهم على نوع محدد من التحكم الذكي الذي يتعلم من الخبرة بدلاً من الاعتماد على خريطة مثالية ومحسوبة مسبقًا لفيزياء الروبوت. وفي دراستهم، أنشأوا نظامًا يسم يسمح لروبوت "ميكانوم" ذي أربع عجلات بتتبع مسار مطلوب بدقة عالية، حتى عندما يتغير توزيع وزن الروبوت باستمرار وتنزلق العجلات. لقد حققوا ذلك باستخدام طريقة تسمى "التعلم التعزيزي التكامل الخارجي" (off-policy integral reinforcement learning)، وهي تقنية تسمح للروبوت بتعلم أفضل طريقة للتحرك من خلال مراقبة البيانات التي يتم جمعها أثناء التشغيل، بدلاً من الحاجة إلى معرفة كل تفصيل من تفاصيل ميكانيكياته مسبقًا.

إن التحدي الجوهري الذي عالجه البحثيون هو أن الروبوتات في العالم الحقيقي "فوضوية". فالنماذج النظرية تفترض ظروفًا مثالية، لكن في الواقع، قد يحمل الروبوت حمولة ثقيلة تنزاح أثناء حركته، أو قد تفقد عجلاته التماسك على أرضية ناعمة. وغالبًا ما تعاني طرق التحكم التقليدية مع هذه الشكوك، مما يتطلب من المهندسين ضبط النظام بشكل تحفظي أو امتلاك معرفة دقيقة بوزن الروبوت واحتكاكه في جميع الأوقات. ويقترح النهج الجديد المقترح في هذه الورقة البحثية التعامل مع مشكلة التحكم كأنها لعبة بين قوتين متضادتين. فمن ناحية، هناك متحكم الروبوت، الذي يريد تقليل الجهد اللازم للبقاء على المسار. ومن ناحية أخرى، هناك "الاضطراب في أسوأ الحالات"، والذي يمثل أقصى خطأ ممكن ناتج عن الانزلاق أو انزياح الوزن. والهدف هو إيجاد استراتيجية تعمل بشكل أفضل حتى عندما تحاول البيئة دفع الروبوت بعيدًا عن مساره بأقصى قدر ممكن.

ولحل هذه المعضلة، استخدم الباحثون إطارًا رياضيًا يُعرف بمعادلة "هاميلتون-جاكوبي-إيزاكس" (Hamilton–Jacobi–Isaacs). وبما أن هذه المعادلة معقدة للغاية بحيث لا يمكن حلها بصيغة بسيطة لروبوت حقيقي، فقد استخدم الفريق حيلة ذكية تتضمن الذكاء الاصطناعي. فقد وظفوا ثلاث شبكات عصبية، وهي أنظمة حاسوبية مصممة على غرار الدماغ البشري، لتعلم الحل. تعمل إحدى الشبكات كـ "ناقد"، لتقييم مدى أداء الروبوت. وتحدد الشبكة الثانية، "الممثل المتحكم"، الأوامر الحركية التي يجب إرسالها إلى العجلات. أما الشبكة الثالثة، "الممثل المضطرب"، فتتعلم التنبؤ بأسوأ الأخطاء التي قد يلقيها بها المحيط على الروبوت. ومن خلال تدريب هذه الشبكات معًا باستخدام البيانات المجموعة من حركات الروبوت، يتعلم النظام استراتيجية قوية توازن بين الحركة السلسة والقدرة على مقاومة الاضطرابات.

اختبر الباحثون متحكمهم الجديد في سيناريوهين متميزين باستخدام محاكاة الحاسوب. في السيناريو الأول، قاموا بمحاكاة روبوت بوزن ثابت وغير متغير، يشبه روبوتًا يحمل صندوقًا ثقيلاً لا يتحرك أبدًا. في هذه البيئة المستقرة، كان أداء المتحكم الجديد يضاهي طريقة التعلم القياسية، حيث حافظ على بقاء الروبوت على مساره الدائري بدقة عالية. أنتجت محركات الروبوت عزم دوران سلسًا وثابتًا، وتعلم النظام بسرعة دون أن يصبح غير مستقر. وقد أكد هذا أن الطريقة الجديدة تعمل حتى عندما تكون الخصائص الفيزيائية للروبوت ثابتة ولكنها مختلفة عن التصميم المثالي.

أما السيناريو الثاني، فكان أكثر تطلبًا بكثير. هنا، قام الباحثون بمحاكاة روبوت حيث ينزاح مركز كتلته باستمرار، كما لو كان الروبوت يحمل ذراعًا روبوتية تحرك وزنها الخاص حولها. كما أدخلوا انزلاقًا للعجلات متغيرًا مع الزمن وتغيرات في الوزن الإجمالي للروبوت، محاكيين بذلك آلة تلتقط وتضع أحمالًا ثقيلة. في هذه البيئة الفوضوية، بدأت طريقة التعلم القياسية في المعاناة، حيث أظهرت أخطاء أكبر في اتجاه الروبوت وتحكمًا أقل سلاسة. وفي المقابل، حافظ المتحكم الجديد (off-policy) على قبضة محكمة على المسار المطلوب؛ فقد نجح في التعويض عن انزياح الوزن وانزلاق العجلات، محافظًا على صغر أخطاء التتبع وسلاسة أوامر المحركات. وأظهرت المحاكاة أن المتحكم الجديد قلل الخطأ في زاوية اتجاه الروبوت بشكل أكثر فعالية من الطريقة القياسية، مما أثبت قدرته الفائقة على التعامل مع حالات عدم اليقين المعقدة والمتغيرة.

تخلص الدراسة إلى أن هذا النهج الجديد يقدم تحسنًا كبيرًا للروبوتات المتنقلة التي تعمل في بيئات غير متوقعة. فمن خلال مراعاة الاضطرابات في أسوأ الحالات صراحةً والتعلم من البيانات بدلاً من الاعتماد على نماذج مثالية، يحقق النظام مستوى من المتانة تفتقر إليه الطرق التقليدية. وقد تحقق الباحثون من أن النظام يظل مستقرًا وأن عملية التعلم لا تؤدي إلى سلوك مضطرب، حتى في ظل ظروف عدم اليقين الشديدة. وبينما تستند النتائج حتى الآن إلى محاكاة الحاسوب، إلا أنها توفر أساسًا قويًا للعمل المستقبلي. وتتمثل الخطوة التالية في اختبار هذا المتحكم على روبوت حقيقي، والانتقال من أمان المحاكاة الرقمية إلى واقع المصانع الفعلي المليء بالفوضى وعدم اليقين. وإذا نجح ذلك، فقد تمكن هذه التكنولوجيا روبوتات "ميكانوم" من العمل بشكل أكثر استقلالية وموثوقية في البيئات الديناميكية، بدءًا من المستودعات المؤتمتة وصولاً إلى بيئات الخدمة حيث تتغير الظروف باستمرار.