Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

تخيل عالماً تكون فيه الروبوتات هي المساعد المثالي، قادرة على لحام أجزاء السيارات، أو إنقاذ الأشخاص من تحت الأنقاض، أو رص الصناديق في المستودعات. ولكن لكي يكون الروبوت مفيداً حقاً، فإنه يحتاج إلى معرفة كيفية تحريك أذرعه بدقة. هذه هي مهمة "المتحكم" (controller)، وهو العقل الذي يخبر مفاصل الروبوت إلى أين تذهب. عادةً ما تحمل هذه الروبوتات أشياءً—أدوات، أو صناديق ثقيلة، أو حتى طفايات حريق تخف وزناً أثناء رشها. المشكلة هي أنه عندما يتغير الوزن في يد الروبوت، تتغير أيضاً طريقة حركة ذراعه. الأمر يشبه محاولة ركوب دراجة هوائية أُضيف إليها فجأة حقيبة ظهر ثقيلة؛ عليك أن تبدل بقوة أكبر وتوجه المقود بشكل مختلف لتبقى على المسار.

لسنوات، حاول العلماء تعليم الروبوتات كيفية التعامل مع تغيرات الوزن هذه باستخدام حيل رياضية قديمة. هذه الأساليب تشبه إعطاء الروبوت مجموعة من القواعد الجامدة: "إذا أصبح الشيء ثقيلاً، ادفع بقوة أكبر". لكن هذه القواعد غالباً ما تفشل عندما يتغير الوزن فجأة أو بشكل جامح، مما يتسبب في تمايل الروبوت، أو تجاوز هدفه، أو حتى تدمير نفسه من خلال الاهتزاز. وهنا يبرز مفهوم أحدث وأكثر جاذبية: التعلم المعزز العميق (Deep Reinforcement Learning - DRL). فكر في هذا الأمر كتعليم الروبوت ليس عبر إعطائه كتاب قواعد، بل من خلال تركه يلعب لعبة فيديو مراراً وتكراراً. يحاول الروبوت التحرك، ويحصل على "درجة" (score) مقابل أدائه الجيد، ويتعلم من أخطائه حتى يصبح لاعباً ماهراً. تغوص هذه الورقة البحثية في مدى قدرة نهج "لعب الألعاب" هذا على تعليم الروبوت تتبع هدف متحرك بدقة مثالية، حتى عندما يتغير الوزن في يده باستمرار، أو ينكمش، أو يقفز بشكل مفاجئ.

قرر الباحثون وراء هذه الدراسة اختبار هذه الفكرة على روبوت شهير بستة مفاصل يُدعى (UR5e). أرادوا معرفة ما إذا كان بإمكانهم تدريب هذا الروبوت باستخدام نوع معين من خوارزميات لعب الألعاب يسمى "المنتقي الفاعل الناعم" (Soft Actor-Critic - SAC). كان التحدي الكبير هو ضرورة اتباع الروبوت لمسار سريع ومتعرج أثناء حمل أحمال تتراوح من لا شيء (0 كجم) إلى حمل ثقيل يبلغ 5 كجم، وفي بعض الأحيان يتغير الوزن في منتصف الحركة.

لجعل الروبوت ذكياً بما يكفي للتعامل مع أي وزن، لم يكتفِ الفريق بتدريبه باستخدام حمل محدد واحد. بدلاً من ذلك، استخدموا حيلة تسمى "عشوائية النطاق" (domain randomization). تخيل لعبة فيديو يقوم فيها مصمم المستوى بتغيير الجاذبية، أو الاحتكاك، أو وزن الشخصية بشكل عشوائي في كل مرة تبدأ فيها لعبة جديدة. من خلال تدريب الروبوت في هذه البيئة الفوضوية والمتغيرة باستمرار، تعلم الروبوت استراتيجية مرنة تعمل مع أي وزن، بدلاً من حفظ حل واحد لحمل محدد. كما منحوا الروبوت "ذاكرة" خاصة عبر تغذيته ليس فقط بمكانه الحالي، بل بمكانه قبل لحظة ومكانه الذي يجب أن يصل إليه لاحقاً. ساعد هذا الروبوت على توقع التغيرات في فيزياء ذراعه، تماماً مثل راكب الأمواج الذي ينظر للأمام نحو الموجة التالية بدلاً من مجرد التحديق في الماء تحت قدميه.

كانت نتائج عمليات المحاكاة التي أجروها مثيرة للإعجاب حقاً. فعندما اختبروا روبوتهم الجديد "المدرب باللعب" مقابل متحكم تقليدي (متحكم PID قياسي، وهو يشبه نهج كتاب القواعد القديم)، كان الفرق صارخاً. لقد عانى المتحكم التقليدي بشدة عندما تغير الوزن. إذا كان الروبوت يحمل حملاً ثقيلاً ثم انخفض الوزن فجأة، أو إذا بدأ بدون وزن ثم أصبح ثقيلاً فجأة، فإن المتحكم القديم سيصاب بالارتباك؛ حيث سيتجاوز الهدف، ويهتز بعنف، وينتج أخطاء تتبع ضخمة. في الاختبار الأكثر صعوبة، حيث تغير الحمل بطرق معقدة (بقاء ثابت، ثم تغير ببطء، ثم قفزة مفاجئة)، كان متوسط خطأ المتحكم القديم فوضوياً وبلغ 19.41 درجة، واستخدم طاقة كبيرة وغير فعالة.

في المقابل، كان متحكم (DRL) الجديد يعمل بسلاسة واحترافية. فقد حافظ على مسار الروبوت بمتوسط خطأ قدره 1.41 درجة فقط. هذا تحسن هائل بنسبة تقارب 92.72%. لم يكن أكثر دقة فحسب، بل كان أيضاً أكثر سلاسة بكثير. فقد تباين عزم دوران (torque) المتحكم القديم (القوة التي يطبقها على المفاصل) بشكل كبير، حيث قفز بمتوسط 5.26 نيوتن متر، بينما حافظ المتحكم الجديد على تلك القفزات عند 1.72 نيوتن متر فقط. وهذا يعني أن الروبوت تحرك بنعومة، مستخدماً طاقة أقل، مما قلل الإجهاد على محركاته.

كما أظهرت الدراسة أن "التدريب العشوائي" كان هو السر وراء هذا النجاح. فعندما حاولوا تدريب الروبوت على وزن ثابت واحد ثم اختبروه على وزن مختلف، فشل فشلاً ذريعاً، حيث ارتفعت الأخطاء بشكل حاد. ولكن لأنهم دربوه على مزيج جامح من الأوزان، فقد تعلم مهارة عامة تعمل في كل مكان. ووجد الباحثون أن الطريقة التي صمموا بها "بطاقة النقاط" (reward function) الخاصة بالروبوت كانت حاسمة أيضاً. كان عليهم الموازنة بين منح النقاط لإصابة الهدف، والنقاط للحركة بسلاسة، والنقاط لعدم إهدار الطاقة. لو اهتموا فقط بإصابة الهدف، لاهتز الروبوت حتى تحطم؛ ولو اهتموا فقط بالسلاسة، لكان أقل استجابة لتصحيح مساره. المزيج المثالي من هذه المكافآت علّم الروبوت أن يكون دقيقاً ولطيفاً في آن واحد.

بالطبع، كل هذا يحدث في محاكاة حاسوبية في الوقت الحالي. ويشير المؤلفون بحذر إلى أنه بينما تعلم الروبوت أن يكون بطلاً في العالم الافتراضي، لا تزال هناك عقبات قبل أن يصبح بطلاً في العالم الحقيقي. لأحد الأسباب، مر الروبوت بـ "أيام سيئة" أثناء التدريب حيث ارتكب خطأً مفاجئاً وغريباً، وهم يشتبهون في أن إعطاءه ذاكرة أفضل (مثل شبكة ذاكرة طويلة المدى) قد يساعد في ذلك. كما يحذرون من أن ترك الروبوت يستكشف بشكل عشوائي في العالم الحقيقي قد يكون خطيراً، لذا فهم بحاجة إلى معرفة كيفية نقل هذه المهارات الافتراضية بأمان إلى آلة مادية.

باختصار، تشير هذه الورقة البحثية إلى أنه من خلال تعليم الروبوتات كيفية لعب لعبة تتغير فيها القواعد (الوزن) باستمرار، يمكننا إنشاء متحكمات أكثر قدرة على التكيف والدقة من الأساليب القديمة. إنها خطوة واعدة نحو روبوتات يمكنها التعامل مع الواقع الفوضوي وغير المتوقع للعالم الحقيقي دون الحاجة إلى إنسان يقوم باستمرار بتعديل إعداداتها.