Reinforcement Learning on Cost-Constrained Quadrupedal Hardware
تُثبت هذه الورقة أن نشر التعلم التعزيزي على أجهزة رباعية الأرجل منخفضة التكلفة يمكن أن يتغلب على فجوات النقل من المحاكاة إلى الواقع الكبيرة الناتجة عن تأخير المشغلات الميكانيكية، وذلك عبر توظيف نموذج أمامي لمتوسط التأخير مقترن بشبكة عصبية مدركة للزمن تتعلم ذاتياً مولداً للأنماط المركزية متيناً ومستوحىً حيوياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم جرو المشي عبر الصراخ بالتعليمات من غرفة بعيدة، متصلة بسلك هاتف طويل ومتشابك للغاية. بحلول الوقت الذي يصل فيه صوتك إلى أذني الجرو، يكون قد تعثر بالفعل في أقدامه. وبحلول الوقت الذي يحاول فيه تصحيح خطوته بناءً على صرختك الجديدة، يكون قد سقط مرة أخرى. هذه هي المعاناة اليومية لـ "المحاكاة إلى الواقع" (Sim-to-Real) في مجال الروبوتات، وهو مجال يحاول فيه العلماء تعليم الروبوتات كيفية الحركة عن طريق تدريبها في عالم لعبة فيديو مثالي وفوري، فقط لإرسالها إلى العالم الحقيقي الفوضوي والبطيء والمزعج.
تكمن المشكلة الجوهرية في "زمن الاستجابة" (latency)، أو التأخير بين الأمر والفعل. في الروبوتات باهظة الثمن وعالية التقنية، يكون هذا التأخير ضئيلاً للغاية، لدرجة أنه يكاد يكون غير مرئي. ولكن في الروبوتات الرخيصة والميسورة التكلفة، يمكن أن يكون التأخير كبيراً جداً، مثل انتظار اتصال إنترنت بطيء لتحميل مقطع فيديو. عندما يصبح هذا التأخير كبيراً جداً، لا يستطيع الروبوت مجرد التفاعل مع ما يراه الآن؛ بل يجب عليه تخمين ما سيحدث بعد ذلك. هذا يحول عقل الروبوت إلى لغز: عليه أن يكتشف كيفية المشي دون معرفة مكان أرجله بدقة في هذه اللحظة، بل فقط أين كانت قبل لحظة. السؤال الكبير هو: هل نحتاج إلى بناء روبوتات باهظة الثمن وسريعة للغاية لحل هذه المشكلة، أم يمكننا تعليم روبوت رخيص أن يكون ذكياً بما يكفي للتعامل مع هذا التأخير؟
تحكي هذه الورقة قصة فريق قرر تجربة الخيار الثاني. لقد أخذوا روبوتاً رخيصاً جداً بأربع أرجل يسمى (Mini Pupper 2)، والذي يعاني من تأخير هائل قدره 76 مللي ثانية في محركاته. وبدلاً من محاولة إصلاح الأجهزة أو بناء جسر رياضي معقد لتخمين موقع الروبوت، نظروا إلى الطبيعة طلباً للإلهام. وسألوا: كيف تمشي الحيوانات عندما تكون أعصابها بطيئة؟ تكمن الإجابة في الحبل الشوكي، الذي يستخدم مولداً إيقاعياً خاصاً للحفاظ على حركة الأرجل حتى لو كان الدماغ بطيئاً في الاستجابة.
قام الباحثون بتدريب أنواع مختلفة من شبكات "الدماغ" (الشبكات العصبية) للتحكم في هذا الروبوت الرخيص. ووجدوا أن "دماغاً" بسيطاً ومعيارياً (يسمى MLP) فشل فشلاً ذريعاً ما لم يقضوا ساعات في ضبطه يدوياً باستخدام مجموعة معقدة من القواعد. ومع ذلك، فإن "دماغًا" أكثر تقدماً "مدركاً للزمن" (يسمى LSTM) فعل شيئاً سحرياً من تلقاء نفسه. فقد تعلم تجاهل الإشارات المزعجة والمتأخرة من مستشعرات الروبوت، وبدلاً من ذلك، قام بتوليد إيقاعه الداخلي الخاص، تماماً مثل "مولدات النمط المركزي" (CPGs) الموجودة في الحبال الشفوية للفقاريات.
كانت النتائج مذهلة. كان هذا الإيقاع المكتسب ذاتياً قوياً لدرجة أن الروبوت استطاع مواصلة المشي حتى عندما أضاف الباحثون اصطناعياً تأخيراً آخر قدره 320 مللي ثانية فوق التأخير الأصلي. وبينما انهار دماغ الروبوت البسيط وتوقف عن المشي، حافظ الدماغ المدرك للزمن على وتيرة مشيه المنتظمة. تشير الورقة إلى أن هذا ليس مجرد صدفة سعيدة؛ بل هو استراتيجية عامة. فعندما تجبر روبوتاً على التعامل مع أجهزة بطيئة ومزعجة، فإن أذكى حل يمكنه العثستخدامه هو التوقف عن محاولة التفاعل مع الحاضر والبدء في توليد مستقبله الخاص.
اكتشف الفريق أيضاً أن محاولة استخدام بيانات المستشعرات الفعلية والمزعجة للروبوت (مثل السرعة والجهد) جعلت الأمور أسوأ في الواقع. ولأن المستشعرات الرخيصة كانت غير موثوقة للغاية، فقد مشى الروبوت بشكل أفضل عندما أخبره الفريق بأن يتظاهر بأن تلك المستشعرات غير موجودة وأن يعتمد كلياً على إيقاعه الداخلي. لقد بنوا نظاماً من طبقتين: "حافظ الإيقاع" (LSTM) الذي يتولى التوقيت طويل الأمد، و"متنبئ" بسيط (شبكة عصبية صغيرة) يخمن أين يجب أن تكون الأرجل، ليحل محل المستشعرات الحقيقية المعطلة.
في النهاية، تثبت الورقة أنك لست بحاجة إلى روبوت بقيمة 10,000 دولار ليمشي بشكل جيد. أنت فقط بحاجة إلى روبوت رخيص يمتلك عقلاً يعرف كيف ينتظر. ومن خلال محاكاة الحيلة البيولوجية المتمثلة في توليد إيقاع داخلي، نجح الباحثون في سد الفجوة بين المحاكاة والواقع، مظهرين أنه في بعض الأحيان، أفضل طريقة للتعامل مع عالم بطيء ومزعج هي التوقف عن الاستماع إليه والبدء في الرقص على إيقاعك الخاص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.