ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
يُعد ADEPT إطار عمل للتعلم التعزيزي واسع النطاق يعمل على تسريع تطوير البراعة بمستوى بشري في الروبوتات ذات درجات الحرية العالية من خلال التدريب المسبق على مهام عامة واستخدام وصفة تدريب لاحقة مستقرة لتمكين النقل من المحاكاة إلى الواقع دون تدريب مسبق (zero-shot) لحل مهام التلاعب المعقدة وطويلة الأمد من خلال الإدراك البصري اللمسي الخام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما كانت الروبوتات سيدة أرض المصنع، تتحرك بدقة صارمة لتجميع السيارات أو رص الصناديق. ومع ذلك، عندما يُطلب منها أداء المهام الانسيابية والدقيقة للحياة اليومية — مثل التقاط بيضة هشة، وقلبها، ووضعها بلطف في وعاء — تفشل معظم الآلات. هذا هو تحدي البراعة اليدوية (dexterity). فهي تتطلب من الروبوت تنسيق عشرات الأجزات المتحركة في وقت واحد، والاستجابة للمس والرؤية في الوقت الفعلي لإدارة الفيزياء الفوضوية للأشياء التي تنزلق أو تتدحرج أو تتصادم. لسنوات، حاول الباحثون تعليم الروبوتات هذه المهارات عبر برمجتها بقواعد جامدة أو عرض نماذج بشرية عليها، لكن هذه الأساليب غالبًا ما تفشل عندما تتغير البيئة ولو بشكل طفيف. ومع ذلك، يشير نهج جديد إلى أن سر البراعة الروبوتية لا يكمن في تعليم الروبوت كل مهمة محددة من الصفر، بل في منحه خبرة تأسيسية واسعة مع العالم المادي أولاً.
طوّر فريق من الباحثين إطار عمل جديدًا يسمى ADEP، يعلّم الروبوتات كيفية تعلم مهارات المناولة المعقدة من خلال إتقان لعبة "إعادة تموضع" الأشياء أولاً. تخيل يدًا روبوتية تقضي شهورًا في عالم افتراضي تقوم ببساطة بالتقاط أشكال عشوائية — أسطوانات، مكعبات، كرات — ونقلها إلى أماكن مختلفة على طاولة. تتعلم اليد الوصول، والإمساك، والرفع، وتدوير هذه الأشياء دون أي هدف محدد سوخر عن نقلها بنجاح. تبني هذه المرحلة فهمًا عميقًا وبديهيًا لكيفية سلوك الأشياء وكيف يجب أن تتحرك أصابع الروبوت للتحكم بها. وبمجرد وضع هذا الأساس، يقدم الباحثون مهمة جديدة محددة، مثل إدخال وتد في ثقب أو وضع طبق في رف الأطباق. وبدلاً من البدء من جديد، يستخدم الروبوت خبرته السابقة كدليل. وقد وجد الباحثون أن هذا الأسلوب يسمح للروبوت بتجاوز مرحلة التعلم الأولى المتعثرة وتطبيق مهاراته العامة فورًا على التحدي الجديد المحدد.
تتضح قوة هذا النهج عندما يواجه الروبوت مهمة لم يرها من قبل. في تجاربهم، اختبر الباحثون النظام على ذراعين روبوتيين مجهزين بأيدٍ متعددة الأصابع: إحداهما بـ ثلاثة وعشرين مفصلًا متحركًا والأخرى بتسعة وعشرين. قاموا بتدريب الروبوتات في محاكاة عالية الدقة حيث يمكنهم تشغيل آلاف التجارب في وقت واحد. تعلمت الروبوتات أولاً إعادة تموضع مجموعة متنوعة من الأشكال البسيطة. وعندما طلب الباحثون من الروبوتات بعد ذلك أداء مهمة صعبة — وهي إدخال وتد في لوحة، وهو تحدٍ يتطلب محاذاة دقيقة والتعامل مع قوى التلامس — لم تبدأ الروبوتات من الصفر؛ بل أدركت فورًا الحاجة إلى الوصول، والإمساك، والرفع، وهي مهارات كانت قد أتقنتها بالفعل. الجزء الوحيد الذي توجب عليها تعلمه هو عملية الإدخال الدقيقة النهائية.
ومع ذلك، فإن مجرد أخذ روبوت تم تدريبه على مهمة واحدة وطلب القيام بمهمة أخرى غالبًا ما يؤدي إلى نسيانه لما تعلمه. اكتشف الباحثون أنه إذا حاولوا ضبط سلوك الروبوت بدقة (fine-tuning) مباشرة، فإن التعليمات الجديدة ستلغي المهارات القديمة، مما يؤدي إلى فقدان الروبوت للقدرة على الإمساك أو الرفع بشكل صحيح. ولحل هذه المشكلة، طوروا وصفة تدريبية دقيقة. أولاً، استخدموا تقنية لدفع سلوك الروبوت الجديد بلطف ليشبه السلوك القديم الناجح، مما يضمن بقاء المهارات الأساسية سليمة. بعد ذلك، قاموا بتعديل فهم الروبوت لما يبدو عليه "الحراك الجيد" للمهمة الجديدة ببطء، مما سمح له بالتكيف دون فقدان توازنه. وأخيرًا، قاموا بتدريب نسخة ثانية أبسط من الروبوت يمكنها الاعتماد فقط على ما تراه عبر الكاميرات وما تشعر به عبر أطراف أصابعها، مجردين إياها من البيانات الداخلية التي استخدمها الروبوت أثناء التدريب. ثم أُرسل هذا الروبوت "الطالب" إلى العالم الحقيقي.
كانت النتائج مذهلة. في العالم الحقيقي، استطاعت هذه الروبوتات بنجاح التقاط وتد، وإعادة توجيهه في يدها، وإدخاله في ثقب، وكل ذلك بالاعتماد فقط على التغذية الراجعة البصرية واللمسية. استطاعت التعامل مع وتد نجمي متماثل ووتد آخر أكثر صعوبة، وهو وتد مربع ودائري غير متماثل، يتطلب توجهاً واحداً دقيقاً ليتناسب. كما تعلم النظام كيفية الإمساك بطبق مسطح، وقلبه، ووضعه في رف الأطباق، وهي سلسلة من الإجراءات التي لم تعرضها التدريبات الأولية صراحةً. أدت الروبوتات هذه المهام في خمس إلى عشر ثوانٍ، وهي سرعة تضاهي سرعة الإنسان، بينما استغرقت الطرق السابقة التي تستخدم مقابض أبسط وأدوات تثبيت خارجية ما بين عشرين إلى سبعين ثانية.
والأهم من ذلك، وجد الباحثون أن الروبوتات طورت طرقاً طبيعية تشبه طريقة البشر في الإمساك بالأشياء. فبدون إخبارها بكيفية الإمساك بالوتد، تعلمت الروبوتات لفّ أصابعها حوله في قبضة مستقرة ومتعددة النقاط، تماماً مثل يد الإنسان. وفي المقابل، فإن الروبوتات التي تم تدريبها بدون مرحلة إعادة التموضع الأولية، طورت غالباً طرقاً غريبة وغير مستقرة للإمساك بالأشياء، كانت تعمل للحظة ولكنها تفشل تحت الضغط. تشير الدراسة إلى أنه من خلال منح الروبوت خبرة عامة واسعة مع فيزياء الأشياء أولاً، يمكنه تعلم مهارات محددة جديدة بشكل أسرع وأكثر موثوقية مما لو حاول تعلم كل شيء دفعة واحدة. هذا النهج لا يجعل الروبوتات أسرع فحسب، بل يجعلها أكثر متانة وقدرة على التعامل مع الطبيعة غير المتوقعة للعالم الحقيقي بمستوى من البراعة كان بعيد المنال سابقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.