EXIMO: VLM Guided Exploration of VLA Policies
تقدم هذه الورقة EXIMO، وهو خوارزمية ثلاثية المراحل تجمع بين مخطط نموذج رؤية-لغة (VLM) لتفكيك المهام وجمع البيانات مع تعلم التقليد وتعلم التعزيز المتبقي اللاحق لضبط سياسات الرؤية-اللغة-الأكشن (VLA) الكبيرة الضخمة بكفاءة لمهام روبوتية جديدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما عانت الروبوتات من أجل تعلم مهام جديدة دون وجود إنسان يقف بجانبها مباشرة، يوجه كل حركة من حركاتها. لسنوات، كان النهج الأكثر نجاحاً هو عرض آلاف الساعات من العروض البشرية على الروبوت، لتعليمه كيفية تقليد تلك الحركات المحددة. هذا الأسلوب يعمل جيداً في الوظائف البسيطة والمتكررة، لكنه يفشل عندما يواجه الروبوت موقفاً لم يره من قبل، مثل معرفة كيفية وضع فاكهة معينة في وعاء بناءً على لغز حول ما يحبه القرد. أما البديل، وهو ترك الروبوت يتعلم عن طريق التجربة والخطأ، فغالباً ما يكون بطيئاً وخطراً في العالم الحقيقي، حيث قد يحتاج الروبوت إلى ملايين المحاولات للنجاح. ويتمثل التحدي الذي يواجه العلماء في إيجال طريقة تمنح الروبوتات القدرة على التفكير في المشكلة والتعلم بسرعة، دون الحاجة إلى تسجيل إنسان لكل خطوة بمفرده.
لقد طور فريق من الباحثين في "جوجل ديب مايند" (Google DeepMind) طريقة جديدة تسمى "إكسيمو" (Eximo) لحل هذه المشكلة. بدأوا بروبوت يمتلك بالفعل مهارات أساسية، مثل التقاط موزة أو وضع كوب، لكنه لا يستطيع معرفة كيفية دمج هذه المهارات لتحقيق أهداف معقدة متعددة الخطوات. ولتجسير هذه الفجوة، قدموا برنامج كمبيوتر ثانٍ شديد الذكاء يعمل كمخطط استراتيجي. هذا المخطط، المعروف باسم "نموذج لغوي بصري"، يمكنه النظر إلى محيط الروبوت وفهم الهدف العام، مثل "ضع الطبق والوعاء على الرف". وبدلاً من محاولة تحريك أذرع الروبوت مباشرة، يقوم هذا المخطط بتفكيك الهدف الكبير إلى سلسلة من التعليمات البسيطة بلغة طبيعية، مثل "التقط الطبق الأزرق بيدك اليسرى"، ثم يمررها إلى الروبوت.
تتم العملية عبر ثلاث مراحل متميزة. أولاً، سمح الباحثون للروبوت والمخطط بالعمل معاً لاستكشاف مهام جديدة. يراقب المخطط تقدم الروبوت من خلال بث الكاميرا ويقوم بتحديث تعليماته باستمرار، موجهاً الروبوت عبر الخطوات التي يحتاجها للنجاح. وعندما يكمل الروبوت مهمة بنجاح، يقوم الفريق بحفظ تسلسل الأحداث تلك. في المرحلة الثانية، يستخدمون هذه النجاحات المحفوظة لتعليم الروبوت مباشرة. يأخذون "دماغ" الروبوت الأصلي ويقومون بضبطه بدقة باستخدام الأمثلة الناجحة، مما يجعله قادراً فعلياً على حل المشكلة بمفرده دون الحاجة إلى المخطط ليهمس له بالتعليمات في أذنه. وأخيراً، في المرحلة الثالثة، يتركون الروبوت يمارس المهمة مرة أخرى، ولكن هذه المرة باستخدام طريقة تعلم تسمح له بإجراء تعديلات طفيفة على حركاته ليصبح أكثر دقة وموثوقية.
تم اختبار نتائج هذا النهج في بيئة محاكاة مع اثنتين وعشرين مهمة مختلفة، تتراوح بين وضع الأطباق على رف وتصنيف الأدوات في مقصورات محددة. وجد الباحثون أن الروبوت، عندما كان موجهاً بواسطة المخطط خلال الاستكشاف الأولي، كان قادراً على حل هذه المهام المعقدة بشكل أكبر بكثير من الروبوت الذي يحاول اكتشافها بمفرده. والأهم من ذلك، أنه بعد تعليم الروبوت باستخدام الأمثلة الناجحة من المخطط، أصبح أفضل بكثير في تنفيذ المهمة حتى من أكثر الروبوتات تقدماً المتاحة حالياً. لقد تعلم الروبوت حل المشكلات التي تتطلب التفكير المنطقي، مثل تحديد جسم ما بناءً على وصفه بدلاً من اسمه، وقد فعل ذلك بعدد محاولات أقل بكثير مما تتطلبه الطرق التقليدية.
يبرهن هذا العمل على أن الجمع بين المهارات البدنية للروبوت وبرنامج كمبيوتر تفكيري قوي يمكن أن يخلق متعلماً أكثر قدرة. والرؤية الجوهرية هي أن الروبوت ليس بحاجة لإبقاء برنامج التفكير هذا يعمل للأبد؛ بل يمكنه التعلم من توجيه البرنامج ثم أداء المهمة بشكل مستقل. ومن خلال استخدام هذه الطريقة، أظهر الباحثون أنه يمكن تعليم الروبوتات سلوكيات جديدة ومعقدة بسرعة وكفاءة، مما يقربنا خطوة من آلات يمكنها التكيف مع الطبيعة غير المتوقعة للعالم الحقيقي دون الحاجة إلى إشراف بشري مستمر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.