Fine-Tuning VLAs with Self-Demonstrated Generative Control for Multi-Task Manipulation
تقترح هذه الورقة طريقة ضبط دقيق ذاتي الإشراف تستفيد من عمليات التدحرج التفاعلية عبر الإنترنت من نماذج الرؤية واللغة والعمل (VLA) ذات القدرة على التعلم الصفري، لتمكين تجسيدات روبوتية جديدة من تعلم مهارات جديدة من بيانات الخبراء مع الحفاظ على قدراتها الأصلية في اتباع التعليمات ومعرفتها السابقة بالمهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما عانت الروبوتات من أجل فهم الفرق بين الأمر والواقع. فعلى مدى عقود، استطاع المهندسون برمجة الآلة لتحريك ذراعها بدقة متناهية، لكن تلك الآلة لم تكن قادرة على فهم جملة بسيطة مثل "التقط الكوب الأحمر". وفي السنوات الأخيرة، ظهر نوع جديد من الذكاء الاصطناعي لسد هذه الفجوة. هذه الأنظمة، المعروفة بنماذج (الرؤية واللغة والفعل)، يتم تدريبها على كميات هائلة من البيانات لفهم كيفية ارتباط الكلمات والصور والحركات الفيزيائية ببعضها البعض. يمكنها النظر إلى مشهد، وقراءة طلب، واتخاذ قرار بشأن ما يجب فعله، مما يقدم لمحة عن مستقبل حيث يمكن إخبار الروبوتات بما يجب فعله باللغة الإنجليزية العادية بدلاً من التعليمات البرمجية. ومع ذلك، لا تزال هناك مشكلة مستعصية: غالباً ما يتم تدريب هذه النماذج على روبوت محدد في بيئة محكومة، وعندما يحاول الباحثون استخدامها على آلة أخرى، حتى لو كانت مختلفة قليلاً، فإن الروبوت غالباً ما يفشل. قد يفهم الكلمات بشكل مثالي ولكنه يتخبط في الفعل الفيزيائي للإمساك بجسم ما، أو للأسوأ من ذلك، قد ينسى كيفية اتباع التعليمات تماماً عندما يُجبر على تعلم مهمة جديدة.
وجد فريق من الباحثين في جامعة إلينوي في أوربانا-شامبين طريقة لإصلاح ذلك دون الحاجة إلى جمع آلاف الساعات من العروض التوضيحية البشرية الجديدة. لقد اكتشفوا أنه عندما يفشل الروبوت في أداء مهمة ما، فإن محاولاته الفاشلة لا تزال تحتوي على معلومات قيمة. فمن خلال السماح للروبوت بتجربة الأشياء بمفرده والتعلم من تلك المحاولات، يمكنهم تعليمه مهارات جديدة مع الحفاظ على قدرته على فهم اللغة. يتضمن نهجهم عملية من خطوتين: أولاً، يأخذون "دماغ" روبوت مدرب مسبقاً ويعرضون عليه قدراً صغيراً من البيانات الخبيرة — فقط أربع عشرة دقيقة من توجيه إنسان للروبوت عبر مهمة محددة، مثل التقاط مكعب. هذا يعلم الروبوت المهارات الحركية الدقيقة اللازمة لتلك الآلة المحددة. ولكن إذا توقفوا عند هذا الحد، فإن الروبوت ينسى كل ما عرفه سابقاً، مثل كيفية وضع جسم في مكان آخر أو كيفية التعامل مع أنواع مختلفة من العناصر. ولحل هذه المشكلة، ترك الباحثون الروبوت يتدرب بمفرده باستخدام التعليمات التي يفهمها بالفعل. لقد طلبوا من الروبوت تجربة مهام متنوعة رآها من قبل، وسجلوا ما فعله، واستخدموا تلك التسجيلات كبيانات تدريب إضافية. هذا الأسلوب، الذي يسموا به "التعلم الخاضع للإشراف الذاتي"، يسم يتيح للروبوت مراجعة مهاراته القديمة أثناء تعلم مهارات جديدة، مما يمنعه فعلياً من نسيان ما كان يعرفه بالفعل.
كانت نتائج هذه التجربة مذهلة. فعندما اختبر الفريق طريقتهم على روبوت حقيقي بذراعين، تعلم الروبوت التقاط الأشياء ووضعها في السلال بمعدلات نجاح عالية، حتى بالنسبة للمهام التي لم يتم تعليمه إياها صراحة من قبل إنسان. في مجموعة واحدة من الاختبارات، روبوت تم تدريبه فقط على العروض البشرية لالتقاط الأشياء نسي تماماً كيفية وضعها، وفشل في نقل الجسم إلى حاوية بنسبة 100% من الوقت. وعندما أضاف الباحثون بيانات الممارسة التي ولدها الروبوت ذاتياً إلى التدريب، قفز معدل النجاح في وضع الأشياء إلى 55%، وتحسنت قدرة الروبوت على اتباع التعليمات بشكل كبير. لم يتعلم الروبوت مجرد الإمساك بالأشياء؛ بل تعلم فهم الجملة الكاملة، وعرف متى يتوقف بعد التقاط شيء ما ومتى ينتقل إلى موقع ثانٍ لوضعه. وكان هذا صحيحاً حتى عندما كانت الأشياء جديدة أو كان ترتيب العناصر في الغرفة مختلفاً عما رآه الروبوت من قبل.
اختبر الباحثون أيضاً هذه الفكرة في بيئة محاكاة، وهي عالم رقمي حيث يمكن للروبوتات التعلم بسرعة دون خطر كسر الأجهزة. في هذه المحاكات، وجدوا أن التدريب على مهام جديدة باستخدام البيانات البشرية فقط تسبب في فقدان الروبوت لقدرته على أداء المهام القديمة، حيث انخفضت معدلات النجاح من أكثر من 90% إلى أقل من 17%. ومن خلال دمج بيانات الممارسة التي ولدها الروبوت ذاتياً، استعادوا القدرة على أداء المهام القديمة، مما رفع معدلات النجاح إلى أكثر من 70%، مع تحسين الأداء في المهام الجديدة أيضاً. يشير هذا إلى أن محاولات الروبوت الخاصة، حتى لو فشلت، تحمل نوعاً من الذاكرة للعالم الفيزيائي تساعده على البது بقاء مرناً. وأشار الفريق إلى أن هذا النهج مفيد بشكل خاص لأنه لا يتطلب الوصول إلى مجموعات البيانات الضخمة الأصلية المستخدمة لتدريب الروبوت في المقام الأول، والتي غالباً ما تحتفظ بها الشركات التي تصنعها كأسرار. بدلاً من ذلك، يقوم الروبوت بتوليد مواد تعلمه الخاصة مباشرة في أرض المصنع أو في المنزل.
كان أحد النتائج الأكثر إثارة للدهشة هو مدى جودة حفظ هذه الطريقة لقدرة الروبوت على التعامل مع مهام لم يتم تدريبه عليها. اختبر الباحثون مهارة تسمى "الدفع"، والتي لم تكن جزءاً من بيانات التدريب سواء للعروض البشرية أو للممارسة المولدة ذاتياً. الروبوت الذي تدرب فقط على العروض البشرية للالتقاط والوضع مال إلى تجاهل تعليمات الدفع وحاول التقاط الجسم بدلاً من ذلك، ففشل في المهمة. ومع ذلك، فإن الروبوت المدرب بالمنهج الخاضع للإشراف الذاتي فهم تعليمات الدفع بشكل صحيح ونفذ الحركة بنسبة 70% من المرات. يشير هذا إلى أن النهج الخاضع للإشراف الذاتي يساعد الروبوت على الحفاظ على فهمه الأوسع لكيفية الحركة، بدلاً من استبداله بمجموعة ضيقة من العادات. لاحظ الباحثون أن الروبوت يمكنه حتى التعامل مع مواقف معقدة، مثل الالتفات لينظر خلف نفسه عندما يكون جسم ما خارج مجال رؤيته، وهو سلوك لم يظهره الروبوت المدرب على البيانات البشرية فقط.
تسلط الدراسة الضوء على تحول جوهري في كيفية تكييف الروبوتات مع البيئات الجديدة. فبدلاً من اعتبار إخفاقات الروبوت ضجيجاً عديم الفائدة، عاملها الباحثون كمورد. ومن خلال استخدام أفعال الروبوت كشكل من أشكال المراجعة، خلقوا نظاماً يتسم بالقدرة على التكيف والمتانة. أثبت الفريق أنه بلمسة صغيرة من التوجيه البشني، جنباً إلى جنب مع ممارسة الروبوت الخاصة، يمكن لسياسة واحدة أن تتعلم أداء مجموعة متنوعة من المهام على آلة جديدة. يحل هذا النهج مشكلة "النسيان الكارثي"، حيث يؤدي تعلم شيء جديد إلى فقدان النظام لكل ما عرفه سابقاً. وجد الباحثون أن هذه الطريقة لا تعمل فقط للمهام البسيطة مثل تكديس الكتل، بل أيضاً للمهام المعقدة التي تتطلب اتصالاً وثيقاً، مثل إدخال التروس في لوحة متحركة، حيث تحسن معدل النجاح من 30% إلى 90%.
ورغم قوة هذه الطريقة، إلا أن الباحثين يقرون بأنها ليست مثالية. فأحياناً يرث الروبوت بعض السمات الغريبة من بياناته المولدة ذاتياً، مثل العلق في حلقة مفرغة من التقاط ووضع الجسم، أو سحب حافة السلة أثناء محاولة وضع الغسيل بداخلها. تنشأ هذه المشكلات لأن الروبوت يتعلم من محاولاته غير الكاملة. ولمنع السلوك غير الآمن، قام الباحثون بتصفية أسوأ الأمثلة يدوياً قبل استخدامها في التدريب، لكنهم أشاروا إلى أن أتمتة هذه العملية ستكون خطوة ضرورية لتوسيع نطاق هذه التكنولوجيا. وبالرغم من هذه القيود، فإن هذا العمل يقدم مساراً واعداً لجعل الروبوتات أكثر عملية وأسهل في النشر. إنه يشير إلى أن مفتاح الروبوت متعدد الاستخدامات لا يكمن فقط في جمع المزيد من البيانات البشرية، بل في تعليم الآلة كيف تتعلم من تجاربها الخاصة، مما يسمح لها بحمل معرفتها معها أثناء انتقالها من مهمة إلى أخرى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.