WAM-OPD: On-Policy Distillation for World Action Models
تقدم الورقة البحثية WAM-OPD، وهي طريقة ما بعد التدريب تستخدم التقطير القائم على السياسة (on-policy distillation) لإصلاح نماذج العالم القائمة على الفيديو (video-first World Action Models) عبر تدريبها على تاريخها المُنشأ ذاتياً باستخدام إشراف معلّم كثيف، مما يحسن معدلات نجاح المهام بشكل كبير دون الحاجة إلى التعلم المعزز ذي المكافأة المتفرقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تتعلم الروبوتات كيفية الرؤية والتحرك بنوع جديد من الذكاء، نوع يحاول فهم العالم ليس فقط من خلال التفاعل مع ما يحدث الآن، بل عبر تخيل ما سيحدث لاحقاً. لسنوات، قام الباحثون بتدريب الروبوتات باستخدام كميات هائلة من بيانات الفيديو والتعليمات، لتعليمها الربط بين ما تراه وكيفية تحريك أذرعها. هذه الأنظمة، التي تُسمى غالباً نماذج "الرؤية واللغة والحركة"، قوية، لكنها قد تكون بطيئة وخرقاء عند مطالبتها بأداء مهام معقدة في الوقت الفعلي. ولجعلها أسرع، طور العلماء تقنية تسمى "التقطير" (distillation)، وهي تشبه أخذ معلم عبقري بطيء وتدريب نسخة طالب سريع ليحاكي سلوكه. الهدف هو إنشاء روبوت يمكنه التفكير والعمل في حركة واحدة انسيابية. ومع ذلك، هناك عقبة: عندما تسرّع دماغ الروبوت، فإنه أحياناً ينسى كيفية التعامل مع المواقف الصعبة أو يتوه في حالات لم يرها خلال تدريبه الأولي. يصبح الروبوت سريعاً، لكنه يفقد القدرة على إتمام المهمة.
وهنا يأتي دور نهج جديد يسمى WAM-OPD، وهو طريقة مصممة لإصلاح هذه الروبوتات السريعة دون الحاجة إلى إرسالها للتعلم من الصفر من خلال التجربة والخطأ. أدرك الباحثون، الذين يعملون مع نظام يتنبأ بإطارات الفيديو المستقبلية للتخطيط لتحركاته، أن الطريقة القياسية لتدريب هذه الروبوتات المتسارعة كانت معيبة. المشكلة هي أن الروبوت السريع كان يُعلّم كيف يتصرف بناءً على تنبؤات المعلم البطيء المثالية، ولكن في العالم الحقيقي، كان على الروبوت السريع أن يتصرف بناءً على تنبؤاته الخاصة، غير المثالية قليلاً. كان الأمر يشبه تعليم طالب القيادة عبر إظهار فيديو لسائق مثالي، ثم تسليمه المقود وتوقع منه التفاعل مع الطريق تماماً كما سيفعل المعلم، رغم أن سيارة الطالب تتحرك بشكل مختلف. هذا التباين بين ما توقعه الروبوت وما رآه بالفعل تسبب في فشله.
ولحل هذه المشكلة، ابتكر الفريق حلقة تدريب حيث يخرج الروبوت السريع فعلياً إلى بيئة محاكاة ويتحرك بمفرده. وبينما يتحرك، ينشئ سجلاً لما يراه ويفعله. ثم يقوم روبوت معلم، بطيء وثابت وعالي الدقة، بمراقبة هذه اللحظات المحددة وتقديم الإجابات الصحيحة لما يجب أن يحدث بعد ذلك. والأهم من ذلك، يتم تعليم الروبوت السريع التنبؤ بالمستقبل واختيار أفعاله بناءً على رؤيته الخاصة وغير المثالية للعالم، مع محاولة مطابقة إجابات المعلم الصحيحة في الوقت ذاته. يضمن هذا أن يتعلم الروبوت كيفية التعامل مع المواقف المحددة التي يواجهها بالفعل، بدلاً من مجرد حفظ قائمة نصية من السيناريوهات التي قد لا يراها أبداً. اختبر الباحثون هذه الطريقة في مهمتين محددتين في بيئة محاكاة: تمرير ميكروفون من يد روبوتية إلى أخرى، ووضع جسم داخل درج خزانة.
أظهرت النتائج أن هذه الطريقة يمكن أن تحسن بشكل كبير قدرة الروبوت على إكمال هذه المهام. بالنسبة لمهمة تمرير الميكروفون، وهي مهمة فشل فيها الروبوت السريع تماماً في البداية، ساعدت طريقة التدريب الجديدة في نجاحه في أكثر من نصف المحاولات. أما بالنسبة لمهمة الخزانة، حيث كان الروبوت ناجحاً نوعاً ما بالفعل، فقد كان التحسن أصغر ولكنه ظل ملحوظاً، حيث رفع معدل النجاح من حوالي محاولة واحدة من كل ست محاولات إلى واحدة من كل ثلاث محاولات. تأتي هذه الأرقام من مجموعة محددة جداً من الاختبارات باستخدام عدد صغير من مشاهد المحاكاة، لذا فإن الباحثين حذرون في قول إن هذا هو "إثبات لمفهوم" وليس حلاً عالمياً. لقد وجدوا أن الطريقة تعمل جيداً لهذه التحديات المحددة، مما يشير إلى أن تعليم الروبوت التعلم من تجاربه في الوقت الفعلي، بتوجيه من معلم حكيم وثابت، هو طريق واعد لإصلاح نقاط ضعف أنظمة الذكاء الاصطناዊ المتسارعة. لا يدعي العمل أنه حل مشكلة تعلم الروبوتات لجميع المواقف، لكنه يقدم مساراً واضحاً لجعل هذه الأنظمة عالية السرعة أكثر موثوقية عندما توضع فعلياً في حيز العمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.