: Training Robots to Reason in Natural Language via Reinforcement Learning
تقدم الورقة البحثية إطار العمل ، وهو إطار عمل لما بعد التدريب يعمل على تعزيز نماذج الرؤية واللغة الجاهزة وتحويلها إلى مستنتجات روبوتية قادرة على توليد توجيهات لغوية طبيعية حرة لسياسات التلاعب منخفضة المستوى، مما يؤدي بشكل كبير إلى تحسين الاستكشاف والتعميم في المهام طويلة الأمد من خلال الجمع بين التدريب المتوسط على آثار الخبراء والتعلم التعزيزي القائم على المعايير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما كانت الروبوتات بارعة في التكرار، حيث يمكنها أداء الحركة نفسها آلاف المرات بدقة مثالية. ومع ذلك، عندما تواجه موقفًا جديدًا أو خطأً ما، فإنها غالبًا ما تتعثر، وتفتقر إلى القدرة على التوقف والتفكير فيما سار بشكل خاطئ. ينبع هذا القصور من وجود فجوة بين رؤية العالم وفهمه. لقد حقق الذكاء الاصطناعي الحديث خطوات واسعة في كل من الرؤية واللغة، مما سمح للآلات بالتعرف على الأشياء واتباع الأوامر المنطوقة. ومع ذلك، فإن ربط هذه القدرات بالفعل الفيزيائي بطريقة تسمح بحل المشكلات بمرونة لا يزال يمثل تحديًا كبيرًا. والسؤال الجوهري الذي يقود الأبحاث الحديثة هو ما إذا كان منح الروبوت القدرة على "التفكير" بالكلمات قبل أن يتحرك يمكن أن يساعده في التنقل عبر المهام المعقدة وطويلة الأمد التي تتطلب التخطيط، وتتبع التقدم، والتعافي من الأخطاء.
قام فريق من الباحثين في جامعة كارنيجي ميلون بتطوير طريقة جديدة لتعليم الروبوتات هذا النوع من التفكير. فقد أنشأوا نظامًا يدرب ذكاءً اصطناعيًا عالي المستوى على توليد استدلال باللغة الطبيعية — وهو في الأساس تعليق مستمر على ما يجب أن يفعله الروبوت بعد ذلك — قبل أن يصدر أمرًا إلى وحدة تحكم منخفضة المستوى تقوم فعليًا بتحريك أذرع الروبوت. ووجد الباحثون أنه من خلال تدريب النظام على إنتاج هذه الأفكار، أصبح الروبوت أفضل بكثير في حل مهام المناولة الصعبة، مثل ترتيب المكعبات في أشكال محددة أو تعبئة البقالة في حقيبة. والاكتشاف الرئيسي هو أن عملية توليد هذه الأفكار في الوقت الفعلي، وليس مجرد استخدامها كأداة للتدريب، تعمل كشكل من أشكال الحوسبة الذهنية التي تساعد الروبوت على توجيه أفعاله بشكل أكثر فعالية.
تعامل الباحثون مع هذه المشكلة من خلال معاملة دماغ الروبوت كنظام يتكون من جزأين. جزء واحد هو "المستدل" (reasoner)، وهو نموذج لغوي كبير ينظر إلى المشهد والهدف، والجزء الآخر هو "المنفذ" (doer)، وهو سياسة مدربة مسبقًا تنفذ الحركات الفيزيائية. وفي تجاربهم، كُلف المستدل بمهمة النظر في الحالة الراهنة للعالم، وتاريخ ما حدث حتى الآن، والهدف النهائي، ثم كتابة شرح قصير لخطته قبل إصدار تعليمات محددة للمنفذ. على سبيل المثال، إذا كان الهدف هو ترتيب المكعبات في خط، فقد يلاحظ المستدل أولاً أن مكعبًا أخضر قد وُضع في مكانه بالفعل، ويلاحظ أن نجمة في وضع غير صحيح، ثم يقرر نقل النجمة لإكمال الخط. وتحدث عملية كتابة هذا الاستدلال في كل مرة يتخذ فيها الروبوت خطوة.
ولتعليم النظام كيفية القيام بذلك، استخدم الباحثون عملية تدريب مكونة من مرحلتين. أولاً، عرضوا على النظام أمثلة لخبراء يحلون المهام أثناء التعبير اللفظي عن عملياتهم الفكرية. ساعدت هذه الخطوة، التي يسمونها "التدريب المتوسط" (mid-training)، النموذج على تعلم أسلوب الاستدلال المطلوب لهذه المهام الفيزيائية، مثل تتبع التقدم الجزئي أو ملاحظة متى ساءت خطة ما. ومع ذلك، لم يكن مجرد محاكاة هذه الأمثلة كافيًا. ثم استخدم الباحثون مرحلة ثانية تتضمن التعلم التعزيزي، وهي طريقة يتعلم فيها النظام من خلال التجربة والخطأ بناءً على التغذية الراجعة. في هذه المرحلة، أُعطي الروبوت مهمة وطُلب منه توليد استدلاله وتعليماته الخاصة. ولم يحصل على مكافأة بناءً على النتيجة النهائية وحدها، بل بناءً على ما إذا كانت تعليماته المولدة تطابق قصد تعليمات الخبير. سمح هذا للنظام بصقل مهارات الاستدلال لديه باستخدام كم هائل من البيانات حيث تُعرف التعليمات النهائية فقط، دون الحاجة إلى جمع أمثلة مكلفة لأفكار الخبراء لكل حركة على حدة.
تم قياس نتائج هذه التجارب في بيئتين متميزتين. الأولى كانت عبارة عن طاولة محاكاة مليئة بالمكعبات الملونة، حيث كان على الروبوت ترتيبها في أشكال مثل الخطوط أو أشكال حرف V. والثانية كانت محاكاة أكثر تعقيدًا لروبوت ثنائي اليد يقوم بتعبئة البقالة في الحقائب. وفي كلتا الحالتين، تفوق النظام الذي تدرب باستخدام طريقة الاستدلال هذه، والذي أطلق عليه الباحثون اسم R3، على الأنظمة التي تدربت فقط على اتباع التعليمات دون توليد أفكار. وفي مهام ترتيب المكعبات، أظهر الروبوت المُمكَّن بالاستدلال قدرة ملحوقة على التعميم على أشكال جديدة وغير مرئية، محققًا النجاح حيث فشلت الطرق الأخرى. وفي محاكاة تعبئة البقالة، حقق الروبوت الذي يمكنه الاستدلال بشأن أفعاله معدل نجاح يقترب من 47.9 بالمائة في المهام الصعبة وغير المرئية، مقارنة بنحو 38.0 بالمائة للنظام الذي يتبع التعليمات ببساطة دون تفكير.
وعلى نحو حاسم، بحث الباحثون فيما إذا كان التحسن ناتجًا عن تعلم الروبوت لأنماط بصرية أفضل أثناء التدريب أم من فعل التفكير نفسه. ووجدوا أنه بينما ساعد التدريب في تحسين قدرة الروبوت على فهم المشهد، إلا أن الفائدة الحقيقية جاءت من عملية الاستدلال التي تحدث لحظة اتخاذ القرار. فعندما أجبروا الروبوت على التوقف عن توليد الأفكار والاكتفاء بالفعل فقط، انخفض أداؤه بشكل كبير. وعلى العكس من ذلك، عندما سمحوا للروبوت بقضاء وقت أطول في توليد أفكار أطول وأكثر تفصيلًا، زاد معدل نجاحه، خاصة في المهام الأكثر صعوبة. وهذا يشير إلى أن الاستدلال اللغوي يعمل كآلية تجعل الروبوت يبذل جهدًا ذهنيًا إضافيًا في المشكلات الصعبة، تمامًا كما قد يتوقف الإنسان للتفكير في لغز معقد قبل القيام بحركة ما.
كما كشفت الدراسة عن سلوكيات محددة تعلمها نظام الاستدلال. بدأ الروبوت في مقارنة إجراءات مختلفة محتملة قبل اختيار أحدها، وإعادة فحص المشهد عندما كان غير متأكد من موقع جسم ما، وتعديل خطته عندما أدرك أن خطوة سابقة قد فشلت. كما تعلم تتبع تاريخ تفاعلاته، متذكرًا ما قام به بالفعل لتجنب تكرار الأخطاء. لم تكن هذه السلوكيات مبرمجة صراحة؛ بل ظهرت بشكل طبيعي مع تعلم النظام كيفية استخدام اللغة لتوجيه أفعاله. وأشار الباحثون إلى أن هذا النهج نجح حتى عندما لم يُعطَ الروبوت أمثلة صريحة لأفكار الخبراء في المرحلة الثانية من التدريب، معتمدًا بدلاً من ذلك على قدرة النظام على استنتاج الاستدلال الصحيح من التعليمات النهائية وحدها.
ورغم أن التجارب أجريت في بيئات محاكاة، فإن النتائج تقدم مسارًا واضحًا للمضي قدمًا لجعل الروبوتات أكثر قدرة على التكيف. ويقترح الباحثون إمكانية تطبيق هذه الطريقة على الروبوتات في العالم الحقيقي لمساعدتها في التعامل مع عدم القدرة على التنبؤ بالمهام الفيزيائية، مثل التعامل مع المستشعرات التي بها ضجيج أو التعافي من الاصطدامات. كما أشاروا إلى أن العمل المستقبلي يمكن أن يستكشف تدريب أجزاء الاستدلال والعمل معًا، بدلًا من إبقائها منفصلة، لخلق سلوك أكثر تنسيقًا. وفي الوقت الحالي، يوضح هذا العمل أن منح الروبوت القدرة على التحدث إلى نفسه حول ما يفعله ليس مجرد تمرين نظري، بل هو وسيلة عملية لتحسين قدرته على حل المشكلات المعقدة وطويلة الأمد. فالنظام لا يحتاج لأن يكون مثاليًا ليكون مفيدًا؛ بل يحتاج ببساطة لأن يكون قادرًا على التفكير في الخطوات، وبذلك يصبح أكثر قدرة بكثير من آلة تكتفي بمجرد الاستجابة ورد الفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.