Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
تقترح هذه الورقة إطار عمل لتحسين الجودة والتنوع يكتشف ويحافظ على أرشيف متنوع من سياسات التخطيط متعددة الأنماط، مما يمكّن الوكلاء المجسدين من التبديل تكيفيًا بين الاستراتيجيات عند اكتشاف توقفات في التنفيذ لتحسين النجاح والكفاءة في المهام طويلة المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيفية التنقل في منزل ضخم وفوضوي للعثور على أشياء محددة وإحضارها لصديق. أنت تعطي الروبوت مجموعة من التعليمات، تشبه وصفة الطعام، تخبره كيف ينظر حوله، ويقرر ما سيفعله تالياً، وكيف يحرك أذرعه. هذا هو عالم الذكاء الاصطناعي المتجسد (Embodied AI)، حيث لا تكتفي البرامج الحاسوبية بالتفكير فحسب، بل تعمل داخل بيئة مادية أو محاكية. عادةً ما نعتمد على النماذج اللغوية الكبيرة (LLMs) — وهي عقول حاسوبية فائقة الذكاء مدربة على كميات هائلة من النصوص — لتعمل كدماغ للروبوت. هذه النماذج بارعة في تحديد ما يجب فعله تالياً بناءً على ما تراه وتقرأه. ومع ذلك، هناك عقبة: إذا علق الروبوت في حلقة مفرغة، مثل فتح باب مفتوح بالفعل أو المشي في دوائر، فإنه غالباً ما يستمر في فعل الشيء نفسه مراراً وتكراراً، آملاً في الحصول على نتيجة مختلفة. الأمر يشبه شخصاً تائه، يستمر في المشي في نفس الاتجاه لأنه لا يعرف أي طريق آخر للتحرك. السؤال الكبير الذي يطرحه الباحثون هو: كيف نعلم هؤلاء المستكشفين الرقميين إدراك أن استراتيجيتهم الحالية لا تعمل، ومن ثم تجربة طريقة تفكير مختلفة تماماً؟
هذه الورقة البحثية، التي تحمل عنوان "اكتشاف سياسات تخطيط متنوعة للوكلاء المتعددين الوسائط باستخدام تحسين الجودة والتنوع"، تعالج هذه المشكلة تحديداً. يقترح المؤلفون، وهم فريق من جامعة نانجينغ لعلوم المعلومات والتكنولوجيا، أن الحل ليس في جعل "أفضل" خطة واحدة للروبوت أكثر ذكاءً، بل يقترحون تزويد الروبوت بـ حقيبة ظهر مليئة باستراتيجيات مختلفة ليختار منها. إنهم يستخدمون طريقة تسمى تحسين الجودة والتنوع (Quality-Diversity optimization)، وهي تشبه رحلة البحث عن الكنز للعثور على العديد من أنواع السلوكيات الناجحة، وليس مجرد سلوك واحد مثالي.
إليك كيف يعمل نظامهم، باستخدام تشبيه مرح. تخيل أن الروبوت هو متسلق جبال يحاول عبور سلسلة جبال لتوصيل طرد. معظم الروبوتات يتم تدريبها على أسلوب واحد في التنزه: "امشِ دائماً للأعلى وابحث عن المسار الأكثر انحداراً". إذا واجه المتسلق منحدرًا أو مستنقعًا، فقد يستمر في محاولة تسلق المنحدر أو الخوض في المستنقع، مما يؤدي إلى العلوق وهدر الطاقة. تقترح هذه الورقة أنه بدلاً من أسلوب واحد، يجب أن ننشئ مكتبة من أساليب التنزه. بعض المتسلقين قد يكونون "مستكشفين" يتفقدون كل زاوية؛ وآخرون قد يكونون "عدائين مباشرين" يندفعون نحو الهدف؛ وآخرون قد يكونون "متسلقين حذرين" يختبرون كل خطوة.
لقد بنى الباحثون نظاماً من مرحلتين لإنشاء واستخدام هذه المكتبة:
المرحلة غير المتصلة (إنشاء المكتبة): قبل أن يبدأ الروبوت مهمته الحقيقية، يقوم الكمبيوتر بتشغيل آلاف عمليات المحاكاة. يأخذ "وصفة" أساسية لكيفية تفكير الروبوت ويبدأ في خلط ومطابقة أجزاء مختلفة منها، مثل عالم مجنون يخلط المكونات في وصفة كعكة. بعض الوصفات تجعل الروبوت كثير الكلام وحذراً للغاية (كثافة تفاعل عالية)، بينما تجعل البعض الآخر مركزاً وسريعاً للغاية (توجّه نحو الهدف عالي). يختبر الكمبيوتر كل هذه الوصفات في عالم محاكى (تحديداً بيئة ثلاثية الأبعاد تسمى ThreeDWorld). هو لا يحتفظ بالوصفة الأفضل الوحيدة فحسب، بل يحتفظ بـ أفضل وصفة لكل نوع مختلف من الأساليب. إذا كان الأسلوب "الحذر" يعمل جيداً في موقف معين، فسيتم حفظه في خانة خاصة في المكتبة. وإذا كان الأسلوب "السريع" يعمل جيداً في موقف آخر، فسيتم حفظه أيضاً. هذا يخلق أرشيفاً متنوعاً من الاستراتيجيات، كل منها مصنف حسب سلوكه.
المرحلة المتصلة (المهمة الحقيقية): الآن، يذهب الروبوت في مهمة حقيقية. يختار استراتيجية واحدة من المكتبة ويبدأ في التحرك. يحتوي النظام على "كاشف للتوقف" مدمج. تخيل مدرباً يراقب الروبوت. إذا استمر الروبوت في القيام بنفس الشيء لمدة 10 خطوات دون الاقتراب من الهدف (مثل المشي في دائرة)، يصرخ المدرب: "توقف! هذه الاستراتيجية لا تعمل!". بدلاً من ترك الروبوت يستمر في الفشل، يضغط النظام على زر التراجع (نقطة تحقق) للعودة إلى آخر لحظة آمنة. ثم، يبحث في المكتبة ويختار استراتيجية مختلفة تماماً عن تلك التي فشلت للتو. إذا كان الروبوت شديد الحذر، فقد ينتقل النظام إلى أسلوب "العداء المباشر". هذا يسمح للروبوت بالخروج من الحلقة المفرغة وتجربة نهج جديد فوراً.
كانت نتائج هذا النهج واعدة للغاية. في الاختبارات التي كان على الروبوت فيها نقل أشياء عبر منزل محاكى، وجد الفريق أن طريقة "المكتبة" الخاصة بهم كانت أفضل بكثير من الروبوتات التي تستخدم أسلوباً واحداً ثابتاً أو طرقاً شائعة أخرى مثل ReAct أو Tree-of-Thoughts. وتحديداً، في مهمة "الطعام" (نقل المواد الغذائية)، نجحت طريقتهم بنسبة 51%، مقارنة بـ 33% للنموذج الأساسي. وفي مهمة "الأشياء" (نقل أشياء عامة)، حققوا 43% من النجاح مقابل 24% للنموذج الأساسي. والأكثر إثارة للإعجاب، أنهم حققوا ذلك مع استخدام عدد أقل من "الرموز" (وهو مقياس لمقدار ما اضطر الكمبيوتر لـ "التفكير" والتحدث فيه) مقارنة ببعض الطرق المتقدمة الأخرى.
اختبر المؤلفون هذه الفكرة أيضاً على نوع مختلف من المهام: لعبة ملاحة بصرية حيث يتعين على الروبوت اتباع تعليمات صوتية للمشي عبر منزل. على الرغم من أن الروبوت لم يكن يحمل أشياء هناك، بل كان يمشي فقط، إلا أن خدعة "المكتبة" نفسها ساعدت في نجاحه بشكل أكبر (حيث تحسن من 35.2% إلى 37.3%). يشير هذا إلى أن فكرة امتلاك مجموعة متنوعة من الاستراتيجات المعدة مسبقاً هي وسيلة عامة لمساعدة الروبوتات على التعافي عندما تتعثر.
يشير المؤلفون بحذر إلى أنهم لم "يحلوا" مشكلة ذكاء الروبوت إلى الأبد. بدلاً من ذلك، فإن تجاربهم تقترح أن امتلاك مجموعة متنوعة من الاستراتيجيات المعدة مسبقاً هو وسيلة قوية للتعامل مع الطبيعة الفوضوية وغير المتوقعة للمهام الواقعية. إنهم يجادلون بأن أكبر نقطة ضعف في الروبوتات الحالية ليست في أنها ليست ذكية بما يكفي لتفكر، بل في أنها عنيدة جداً في تغيير رأيها عندما تتوقف خطتها الحالية عن العمل. من خلال تزويدهم بـ "صندوق أدوات" من طرق مختلفة للعمل، يمكن للروبوت التكيف في الوقت الفعلي، محولاً فشلاً محتملاً إلى عملية توصيل ناجحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.