Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization
تقترح هذه الورقة طريقة تدرب بشكل مشترك سياسة تعلم تعزيزي متعدد المهام ومثبتاً للرموز باستخدام آلات المكافأة العصبية لتمكين الوكلاء من اتباع تعليمات المنطق الزمني الخطي في بيئات غير رمزية دون معرفة مسبقة برسم الخرائط من الرمز إلى الملاحظة، محققةً بذلك تعميماً صفرياً يتفوق على النهج الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل روبوتاً يدخل غرفة لم يسبق له رؤيتها من قبل. يرى آلة صنع قهوة، ومكتباً، وفتحة بريد، لكن بالنسبة للروبوت، هذه ليست سوى أشكال وألوان على شاشة. هو لا يعرف أن الآلة مخصصة للقهوة أو أن الفتحة مخصصة للبريد. الآن، تخيل أن بشرياً يعطي الروبوت تعليمات معقدة: "اذهب إلى فتحة البريد، ثم إلى آلة القهوة، وأخيراً إلى المكتب، ولكن لا تطأ البلاط الأحمر على الأرض في طريقك". بالنسبة للإنسان، هذا أمر سهل لأننا نفهم معنى الكلمات والأشياء. أما بالنسبة للروبوت، فهذه أحجية هائلة؛ إذ يجب عليه أولاً اكتشاف أي من هذه الأشياء هو أي منها، ثم تذكر ترتيب الأحداث مع تجنب البلاط الأحمر، كل ذلك أثناء تعلم كيفية الحركة. هذا هو التحدي المتمثل في تعليم الذكاء الاصطناعي اتباع التعليمات في العالم الحقيقي، حيث لا يمكن تسليمه قاموساً جاهزاً لما تسمى به الأشياء.
لعقود من الزمن، حاول الباحثون حل هذه المشكلة عبر إعطاء الروبوتات خريطة مثالية لعالمهن، وإخبارهم بدقة أي بكسل يتوافق مع "القهوة" أو "البريد". هذا الأسلوب ينجح في المختبرات المحكومة ولكنه يفشل في العالم الحقيقي الفوضوي وغير المتوقع. يحاول نهج جديد، فُصِّل في بحث حديث، تعليم الروبوت تعلم هذه المعاني من تلقاء نفسه أثناء تعلمه كيفية الحركة. ركز العلماء على نوع محدد من التعليمات يتضمن الوقت والتسلسل، وهو ما يُعرف بالمنطق الزمني (temporal logic). فكر في هذا كطريقة لكتابة قواعد تقول "افعل (أ)، ثم (ب)، ولكن لا تفعل (ج) أبداً"، بدلاً من مجرد قول "اذهب إلى النقطة (س)". كان الهدف هو معرفة ما إذا كان بإمكان الروبوت تعلم اتباع هذه القواعد المعقدة القائمة على الزمن في عالم يبدأ فيه دون أي فكرة عما هي الأشياء، مستخدماً فقط بث كاميرته وإشارة بسيطة عند نجاحه أو فشله.
بنى الباحثون نظاماً يتعلم فيه الروبوت شيئين في آن واحد. أولاً، يتعلم "سياسة" (policy)، وهي ببساطة استراتيجية اتخاذ القرار بشأن الإجراء التالي. ثانياً، والأهم من ذلك، يتعلم "المُربِط" (grounder)؛ وهو مكون يعمل كمترجم، يحاول اكتشاف ما تعنيه الصور الخام من الكاميرا فيما يتعلق بالتعليمات. إذا رأى الروبوت مربعاً أحمر وكانت التعليمات تقول "تجنب اللون الأحمر"، فيجب على "المُربِط" أن يتعلم في النهاية تصنيف ذلك المربع الأحمر على أنه "حمم" أو "خطر". الصعوبة تكمن في أن الروبوت لا يحصل على معلم لتصحيح مساره، بل يحصل فقط على مكافأة نادرة: إشارة ضئيلة عندما ينهي المهمة بشكل صحيح، وإشارة سلبية إذا فشل، ولا شيء بينهما. يشبه هذا محاولة تعلم لغة جديدة من خلال إخبارك فقط بـ "نعم" أو "لا" في نهاية المحادثة، دون أي ملاحظات على الكلمات الفردية التي قيلت في المنتصف.
ولحل هذه المعضلة، استخدم الفريق حيلة ذكية تتضمن بنية التعليمات نفسها. لقد عاملوا التعليمات كآلة تتغير حالتها مع حركة الروبوت. إذا التقط الروبوت البريد، تنتقل الآلة إلى حالة جديدة تقول "تم الانتهاء من البريد، ابحث الآن عن القهوة". درب الباحثون "المترجم" الخاص بالروبوت على التنبؤ بالمكافآت التي ستمنحها هذه الآلة. ومن خلال مراقبة حركة الروبوت ورؤية متى تعلن الآلة عن "النجاح" أو "الفشل"، يتعلم المترجم ببطء مطابقة الصور التي يراها مع الكلمات الصحيحة في التعليمات. إنها عملية قائمة على التجربة والخطأ، حيث يستخدم الروبوت منطق المهمة ليعلم نفسه معنى الرموز. اختبر الباحثون هذا في عالمين مختلفين تماماً؛ الأول كان بيئة قائمة على الشبكة تشبه لعبة فيديو مبسطة، حيث كان على الروبوت التنقل في متاهة من العناصر. والآخر كان مساحة مستمرة وسلسة حيث تحرك الروبوت مثل سيارة على سطح مستوٍ، محاولاً زيارة مناطق ملونة بترتيب محدد.
أظهرت النتائج أن هذه الطريقة تعمل بشكل جيد للغاية. في عالم الشبكة، تعلم الروبوت اتباع التعليمات بدقة تقارب الدقة التي كان سيحققها لو أُعطي القاموس الصحيح منذ البداية. لقد تعلم تحديد العناصر واتباع تسلسل الأحداث، حتى عندما أصبحت التعليمات أطول وأكثر تعقيداً. وفي العالم المستمر، تعلم الروبوت أيضاً تحديد المناطق بدقة عالية، رغم أنه واجه صعوبة أكبر قليلاً في مهام التجنب الأكثر تعقيداً. والأهم من ذلك، تعلم الروبوت هذه المعاني أثناء تعلمه كيفية الحركة، دون أي مرحلة تدريب منفصلة. أثبت النظام أن الوكيل يمكنه تعلم "ربط الرموز" (grounding symbols) —أي ربط الصور الخام بالمفاهيم المجردة— بمجرد محاولة حل المهمة واستخدام هيكل القواعد لتوجيه تعلمه.
كما قارنت الدراسة هذا النهج الجديد بمحاولة سابقة لحل نفس المشكلة. الطريقة القديمة، التي حاولت بناء "دماغ" الروبوت قطعة بقطة بناءً على قواعد اللغويات للتعليمات، فشلت عندما أصبحت التعليمات أطول، ولم تستطع التعامل مع تعقيد المهام الجديدة. ومع ذلك، نجح النهج الجديد في التوسع بفعالية، مما أظهر أن تعلم معنى الأشياء واستراتيجية الحركة مرتبطان بعمق ويجب تعلمهما معاً. وجد الباحثون أن قدرة الروبوت على تحديد الأشياء تحسنت بسرعة، حيث وصلت غالباً إلى مستوى عالٍ من الدقة في غضون بضعة ملايين من خطوات التدريب. يشير هذا إلى أن التغذية الراجعة غير المباشرة من هيكل المهمة كافية لتعليم الروبوت ماهية الأشياء، حتى دون أن يشير إليه إنسان.
ورغم أن النظام ليس مثالياً، خاصة في البيئات المستمرة الأكثر صعوبة حيث كان تجنب الخطر طوال مدة المهمة صعباً على جميع الطرق، إلا أن النتيجة الجوهرية واضحة. من الممكن تدريب وكيل اصطناعي على فهم تعليمات معقدة قائمة على الزمن في عالم لا يعرفه، وذلك من خلال تركه يتعلم معنى سمات العالم أثناء محاولته لإنجاز العمل. هذا يقربنا من إنشاء آلات يمكنها دخول بيئة جديدة، والاستماع إلى مجموعة من القواعد، واكتشاف ما يجب فعله دون الحاجة إلى خريطة مبرمجة مسبقاً لكل جسم قد تواجهه. يوضح هذا العمل أنه من خلال الجمع بين منطق المهمة وتعلم البيئة، يمكن للروبوتات أن تبدأ في جسر الفجوة بين البيانات الخام والعمل الهادف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.