ASH: Agents that Self-Hone via Embodied Learning
تقدم الورقة البحثية ASH، وهو نظام وكيل ذاتي التحسين يتعلم سياسات تجسدية من فيديوهات الإنترنت غير المصنفة عبر الاستفادة من نموذج ديناميكيات عكسي لاستخراج الإشراف من إخفاقاته الخاصة، مما يمكنه من التعامل بنجاح مع المهام طويلة المدى في ألعاب معقدة مثل بوكيمون وزيلدا حيث تفشل النماذج المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعلم كيفية لعب لعبة فيديو طويلة ومعقدة للغاية، مثل "بوكيمون" (Pokémon) أو "أسطورة زيلدا" (The Legend of Zelda)، ولكن ليس لديك دليل تعليمات، ولا معلم، ولا أحد يخبرك أي الأزرار يجب أن تضغطها. معظم برامج الكمبيوتر التي تحاول القيام بذلك تتعثر بعد بضع ساعات لأنها تعتمد على قواعد مكتوبة مسبقاً أو كميات هائلة من البيانات التي صنفها البشر بعناية.
تقدم الورقة البحثية نظاماً جديداً يسمى ASH (الوكلاء الذين يصقلون أنفسهم عبر التعلم المتجسد). فكر في ASH ليس كإنسان آلي يتبع نصاً مكتوباً، بل كـ لاعب بشري فضولي يعرف كيف يستخدم "جوجل".
إليك كيف يعمل نظام ASH، مقسماً إلى خطوات بسيطة:
1. لحظة "التعثر"
يبدأ ASH باللعب. لديه ذاكرة قصيرة المدى (ما حدث في آخر 30 ثانية) وذاكرة طويلة المدى (لحظات مهمة رآها من قبل). يلعب حتى يصطدم بحائط مسدود. رب-ما لا يعرف كيف يقاتل وحشاً، أو لا يعرف أي طريق يسلك في متاهة. في مصطلحات الورقة البحثية، هو "يتعثر".
2. "البحث في جوجل"
عندما يتعثر ASH، فإنه لا يستسلم. بدلاً من ذلك، ينظر إلى ما رآه للتو على الشاشة ويخرج إلى الإنترنت (تحديداً إلى مجموعة ضخمة من فيديوهات يوتيوب) ليبحث عن أشخاص آخرين يلعبون اللعبة. إنه يبحث عن فيديوهات تشبه تماماً اللحظة التي يتعثر فيها حالياً.
3. "الفلتر الذكي"
الإنترنت مليء بالضجيج. ASH لا يشاهد فيديوهات عشوائية فحسب؛ بل يستخدم أداة خاصة للعثين على اللحظات الرئيسية. تخيل مشاهدة فيديو مدته 20 ساعة لشخص يلعب لعبة ما؛ أنت لست بحاجة لمشاهدة الفيديو بأكمله لتتعلم كيفية قتال زعيم. أنت تحتاج فقط لرؤية تلك الـ 30 ثانية المحددة حيث يكتشف الشخص الاستراتيجية. يقوم ASH تلقائياً بإيجاد هذه "مقاطع الملخصات" ويحفظها في ذاكرته طويلة المدى.
4. "الهندسة العكسية"
هذا هو الجزء الصعب: فيديوهات الإنترنت التي يجدها ASH تظهر عادةً الشاشة فقط، وليس ضغطات الأزرار. لدى ASH "مترجم" (يسمى نموذج الديناميكيات العكسية) ينظر إلى الفيديو ويخمن: "حسناً، للوصال من هذه الشاشة إلى تلك الشاشة، يجب أن يكون اللاعب قد ضغط على 'A' ثم 'للأعلى'". إنه يحول الفيديو الصامت إلى مجموعة من التعليمات.
5. حلقة "التحسين الذاتي"
الآن، يأخذ ASH تلك التعليمات الجديدة ويتدرب عليها. يقوم بتحديث دماغه (سياساته) بحيث في المرة القادمة التي يتعثر فيها، يعرف ما يجب فعله. ثم يعود للعب. إذا تعثر مرة أخرى لاحقاً في مشكلة مختلفة، فإنه يكرر العملية برمتها: يتعثر، يبحث في الإنترنت، يتعلم الحيلة، ويستمر في التقدم.
النتائج: لماذا هذا مهم؟
اختبر الباحثون نظام ASH في لعبتين مختلفتين تماماً:
- بوكيمون إميرالد (Pokémon Emerald): لعبة استراتيجية حيث تسافر، وتصطاد الوحوش، وتخوض معارك.
- أسطورة زيلدا: ذا مينيش كاب (The Legend of Zelda: The Minish Cap): لعبة أكشن حيث تركض، وتقفز، وتحل الألغاز، وتقاتل الأعداء في الوقت الفعلي.
وقارنوا ASH بطرق الذكاء الاصطناعي الأخرى:
- المتعلم من "الكتاب المدرسي": حاولت هذه الأنظمة التعلم من مجموعة بيانات ضخمة من الحركات المصنفة مسبقاً. لقد تعثرت مبكراً لأنها لم تستطع التعامل مع مواقف جديدة لم ترها من قبل.
- النموذج "العبقري": هذه نماذج ذكاء اصطناعي ضخمة تحاول تخمين الإجابة دون تدريب. غالباً ما "تهلوس" (تختلق أشياء) وتصطدم بحوائط أو تتحدث إلى شخصيات غير موجودة.
- ASH: استمر ASH في التحسن. بينما توقفت الأنظمة الأخرى عن التقدم بعد حوالي 6 ساعات، استمر ASH لمدة 8 ساعات، متعلمًا مهارات جديدة مثل القتال، وصيد الوحوش، وحل الألغاز. لقد أنجز جميع الأهداف الرئيسية تقريباً في كلتا اللعبتين.
الصورة الكبيرة
تزعم الورقة البحثية أن ASH يثبت أنك لست بحاجة إلى إنسان ليكتب نظام مكافآت أو يصنف كل فيديو على حدة لتعليم ذكاء اصطناعي مهمة طويلة ومعقدة. بدلاً من ذلك، إذا منحت الذكاء الاصطناعي القدرة على التعثر، والبحث عن المساعدة على الإنترنت، والتعلم منها، فيمكنه تعليم نفسه إتقان مغامرات طويلة ومفتوحة النهايات.
الأمر يشبه تعليم طفل ركوب الدراجة ليس بكتابة دليل تعليمات، بل بتركه يسقط، ومشاهدة فيديو لشخص آخر يركب الدراجة، ثم المحاولة مرة أخرى. ASH هو أول نظام ينجح في القيام بهذه الحلقة تلقائياً في ألعاب الفيديو المعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.