Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning
تقترح هذه الورقة البحثية طريقة Qreg+NWLU، وهي طريقة تعتمد على إعادة تكرار البيانات القائمة على القيمة للتعلم التعزيزي المستمر متعدد الدورات، والتي تتغلب على قيود النهج المتمحور حول الفاعل من خلال إدخال جمع مستمر لقيم Q وتنظيم "عدم الانتظار" الفوري للتخفيف بفعالية من النسيان الكارثي وتعزيز نقل المعرفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يلعب سلسلة من ألعاب الفيديو. أولاً، يتعلم لعب لعبة Flappy Bird. ثم، تقوم بنقله إلى لعبة Catcher، وبعد ذلك إلى لعبة متاهة تسمى Room. الهدف هو أن يصبح الروبوت بارعًا في جميع هذه الألعاب دون أن ينسى كيفية لعب اللعبة الأولى.
في عالم الذكاء الاصطناعي، يُطلق على هذا اسم التعلم المستمر (Continual Learning). المشكلة الأكبر التي تواجهها الروبوتات هنا هي "النسيان الكارثي" (catastrophic forgetting). الأمر يشبه طالبًا يدرس لاختبار الرياضيات، ثم يبدأ فورًا في دراسة التاريخ، ليجد نفسه قد نسي تمامًا كيفية حل مسائل الرياضيات بحلول وقت امتحان التاريخ.
الطريقة القديمة: "الممثل" مقابل "الناقد"
حاولت معظم الأبحاث السابقة حل هذه المشكلة بالتركيز فقط على "ذاكرة العضلات" لدى الروبوت (والتي تسمى الممثل - Actor). استخدموا تقنية تسمى استرجاع البيانات (Data Rehearsal)، وهي تشبه إعطاء الروبوت دفتر ملاحظات صغير يحتوي على ملاحظات من ألعابه السابقة ليلقي نظرة عليها أثناء تعلم ألعاب جديدة.
ومع ذلك، كان هناك جزء ثانٍ في دماغ الروبوت يسمى الناقد (Critic) (أو دالة القيمة - Value Function). الناقد يشبه المدرب الذي يقيم باستمرار: "ما مدى جودة هذه الحركة؟ ما مقدار المكافأة التي سأحصل عليها؟"
وجد الباحثون السابقون أنه إذا حاولوا استخدام "دفتر الملاحظات" (الاسترجاع) لمساعدة "الناقد" على تذكر الدرجات القديمة، فإن الروبوت يصبح في الواقع أسوأ في التعلم. لذلك، توقفوا عن محاولة مساعدة الناقد وركزوا فقط على مساعدة الممثل. يقول مؤلفو هذه الورقة البحثية: "مهلًا لحظة. نحن نتجاهل نصف الدماغ!" لقد أرادوا معرفة ما إذا كان بإمكانهم إصلاح الناقد دون كسر النظام.
الفكرة الجديدة: Qreg+NWLU
جرب المؤلفون طريقة جديدة تسمى Qreg (تنظيم قيمة Q). هذه ببساطة هي عملية استخدام دفتر الملاحظات لتذكير "الناقد" بالدرجات التي كانت تُسجل للحركات القديمة.
لكنهم وجدوا أن الطريقة القياسية للقيام بذلك كانت فوضوية. كان الأمر يشبه محاولة الدراسة للاختبار عن طريق قراءة الصفحة الأخيرة فقط من كتابك المدرسي، أو الانتظار حتى تنهي الفصل الدراسي بأكمله قبل النظر في ملاحظاتك. أدى هذا إلى ارتباك الروبوت أو نسيانه للأشياء بسرعة.
ولإصلاح ذلك، قدموا تغييرين بسيطين، قاموا بدمجهما في طريقة جديدة تسمى Qreg+NWLU:
التحديثات المباشرة (استراتيجية الـ "Live"):
- المشكلة: في الطريقة القديمة، كان الروبوت ينتظر حتى ينهي مستوى كاملًا من اللعبة قبل حفظ أي ملاحظات. إذا ارتكب الروبوت خطأً في بداية المستوى، فإن تلك الملاحظات لا تُحفظ أبدًا.
- الحل: الآن، يكتب الروبوت الملاحظات بشكل مستمر أثناء اللعب. إنه يشبه الطالب الذي يدون الملاحظات في الوقت الفعلي أثناء المحاضرة بدلاً من محاولة تذكر كل شيء بعد انتهاء الحصة. هذا يضمن أن تكون الملاحظات متنوعة وتغطي اللعبة بأكملها، وليس فقط النهاية.
عدم الانتظار (استراتيجية الـ "No-Wait"):
- المشكلة: كانت الطريقة القديمة تقول: "لا تنظر إلى ملاحظاتك القديمة حتى تنهي اللعبة الأولى". هذا يعني أن الروبوت بدأ اللعبة الثانية بـ "بداية باردة"، ناسيًا كل شيء فورًا.
- الحل: بمجرد أن يمتلك الروبوت أي ملاحظات في دفتره، يبدأ في استخدامها للمساعدة في تعلم اللعبة الجديدة. إنه يشبه الطالب الذي يبدأ في مراجعة ملاحظاته القديمة بمجرد دخوله إلى الفصل الدراسي الجديد، بدلاً من الانتظار حتى ينتهي المعلم من الدرس الأول.
تحدي "الدورة المتعددة" (Multi-Cyclic)
اختبر المؤلفون أيضًا هذا في بيئة خاصة تسمى Multi-Cyclic. تخيل أن الروبوت يلعب Flappy Bird، ثم Catcher، ثم Room. ولكن بعد ذلك، تبدأ الدورة من جديد: Flappy Bird مرة أخرى، ثم Catcher مرة أخرى.
في الحياة الواقعية، غالبًا ما نواجه مواقف متكررة (على سبيل المثال، روبوت مكنسة ينظف نفس الغرف كل يوم، أو متداول في البورصة يرى نفس أنماط السوق كل أسبوع). وجد المؤلفون أن معظم الروبوتات تفشل فشلًا ذريعًا في هذه الحلقة؛ حيث يزداد أداؤها سوءًا في كل مرة تتكرر فيها الدورة. ومع ذلك، سمحت طريقتهم الجديدة للروبوت بتذكر الألعاب القديمة حتى بعد المرور بالدورة عدة مرات.
النتائج
عندما اختبروا طريقة Qreg+NWLU الجديدة:
- تذكر بشكل أفضل: لم ينسَ الروبوت كيفية لعب اللعبة الأولى عند تعلمه للعبة الثانية.
- تعلم بشكل أسرع: نظرًا لمراجعته للملاحظات فورًا ("No-Wait")، لم يضع وقته في إعادة تعلم الأساسيات.
- كان أكثر استقرارًا: لم يكن أداء الروبوت يتأرجح بجنون بين كونه عبقريًا وبين كونه مرتبكًا.
الخلاصة
تجادل هذه الورقة بأننا لكي نعلم الروبوت التعلم المستمر، لا ينبغي لنا تدريب "عضلاته" (الممثل) فحسب؛ بل يجب أيضًا تدريب "مدربه" (الناقد). من خلال منح المدرب دفتر ملاحظات يتم تحديثه بشكل مباشر ومراجعته فورًا، يمكن للروبوت تعلم مهام جديدة دون نسيان المهام القديمة، حتى عندما تتكرر المهام باستمرار.
لم يدّعوا أن هذا يحل كل مشكلة في الذكاء الاصطناعي، لكنهم أثبتوا أنه بالنسبة لنوع معين من خوارزميات التعلم (تسمى DQN)، فإن هذا الجمع البسيط بين "العيش المباشر" (Live) و"عدم الانتظار" (No-Wait) يعد نقطة تحول في منع النسيان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.