Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning
تقدم هذه الورقة خوارزمية "تعلم كيو بـ n-خطوة لـ التوقع" (ENQ)، وهي خوارزمية تعلم تعزيزي خارج السياسة تستخدم خسارة توقع غير متماثلة للتخفيف من التحيز التشاؤمي المتأصل في العوائد متعددة الخطوات، مما يوفر ضمانات نظرية للتقبض وأداءً تجريبياً فائقاً عبر مهام متنوعة مقارنة بالطرق الحالية مثل "تعلم كيو طويل الأمد".
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة عملاقة ومعقدة. لا يمكنك السير في كل طريق معه؛ بدلاً من ذلك، تعطيه سجلّاً للمسارات التي سلكتها روبوتات أخرى، بعضها كان لخبراء والعديد منها كان يتجول بلا هدف. هذا هو عالم التعلم المعزز غير المتصل (offline reinforcement learning): وهو فرع من فروع الذكاء الاصطناعي حيث يتعلم العميل من بيانات سابقة بدلاً من التجربة والخطأ المباشرة. الهدف هو معرفة أفضل التحركات للوصول إلى مكافأة، مثل العثور على المخرج أو التقاط جسم ما.
للتعلّم بسرعة، تستخدم هذه الروبوتات حيلة تسمى العوائد متعددة الخطوات (multi-step returns). فبدلاً من النظر خطوة واحدة فقط للأمام لمعرفة ما إذا كانت الحركة جيدة، فإنها تنظر لعدة خطوات معاً، تماماً مثل قراءة فصل كامل من قصة لفهم الحبكة، بدلاً من مجرد جملة واحدة. يساعد هذا في نشر المكافآت بشكل أسرع عبر النظام. ومع ذلك، هناك عقبة: إذا كان السجل يحتوي على مسارات سيئة كثيرة اتخذتها روبوتات خرقاء، فإن النظر بعيداً في المستقبل قد يجعل المتعلم متشائماً للغاية. سيبدأ بالتفكير: "إذا اتخذت هذه الخطوة، سينتهي بي الأمر في أحد تلك المسارات الرهيبة"، وسيرفض اتخاذ أي مخاطر، حتى لو كان المسار الجيد موجوداً. تتناول هذه الورقة البحثية هذه المشكلة تحديداً: كيف نحافظ على سرعة النظر بعيداً في المستقبل دون الوقوع في فخ التشاؤم الناتج عن البيانات السيئة الماضية.
يقترح الباحثون طريقة جديدة تسمى تعلم Q بـ n-خطوة باستخدام التوقعات (Expectile n-step Q-learning - ENQ). فكر في التعلم من سجلّ كأنك تحاول تخمين النتيجة النهائية لمباراة رياضية بناءً على موسم من المباريات الماضية. النهج القياسي قد يأخذ متوسط النتائج لجميع المباريات التي تلت حركة معينة. ولكن إذا كان السجل مليئاً بمباريات خسر فيها الفريق خسارة فادحة، فإن هذا المتوسط سيكون منخفضاً، مما يثبط اللاعب عن تجربة تلك الحركة مرة أخرى. تغير ENQ قواعد اللعبة؛ فبدلاً من حساب المتوسط، تقوم بحساب "توقع علوي" (upper expectile). وباللغة البسيطة، هذا يعني أنها تتجاهل النتائج الأسوأ وتركز على السيناريوهات الأفضل والأكثر تفاؤلاً التي حدثت بالفعل في السجل. إنه يشبه المدرب الذي، عند مراجعة تاريخ لاعب ما، يقول: "تجاهل الأيام التي لعبت فيها بشكل سيء؛ دعونا نركز على الأيام التي لعبت فيها بشكل جيد ونعرف كيف نصل إلى هناك مجدداً".
تظهر الورقة البحثية أن هذه الطريقة سليمة من الناحية الرياضية. فقد أثبت المؤلفون أن نظام ENQ مستقر وسوف يستقر في النهاية على استراتيجية موثوقة، حتى عند النظر بعيداً في المستقبل. كما أظهروا أنه تحت ظروف معينة، يمكن لهذه الطريقة استعادة أفضل استراتيجية ممكنة إذا كانت البيانات تحتوي على مسار جيد واحد على الأقل. وفي العالم الحقيقي، اختبروا ENQ في 27 مهمة مختلفة، تراوحت من أذرع روبوتية تقوم بتكديس المكعبات إلى روبوتات بشرية تتنقل في متاهات عملاقة. ووجدوا أن ENQ تنافسية، بل وأفضل في كثير من الأحيان، من الطريقة الرائدة الحالية (المسماة LQL)، خاصة عند استخدام فريق كبير من "النقاد" (نماذج ذكاء اصطناعي متعددة تعمل معاً) لاتخاذ القرارات.
أحد أكثر النتائج إثارة للاهتمام هو السرعة. نظرًا لأن ENQ أبسط ولا تحتاج إلى فحص كل خطوة من مسار طويل مثل الطرق الأخرى، فإنها تعمل بشكل أسرع. في اختباراتهم، عالجت ENQ خطوات التدريب بسرعة تتراوح بين 1.27 إلى 1.77 مرة أسرع من المنافس، اعتماداً على عدد نماذج الذكاء الاصطناعي الموجودة في الفريق. يشير هذا إلى أنه من خلال كونها أكثر ذكاءً بشأن أي أجزاء من البيانات الماضية يجب التركيز عليها، فإن الروبوت يتعلم بشكل أسرع وأكثر فعالية.
كما استكشف المؤلفون مدى "التفاؤل" الذي يجب أن تتبعه الطريقة. فقد اختبروا إعداداً حيث تنظر الطريقة إلى أفضل النتائج (مستوى توقع عالٍ) مقابل رؤية أكثر توازناً. ووجدوا أنه بينما يعمل التفاؤل الشديد بشكل جيد لبعض المهام، إلا أنه قد يكون محفوفاً بالمخاطر لمهام أخرى إذا كانت البيانات مشوشة. ومع ذلك، فإن إعداداً متوسطاً (تحديداً مستوى توقع قدره 0.8) عمل بشكل ثابت وجيد عبر جميع المهام تقريباً دون الحاجة إلى تعديله لكل متاهة أو روبوت محدد.
باختاً، تقدم هذه الورقة طريقة ذكية لتعليم الروبوتات من السجلات القديمة عن طريق تجاهل أسوأ السيناريوهات والتركيز على أفضلها مما حدث بالفعل. إنها طريقة مثبتة رياضياً بأنها مستقرة، وأسرع في التشغيل، وفعالة للغاية في تعليم الروبوتات كيفية التنقل في البيئات المعقدة، مما يقدم مساراً واعداً لجعل وكلاء الذكاء الاصطناعي يتعلمون بكفاءة من التجارب الماضية غير المثالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.