Transfer Learning for Customized Car Racing Environments

ملخص تقني: تعلم النقل للبيئات المخصصة لسباقات السيارات

بيان المشكلة
يواجه التعلم التعزيزي (RL) مقايضة جوهرية بين الاستكشاف والاستغلال، حيث يتطلب غالباً كميات هائلة من البيانات للوصول إلى التقارب، لا سيما في البيئات ذات المكافآت الشحيحة، والملاحظة الجزئية، وفضاءات التحكم المستمرة عالية الأبعاد. وبينما يعد "تعلم النقل" (Transfer Learning) أمراً راسخاً في التعلم العميق الخاضع للإشراف، فإن تطبيقه في التعلم التعزيزي العميق ليس بالأمر الهين نظراً لتعقيد نقل المعرفة داخل عمليات اتخاذ القرار لـ "ماركوف" (MDPs). التحدي المحدد الذي يعالجه هذا العمل هو تحقيق أوقات لفات سريعة في بيئة "OpenAI Car Racing" عبر تدريب وكيل على مسار مصدر وتطبيق تلك المعرفة على بيئات مستهدفة مخصصة (تتميز بخرائط، أو تسارع، أو كبح، أو معاملات احتكاك مختلفة) عبر النقل صفري الاستجابة (zero-shot transfer) أو الضبط الدقيق (fine-tuning).

المنهجية
تستخدم الدراسة تحليلاً مقارناً لخوارزميات التعلم التعزيزي العميق القائمة على النماذج (model-based) والقائمة على عدم النماذج (model-free) ضمن بيئة OpenAI Gym Car Racing.

• الخوارزميات المختبرة:
  • النماذج غير القائمة على النماذج (Model-Free): تحسين السياسة القريبة (PPO)، والناقد الفاعل لـ SAC (SAC)، وتدرج السياسة الحتمية العميقة (DDPG).
  • النماذج القائمة على النماذج (Model-Based): خوارزمية Dreamer (وتحديداً نسخة مخصصة من DreamerV2)، والتي تتعلم الديناميكيات الكامنة من خلال نموذج عالمي للتخطيط في "الخيال".
• الإعداد التجريبي:
  • نطاق المصدر: خريطة قياسية لسباق السيارات ذات منعطفات أقل حدة، استُخدمت للتدريب الأولي على مدى مليون خطوة.
  • النطاقات المستهدفة: بيئات مخصصة تم إنشاؤها عن طريق تغيير:
    1. خريطة السباق: خريطة مستهدفة ذات منعطفات أكثر ضيقاً وصعوبة.
    2. الديناميكيات: تعديل التسارع (+0.2/خطوة زمنية مقابل الافتراضي +0.1)، ومعاملات الكبح (0.6 مقابل 0.8)، واحتكاك العشب (0.8 مقابل 0.6).
  • بروتوكولات النقل:
    • النقل صفري الاستجابة (Zero-Shot Transfer): تقييم النماذج المدربة مسبقاً على النطاقات المستهدفة دون تفاعل إضافي.
      ذا النقل قليل الاستجابة (Few-Shot Transfer - الضبط الدقيق): تدريب إضافي لمدة 300 ألف خطوة على النطاق المستهدف.
  • التنفيذ: استخدم المؤلفون مستودع Stable Baselines3 (SB3) لخوارزميات PPO وSAC وDDPG، ونسخة معدلة من مستودع DreamerV2. تم نقل أوزان الشبكة العصبية بين المهام المصدر والمستهدفة.

المساهمات الرئيسية
يقدم البحث دراسة استقصائية واسعة تقارن بين فعالية النهج القائم على النماذج والنهج غير القائم على النماذج في سيناريوهات تعلم النقل لمهام التحكم المستمر. تشمل المساهمات المحددة ما يلي:

1. اختبار منهجي لكل من PPO وSAC وDDPG وDreamer على بيئة OpenAI CarRacing القياسية.
2. تقييم قدرة هذه الخوارزميات على النقل إلى بيئات مخصصة تتضمن تغييرات في مسارات السباق وديناميكيات المركبات (التسارع، الكبح، الاحتكاك).
3. تحليل مقارن لسرعة التقارب، وكفاءة العينات، والأداء النهائي بين النماذج القائمة على النماذج وغير القائمة على النماذ في سياق تعلم النقل.

النتائج

• أداء البيئة الأساسية: تفوق النهج القائم على النماذج (Dreamer) بشكل كبير على النظراء غير القائمين على النماذج، حيث حقق مكافآت تزيد عن 900 وتقارب في حوالي 200 ألف خطوة. في المقابل، وصل PPO وSAC إلى مكافآت تبلغ 550 و500 على التوالي عند مليون خطوة. فشلت DDPG في التقارب، حيث أعطت باستمرار مكافآت سالبة (~-84) رغم الضبط الدقيق المكثف للمعلمات الفائقة.
• النقل صفري الاستجابة: في الخريطة المستهدفة، حقق Dreamer أعلى مكافأة (500)، يليه PPO (400) ثم SAC (~350). أدى الجميع إلى أداء أدنى من مستويات خريطة المصدر. واستمرت DDPG في المعاناة.
• الضبط الدقيق: بعد 300 ألف خطوة من الضبط الدقيق، استعاد Dreamer أداء مستوى المصدر (~915 مكافأة) وحل المهمة المستهدفة. أظهر PPO وSAC أداءً مشابهاً لنظائرهم في حالة النقل صفري الاستجابة، وفشلوا في مضاهاة استعادة Dreamer للأداء.
• الديناميكيات المخصصة:
  • التسارع: حافظ PPO وDreamer على أداء المستوى الأساسي؛ بينما انخفض أداء SAC قليلاً.
  • الكبح: كان أداء PPO وSAC أسوأ من الأساس؛ بينما حافظ Dreamer على أداء المستوى الأساسي.
  • الاحتكاك: أدى أداء PPO إلى تدهور كبير وتراجع أكثر مع الضبط الدقيق؛ حافظ SAC على المستويات الأساسية؛ بينما كان أداء Dreamer أسوأ قليلاً ولكنه ظل يتفوق على جميع الخوارزميات غير القائمة على النماذج.
• الملاحظات النوعية: كشف تحليل الفيديو أنه بينما حققت الوكلاء غير القائمة على النماذج أحياناً مكافآت جيدة، إلا أنها أظهرت سلوكيات غير آمنة (مثل القيادة في الاتجاه الخاطئ أو الانزلاق). أظهر Dreamer، لا سيالما بعد الضبط الدقيق، قدرة فائقة على المناورة عبر المنعطفات الحادة.

الأهمية والادعاءات
يدعي المؤلفون أن النهج القائم على النماذج، وتحديداً Dreamer، يهيمن في هذه البيئة من حيث الأداء، وسرعة التقارب، وكفاءة العينات مقارنة بالأسالهم غير القائمة على النماذج. تسلط الدراسة الضوء على أن الخوارزميات غير القائمة على النماذج تظهر خصائص تقارب هشة، وتتطلب ضبطاً دقيقاً للمعلمات الفائقة، ومع ذلك تفشل في التعميم بشكل موثوق عبر البيئات المختلفة (كما لوحظ في DDPG وتدهور PPO في سيناريوهات الاحتكاك العالي).

يؤكد البحث أن تعلم النقل، لا سيما عند اقترانه بالضبط الدقيق، لا يعزز الأداء في النطاقات المستهدفة فحسب، بل يظهر أيضاً قدرة عالية على الأداء أثناء عملية التعلم، مما يشير إلى إمكانات للتعلم التعزيزي الآمن. ويخلص المؤلفون إلى أنه بينما نجحوا في حل مهمة سباق السيارات في الإعدادات المخصصة باستخدام التعلم التعزيزي القائم على النماذج، فإن عملهم كان مقيداً بالحدود الحسابية (استغرقت كل تجربة ~24 ساعة). كما أعربوا عن اهتمامهم بالعمل المستقبلي المتعلق بـ Meta-RL، وSafe-RL، والاختبار في العالم الحقيقي، لكنهم لا يدعون إلى التطبيق الفوري خارج نطاق تجارب المحاكاة الخاصة بهم.