Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

ملخص تقني: تشكيل المكافآت المتناثرة في التعلم المعزز: نهج شبه مُشرف

بيان المشكلة
يواجه التعلم المعزز (RL) تحديًا جوهريًا في السيناريوهات الواقعية حيث تكون إشارات المكافأة متناثرة للغاية. في مثل هذه البيئات، يتلقى الوكلاء تغذية راجعة فورية ضئيلة، مما يؤدي إلى تباين عالٍ في العوائد وصعوبة في تعلم السياسات المثلى. وبينما تعد طرق تشكيل وتكثيف المكافآت حلولاً شائعة، إلا أنها غالبًا ما تعاني من "اختراق المكافأة" (reward hacking)، حيث تتعلم الوكلاء سلوكيات تنحرف عن التصميم المقصود لتعظيم المكافآت الاصطناعية. ومن ناحه أخرى، فإن طرق تشكيل المكافآت القائمة على التعلم الخاضع للإشراف، والتي تعتمد على عروض توضيحية غير خبيرة، تعاني من ضعف كفاءة العينات عندما تكون الانتقالات ذات المكافأة غير الصفرية نادرة للغاية. وتكافح الأساليب الحالية للاستفادة بفعالية من الغالبية العظمى من الانتقالات التي تسفر عن مكافآت صفرية.

المنهجية: تشكيل المكافآت شبه المُشرف (SSRS)
يقترح المؤلفون إطار عمل تشكيل المكافآت شبه المُشرف (SSRS)، والذي يسد هذه الفجوة من خلال الاستفادة من تقنيات التعلم شبه المُشرف (SSL). الفكرة الجوهرية هي إجراء تشكيل للمكافآت ليس فقط على الانتقالات غير الصفرية النادرة، بل أيضًا على الانتقالات الصفرية الوفيرة من خلال تعلم تمثيلات فضاء المسار.

يعمل إطار العمل من خلال المكونات الرئيسية التالية:

1. تقدير المكافأة كمسألة تصنيف: يتم صياغة مشكلة تشكيل المكافأة كمسألة تصنيف. يتعلم النظام تعيين قيمة مكافأة من مجموعة منفصلة $Z$ (تحتوي على المكافآت المرصودة غير الصفرية والصفر) لأزواج الحالة-الفعل. يتكون مُقدر المكافأة من شبكتين عصبيتين:

   • $R_V(s)$: دالة توزيع مكافأة قيمة الحالة التي تربط الحالة بتوزيع احتمالي على $Z$.
   • $R_Q(s, a)$: دالة توزيع مكافأة قيمة الحالة-الفعل التي تربط زوج الحالة-الفعل بتوزيع احتمالي على $Z$.
     يكون متجه درجة الثقة النهائي $q_t$ للانتقال عبارة عن مزيج مرجح من هذين التوزيعين.

2. التحسين شبه المُشرف: يتبادل إطار العمل التحديث بين تحديث السياسة وتحسين مُقدر المكافأة.

   • خسارة الإشراف ($L_r$): بالنسبة للانتقالات ذات المكافآت المعروفة غير الصفرية، يتم تدريب المُقدر لتقليل التباين بين تنبؤاته والحقيقة الأرضية باستخدام خسارة الإنتروبيا المتقاطعة المحددة بعتبة.
   • تنظيم الاتساق ($L_s$): بالنسبة لانتقالات المكافأة الصفرية، يستخدم النموذج تنظيم الاتساق. حيث يطبق نماذج تعزيز بيانات ضعيفة وقوية على الانتقالات المدخلة. ويتم تحسين النموذج لإنتاج تنبؤات متسقة بين النسخ المعززة ضعيفًا والنسخ المعززة قويًا، بشرط أن تتجاوز الثقة العتبة $\lambda$. وهذا يستغل بيانات المكافأة الصفرية غير المصنفة لتنقية دالة المكافأة.

3. تعزيز الإنتروبيا: تم تقديم تقنية تعزيز بيانات مبتكرة مخصصة للمهام غير المتعلقة بالصور. بخلاف تعزيزات الصور التقليدية (مثل cutout أو التدوير) التي قد تنتهك افتراضات النعومة في فضاء المسار، تستخدم هذه الطريقة إنتروبيا شانون (Shannon Entropy). فهي تحسب إنتروبيا مصفوفة الحالة وتستخدمها لزعزعة تمثيل الحالة. وهذا يحافظ على فرضيات النعومة والتكتل المطلوبة لفعالية التعلم شبه المُشرف في فضاء المسار.

4. قيد الرتابة: لضمان استقرار التدريب وتحسين تمثيل مزايا الفعل، تم إدخاء قيد يعاقب الحالات التي يكون فيها الميزة المقدرة (الفرق بين $R_Q(s, a)$ و $R_V(s)$) سالبة، مما يضمن أن دالة الميزة تلتقط التحسينات النسبية فوق خط الأساس للحالة.

المساهمات الرئيسية

• إطار عمل SSRS: إطار عمل جديد يدمج التعلم شبه المُشرف في التعلم المعزز، مما يسمح بتشكيل المكافآت على كل من الانتقالات غير الصفرية والصفرية لتحسين كفاءة العينات في بيئات المكافأة المتناثرة.
• تعزيز الإنتروبيا: اقتراح طريقة تعزيز بيانات قائمة على الإنتروبيا مصممة لفضاءات المسار، والتي تتفوق على طرق التعزيز التقليدية في مهام الملاحظة غير البصرية.
• التحقق التجريبي من SSL في RL: يبحث البحث تجريبيًا في الظروف التي يكون فيها التعلم شبه المُشرف فعالًا في التعلم المعزز، موضحًا أن فضاءات المسار في التعلم المعزز تتوافق مع الافتراضات اللطيفة (النعومة والتكتل) اللازمة لمنهجيات التعلم شبه المُشرف.
• قيد الرتابة: إدخال قيد لتنظيم العلاقة بين مُقدرات قيمة الحالة وقيمة الحالة-الفعل، مما يعزز استقرار التدريب.

النتائج التجريبية
تم تقييم إطار عمل SSRS في بيئات أتاري ذات المكافآت المتناثرة (مثل Montezuma's Revenge، Seaquest، Venture) وفي مهام التحكم الروبوتي (FetchReach).

• الأداء مقابل النماذج المرجعية: تفوق SSRS باستمرار على النهج القائم على الإشراف (RCP، SORS) ونماذج التعلم المعزز القياسية. في البيئات شديدة التناثر مثل Montezuma's Revenge، حقق SSRS ذروة درجات تصل إلى ضعف النماذج المرجعية الخاضعة للإشراف.
• فعالية التعزيز: أدى تعزيز الإنتروبيا المقترح إلى زيادة بنسبة 15.8% في أفضل نتيجة مقارنة بطرق التعزيز الأخرى (مثل cutout، smooth، translation).
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أهمية قيد الرتابة، حيث أظهرت أن SSRS مع هذا القيد (SSRS-ST) حقق درجات أفضل من SSRS بدون القيد (SSRS-NST) في معظم البيئات المختبرة.
• متانة المعلمات الفائقة: حللت الدراسة المعلمات الفائقة مثل احتمال التحديث ($p_u$)، وعتبة الثقة ($\lambda$)، ومعامل الاتساق ($\beta$). وأشارت النتائج إلى أن الأداء يصل للذروة عندما تكون عتبة الثقة بين 0.8 و 0.9، وأن معامل الاتساق له تأثير ضئيل على النتائج النهائية ولكنه يؤثر على ديناميكيات التدريب.

الأهمية والادعاءات
يزعم البحث أنه من خلال معالجة تشكيل المكافأة كمسألة تصنيف شبه مُشرفة، يمكن للوكلاء التعلم بفعالية من غالبية انتقالات المكافأة الصفرية، والتي عادة ما يتم تجاهلها أو عدم استغلالها. ويجادل المؤلفون بأن فضاء المسار في التعلم المعزز يلبي الافتراضات الضرورية للتعلم شبه المُشرف (التكتل والنعومة)، مما يسمح للنموذج باستنتاج إشارات مكافأة موثوقة للانتقالات ذات المكافأة الصفرية. ويُبرز إدخال تعزيز الإنتروبيا كابتكار حاسم يكيف تقنيات اضطراب التعلم شبه المُشرف لتناسب طبيعة ملاحظات التعلم المعزز، متجنبًا عيوب تطبيق تعزيزات مركزة على الصور في البيانات غير البصرية. في النهاية، يوضح العمل أن التعلم شبه المُشرف يمكن أن يعزز بشكل كبير فعالية تشكيل المكافآت، مما يؤدي إلى درجات أعلى للوكيل في المجالات الصعبة ذات المكافآت المتناثرة.