ملخص تقني: فهم تعميم الأهداف في التعلم التعزيزي المتسلسل

بيان المشكلة

غالبًا ما تُظهر وكلاء التعلم التعزيزي (RL) سلوكيات غير مقصودة موجهة نحو أهداف معينة عند نشرها في بيئات خارج نطاق التوزيع (OOD). وبينما يعد السلوك غير المتوقع خارج نطاق التوزيع مشكلة معروفة عبر تعلم الآلة، فإن وكلاء التعلم التعزيزي يظهرون بشكل متكرر نمط فشل محدد يُعرف باسم سوء تعميم الهدف (goal misgeneralisation): حيث يعمل الوكلاء بكفاءة ولكنهم يسعون وراء أهداف تحقق مكافآت عالية في بيئات التدريب، لكنها تفشل في التوافق مع الأهداف المقصودة في الإعدادات الجديدة.

هذه المشكلة بالغة الأهمية بشكل خاص لأنظمة الذكاء الاصطناعي الرائدة الحديثة، والتي يتم تدريبها عادةً عبر مسارات عمل معقدة متعددة المراحل (مثل: ما قبل التدريب، والضبط الدقيق تحت الإشراف، والتعلم التعزيزي من التغذية الراجعة البشرية). تفتقر الأدبيات الحالية إلى فهم مبدئي لكيفية تشكيل سجلات التدريب المتسلسلة هذه قيم الوكيل وسلوكه اللاحق خارج نطاق التوزيع. السؤال الجوهري الذي تعالجه الدراسة هو: بالنظر إلى مسار تدريب الوكيل وسلوكه داخل نطاق التوزيع، هل يمكننا التنبؤ بسلوكه في العينات خارج نطاق التوزيع؟

المنهجية

الإعداد التجريبي

يستقصي المؤلفون هذه المشكلة في بيئة متاهة يتم إنشاؤها إجرائيًا وتحت السيطرة.

• المهمة: يتنقل الوكلاء (المعتمدون على شبكة CNN وخوارزمية PPO) في متاهات بحجم 8×8 للوصول إلى كائنات أهداف محددة باللون والشكل.
• مسارات التدريب: تستخدم الدراسة أكثر من 100 مسار تدريب متميز، تتراوح من التدريب أحادي المرحلة إلى التدريب المتسلسل ثنائي المرحلة. في المسارات ثنائية المرحلة، يتم تدريب الوكلاء على كائن هدف أول ثم يتم ضبطهم دقيقًا على كائن ثانٍ.
• التقييم: يتم تقييم الوكلاء في بيئات خارج نطاق التوزيع تحتوي على أزواج من الكائنات (بما في ذلك ألوان وأشكال جديدة لم تُشاهد أثناء التدريب). المقياس الأساسي هو دالة التفضيل التجريبية ($\hat{\Pi}_\Omega$)، والتي تُعرف بتكرار اختيار الوكيل لكائن ما دون الآخر (أو لا شيء منهما) عبر 276 بيئة تقييم.
• النطاق: يغطي التحليل أكثر من 298 وكيلًا وأكثر من 250 بيئة خارج نطاق التوزيع.

طريقة تدرجات السياسة الكامنة (LPG)

لشرح وتفسير السلوكيات الملحوظة، قدم المؤلفون تدرجات السياسة الكامنة (Latent Policy Gradients)، وهي طريقة لنمذجة تطور المتغيرات الكامنة منخفضة الأبعاد ($w$) أثناء التدريب.

1. التمثيل الكامن: يتم تلخيص تفضيلات الوكيل بواسطة متجه منخفض الأبعاد $w$ (بُعد 10، يطابق عدد سمات الكائن)، بدلاً من بارامترات الشبكة الكاملة (4.8 مليون).
2. توصيف التفضيل: يتم نمذجة التفضيلات باستخدام افتراض "بولتزمان-العقلاني" (Boltzmann-rational)، حيث يكون احتمال اختيار الهدف عبارة عن دالة لوجستية لقيمته. القيمة خطية في كل من سمات الهدف ($\phi(g)$) والمتغيرات الكامنة: $V(g) = \phi(g) \cdot Sw$.
3. محاكاة التدريب: تحاكي الطريقة مسار التدريب عن طريق إجراء صعود التدرج على هدف سياسة معدل فوق دالة التفضيل. يتضمن الهدف حد تنظيم الإنتروبيا المتحكم به عبر معامل فائق $\tau$.
   • للمرحلة الواحدة مع هدف $\phi(g)$، يكون الهدف هو $J(\Pi) = \Pi(\phi(g)|\phi(g), 0) + \tau h(\Pi(\phi(g)|\phi(g), 0))$.
   • للمسارات متعددة المراحل، يتم تحديث المتغيرات الكامنة بالتتابع، حيث تعمل الأوزان النهائية لإحدى المراحل كبداية للمرحلة التالية.
4. القابلية للتفسير: تتعلم الطريقة مصفوفة البروز (saliency matrix) ($S$) التي تلتقط معدلات تعلم السمات والارتباك بين السمات (حيث يؤثر التدريب على سمة واحدة على تقييم سمة أخرى).

النتائج الرئيسية

الظواهر التجريبية

يكشف تحليل البيانات التجريبية عن ثلاثة أنماط متميزة في تعميم الأهداف:

1. بروز السمات (Feature Salience): لا تدفع جميع السمات عملية التعميم بالتساوي. سمات الشكل (خاصة شكل الصليب) هي أكثر بروزًا من سمات اللون (حيث اللون الأسود هو الأقل بروزًا).
2. استمرارية القيمة (Value Persistence): القيم المتعلمة في المرحلة الأولى من مسار متعدد المراحل تستمر حتى عندما تقدم المرحلة الثانية هدفًا جديدًا. يؤثر تاريخ التدريب المبكر بشكل كبير على تفضيلات خارج نطاق التوزيع النهائية.
3. التعزيز والتثبيط (Strengthening and Inhibition):
   • التعزيز: إذا كانت هناك سمة مشتركة بين مراحل التدريب، فإن قيمتها يتم تعزيزها مقارنة بما لو ظهرت فقط في المرحلة الثانية.
   • التثبيط: وجود سمة مشتركة يثبط تكوين قيم للسمات غير المشتركة في المرحلة الثانية (وهي ظاهرة تتوافق مع "تضور التدرج" أو gradient starvation).
   • تأثير الترتيب: عندما تتشارك الأهداف في سمة ما، فإن ترتيب مراحل التدريب يغير قيم الوكيل النهائية بشكل كبير.

أداء النموذج

يحقق نموذج تدرجات السياسة الكامنة دقة تنبؤية قوية:

• الملاءمة التنبؤية: يقلل النموذج من تباعد KL بين دالات التفضيل المتوقعة والتجريبية، متفوقًا على النماذج المرجعية مثل "عديم الذاكرة" (Memoryless - يتجاهل التاريخ)، و"المتزامن" (Simultaneous - يتجاهل الترتيب)، و"القطري S" (Diagonal S - يتجاهل ارتباك السمات).
• التعميم: النموذج الذي تم ضبطه فقط على مسارات أحادية المرحلة ينجح في التنبؤ بسلوك الوكلاء المدربين على مسارات ثنائية المرحلة. وبالمثل، فإن النموذج الذي تم تدريبه بدون مشتتات يتعمم على المسارات التي تحتوي عليها.
• التماسك: وُجد أن تفضيلات الوكيل التجريبية متماسكة تقريبًا (بولتزمان-عقلانية)، حيث حققت درجات Elo دقة اتجاهية بنسبة 89.73% على الأزواج المحجوبة.

الأهمية والمساهمات

تقدم الورقة ثلاث مساهمات رئيسية:

1. التحليل التجريبي: توفر تحليلاً تجريبيًا واسع النطاق لتعميم الأهداف عبر أكثر من 100 مسار تدريب، مما يوضح أن السلوك خارج نطاق التوزيع متماسك ومبني على هيكل ناتج عن تاريخ التدريب، وتحديدًا تسلط الضوء على ظواهر مثل استمرارية القيمة وبروز السمات.
2. صياغة المشكلة: تعيد صياغة مشكلة تعميم الهدف كمسألة تنبؤ: رسم الخرائط مباشرة من مسارات التدريب إلى دالات التفضيل خارج نطاق التوزيع.
3. تدرجات السياسة الكامنة: تقدم طريقة جديدة وقابلة للتفسير لحل مشكلة التنبؤ هذه. تتميز الطة بـ:
   • تحقيق دقة تنبؤية عالية مع عدد قليل من البارامترات.
   • تقديم تفسير ميكانيكي حيث يتوافق التدريب متعدد المراحل مع الإسقاط المتكرر للأوزان الكامنة على مستويات (hyperplanes) محددة بأهداف التدريب.
   • تعريف مقياس تشابه السمات (عبر $SS^T$) الذي يشرح كيف يؤثر التدريب على هدف واحد على تقييم الأهداف الأخرى.

الخاتمة

يخلص المؤلفون إلى أنه بينما يعتمد سلوك وكيل التعلم التعزيزي خارج نطاق التوزيع على المسار الكامل للتدريب، إلا أن هذا الاعتماد يمتلك بنية أساسية يمكن التقاطها. توفر إطار عمل "تدرجات السياسة الكامنة" أداة مبدئية وقابلة للتفسير لفهم كيف يشكل التدريب متعدد المراحل قيم الوكيل. يضع هذا العمل حجر الأساس لمنظور تطوري لتعميم الأهداف، مما يشير إلى أن فهم تطور المتغيرات الكامنة أثناء التدريب هو المفتاح للتنبؤ بسلامة أنظمة الذكاء الاصطناعي المنتشرة في بيئات جديدة. ويشير المؤلفون إلى أنه بينما يفترض الإطار الحالي التفكك الخطي للقيم عبر السمات، فإن البنية الرياضية عامة وتعمل كأساس لتوسيع هذه الرؤى لتشمل أنظمة أكثر تعقيدًا.