ملخص تقني: BAPR (التعلم المعزز القوي المتقطع ذو النسيان البايزي)

1. بيان المشكلة

غالبًا ما تعمل أنظمة التحكم في العالم الحقيقي تحت ظروف ثابتة جزئيًا (piecewise stationary)، حيث تظل الديناميكيات مستقرة لفترات طويلة قبل أن تخضع لتغيرات مفاجئة في الأنظمة. تعاني خوارزميات التعلم المعزز (RL) القياسية، وخاصة الطرق غير المتصلة (off-policy) مثل Soft Actor-Critic (SAC)، من مشكلة تقادم النظام (Regime Staleness Problem):

1. تلوث الذاكرة (Buffer Contamination): تتراكم الانتقالات من الأنظمة المنتهية الصلاحية في ذاكرة التكرار (replay buffer)، مما يؤدي إلى "تسميم" الناقد (critic) ببيانات قديمة.
2. عدم توافق القيمة (Value Misalignment): تفشل دالة القيمة Q المتعلمة في التقارب نحو القيمة المثلى للنظام الحالي بسبب التحيز المستمر الناتج عن الانتقالات القديمة، حتى مع جمع بيانات جديدة.

تندرج الحلول الحالية تحت فئتين معيبتين:

• التكيف التفاعلي (مثل السياسات المشروطة بالسياق، أو Meta-RL): تتكيف هذه الطرق باستمرار ولكنها تفتقر إلى الكشف المبدئي عن التغيير، مما يؤدي إلى إدخال تباين غير ضروري خلال الفترات المستقرة.
• المتانة الاستاتيكية (مثل Robust MDPs): تتحوط هذه الطرق ضد عدم اليقين في الحالة الأسوأ باستخدام مجموعات استاتيكية، مما يؤدي إلى تحفظ مفرط خلال الفترات المستقرة وحماية غير كافية فور حدوث تغيير في النظام.

التحدي الجوهري هو تصميم نظام يمكنه اكتشاف تغيرات النظام في الوقت الفعلي، وتنظيم درجة التحفظ بناءً على الثقة، ونسيان المعلومات القديمة دون التضحية بضمانات التقارب.

2. المنهجية: إطار عمل BAPR

يقترح المؤلفون BAPR (التعلم المعزز القوي المتقطع ذو النسيان البايزي - Bayesian Amnesic Piecewise-Robust SAC)، والذي يوحد بين الكشف البايزي عبر الإنترنت عن تغير النقاط (BOCD) وإطار عمل Robust Ensemble SAC (RE-SAC).

2.1 الجوهر النظري: مؤثر BAPR

يعرف BAPR مزيجًا مرجحًا بالاعتقاد لمؤثرات بلمان المعتمدة على النمط (mode-conditional Bellman operators). ليكن $\mathcal{M}$ مجموعة أنماط البيئة. يتم تعريف المؤثر كالتالي:
$$T^{BAPR}_{\rho} Q(s, a) = \sum_{m \in \mathcal{M}} \rho(m) \cdot T_m Q(s, a)$$
حيث $T_m$ هو مؤثر بلمان للنمط $m$، و $\rho(m)$ هو توزيع الاعتقاد فوق الأنماط.

الرؤية النظرية الأساسية:

• ضمان التقلص (Contraction Guarantee): إذا كانت أوزان الاعتقاد $\rho$ مجمدة أثناء عملية النسخ الخلفي لبلمان (Bellman backup)، فإن المؤثر يكون تقلصًا بمعامل $\gamma$. هذا يضمن التقارب نحو نقطة ثابتة فريدة.
• ضرورة الاعتقادات المجمدة: يقدم البحث مثالاً مضاداً تم التحقق منه آلياً (في Lean 4) يوضح أنه إذا كانت الاعتقادات تعتمد على دالة Q (أي $\rho(Q)$)، فإن عامل التقلص يصبح $\gamma + \lambda\Delta$ (حيث $\Delta$ هي فجوة مكافأة النمط). يفشل التقلص تمامًا عندما يكون $\gamma + \lambda\Delta \geq 1$. وبالتالي، فإن تصميم "الاعتقاد المجمد" هو ضرورة هيكلية وليس مجرد وسيلة ملائمة.

2.2 المكونات

1. الكشف البايزي عبر الإنترنت عن تغير النقاط (BOCD):

   • يحافظ على توزيع خلفي $\rho(h)$ على أطوال التشغيل $h$ (الوقت منذ آخر نقطة تغيير).
   • يستخدم كاشف "مفاجأة" متعدد الإشارات ($\xi_t$) يدمج درجات z للمكافأة، ونسبة الانحراف المعياري لـ Q-ensemble، وتباعد العقوبة العشوائية (aleatoric penalty divergence).
   • يفترض نموذج الاحتمالية أن التباين ينمو خطيًا مع طول التشغيل ($\sigma^2_0 + \sigma_g h$)، مما يسمح للنظام بالتمييز بين التقلبات المستقرة وتحولات النظام.
   • التحفظ التكيفي: يدفع التوزيع الخلفي بزيادة في عقوبة الوزن $\lambda_w$. عندما يتم اكتشاف تغيير (مفاجأة عالية)، ترتفع $\lambda_w$ بشكل حاد، مما يزيد من التحفظ. ومع نمو الثقة، تتلاشى $\lambda_w$، مما يخفف من صرامة السياسة. هذا هو مكون "النسيان" (Amnesic).

2. الاشتراط بالسياق عبر RMDM:

   • لتحديد أي نظام نشط (ليس فقط متى تغير)، يستخدم BAPR شبكة سياق مدربة عبر خسارة تعلم التمثيل لكشف الأنماط والمطابقة (RMDM).
   • التدريب: يستخدم معرفات الأنماط المقدمة من المحاكي كأهداف تعلم تحت الإشراف لفرض الاتساق داخل النمط الواحد والتنوع بين الأنماط.
   • النشر: لا يتطلب الأمر أي تسميات للأنماط؛ حيث يستنتج الوكيل النظام من خلال التضمينات السياقية الملاحظة.

3. تفاصيل التنفيذ:

   • ناقد مشترك (Shared Critic): بدلاً من الحفاظ على $M$ من النقاد المنفصلين، يستخدم BPR ناقداً واحداً من نوع ensemble مشروطاً بالتضمين السياقي $e$ والاعتقاد البايزي (BOCD).
   • التقريب: يتم تقريب مؤثر المزيج النظري بواسطة عقوبة تكيفية قياسية $\beta_{eff} = \beta_{base} - \lambda_w \cdot c_{penalty}$. يتم تجميد هذا القياس أثناء كل عملية نسخ خلفي لبلمان لتلبية متطلبات التقلص.
   • تصحيح السياسة غير المتصلة (Off-Policy Correction): وجد المؤلفون تجريبيًا أن تخزين متجه الاعتقاد عند وقت التدفق (rollout time) لكل انتقال (التصحيح القياسي للسياسة غير المتصلة) يضر بالأداء بسبب ضجيج التدريب المبكر. بدلاً من ذلك، يوصون باستخدام الاعتقاد الحالي عند وقت التحديث.

3. المساهمات الرئيسية

1. التوصيف الدقيق لتصميم المعلمات المجمدة: يحدد البحث حداً فاصلاً للتقلص في المؤثرات المرجحة بالاعتقاد. يثبت أن مؤثر BAPR هو تقلص $\gamma$ فقط إذا كانت الاعتقادات مجمدة، ويوضح عبر أمثلة مضادة تم التحقق منها آلياً أن الاعتقادات المعتمدة على Q تكسر هذا الضمان.
2. معدل التقارب المتقطع الرسمي: تحت افتراضات هيكلية (قابلية فصل الأنماط، مفاجأة Lipschitz، الفترة شبه المستقرة)، يشتق المؤلفون معدل تقارب رسمي يظهر أن خطأ قيمة Q يتناقص حدودياً بعد تبديل الأنظمة، دون اعتماد أسي على الأفق الزمني.
3. التحفظ التكيفي الآمن والمثبت: تم إثبات آلية العقوبة التكيفية (آلياً) أنها لا تقلل أبداً من التحفظ عن خط الأساس RE-SAC (أي $\beta_{eff} \leq \beta_{base}$)، مما يضمن السلامة.
4. التحقق الرسمي الكامل: تم التحقق من جميع النتائج النظرية، بما في ذلك إثبات التقلص، والمثال المضاد، وميزانية الخطأ، آلياً في Lean 4 (1,145 سطرًا، 22 نظرية، 0 sorry)، مما يوفر تدقيقاً صارماً لتصميم الخوارزمية.
5. الاشتراط بالسياق مع RMDM: دالة خسارة مبتكرة تمكن من الحصول على تمثيلات مدركة للأنماط أثناء التدريب مع السماح بالنشر بدون تسميات للأنماط.

4. النتائج التجريبية

قيم المؤلفون BAPR على متغيرات غير مستقرة من مهام الحركة في MuJoCo (Hopper, HalfCheetah, Walker2d, Ant) مع تبديلات الأنظمة داخل الحلقة الواحدة.

• الأداء: تفوق BAPR باستمرار أو عادل النماذج المرجعية (SAC, RE-SAC, ESCP).
  • في HalfCheetah و Ant، تفوق BAPR بشكل كبير على RE-SAC و ESCP.
  • في Ant (معيار الأنظمة المنفصلة)، حقق BRP فصلاً توزيعياً كاملاً عن ESCP، حيث تفوق أسوأ بذرة (seed) لـ BAPR على أفضل بذرة لـ ESCP بنسبة 82%.
  • في Walker2d و Hopper، واجهت جميع الطرق صعوبة في التقارب تحت بروتوكول تبديل الأنظمة المحدد، مما يشير إلى أن الصعوبة تكمن في مهمة التوازن ثنائية/أحادية الأرجل نفسها وليس في الخوارزمية.
• دراسات الاستئصال (Ablation Studies):
  • كان RMDM المكون الأكثر أهمية (أدى إزالته إلى انخفاض في الأداء بنسبة ~47%).
  • ساهم BOCD بنسبة تحسن قدرها ~21% فوق المتانة الاستاتيكية.
  • ساهم $\beta$ التكيفي وحده بنسبة ~9%.
  • تخزين الاعتقاد لكل انتقال: أدى تعطيل تخزين الاعتقادات التاريخية (باستخدام الاعتقادات الحالية بدلاً منها) إلى تحسين الأداء، مما يتعارض مع الحدس القياسي للسياسة غير المتصلة ولكنه يتماشى مع الحاجة لتجنب ضجيج التدريب المبكر.
• ديناميكيات الكشف: اكتشف BOCD تغيرات النظام بتأخير وسيط قدره 13 تكراراً، مما أظهر سلوك "النسيان البايزي" (ارتفاع في عدم اليقين يليه إعادة تركيز).

5. الأهمية والادعاءات

يدعي البحث الأهمية في ثلاثة مجالات رئيسية:

1. الدقة المنهجية: من خلال دمج BOCD مع التعلم المعزز القوي للـ ensemble، يوفر BAPR جسراً مبدئياً بين الكشف عن نقاط التغيير والتحفظ التكيفي، مما يحل المقايضة بين الاستقرار والقدرة على التكيف في البيئات الثابتة جزئياً.
2. التحقق الرسمي: يعمل هذا العمل كأداة تدقيق للتصميم، باستخدام التحقق الآلي لكشف التبعيات الهيكلية (مثل ضرورة الاعتقادات المجمدة) التي غالباً ما يتم التغاضي عنها في البراهين غير الرسمية. يرى المؤلفون أن هذا التحقق هو مساهمة في منهجية تصميم الخوارزميات القابلة للتحقق.
3. الفعالية العملية: يثبت الإطار أن التحفظ التكيفي المدفوع بعد توزيع الاحتمال البايزي لعدم اليقين يمكن أن يحسن الأداء بشكل كبير في مهام التنسيق عالية الأبعاد (مثل Ant) حيث يكون الوعي بالسياق حاسماً، مع الحفاظ على ضمانات التقارب الرسمية.

يظل المؤلفون متواضعين بشأن نتائج Walker2d/Hopper، ويعزون الفشل في التقارب إلى الصعوبة المتأصلة في مهمة التوازن تحت تبديل الأنظمة بدلاً من وجود خلل في BAPR. كما يشيرون إلى أن شرط "الاعتقاد المجمد" هو ضرورة نظرية للتقارب، حتى لو لم يفشل متغير "Bad-BAPR" (المعتمد على Q) بشكل كارثي في تجارب HalfCheetah الخاصة بهم (ربما لأن فجوة المكافأة $\Delta$ كانت تحت العتبة الحرجة).