On Reward-Balancing Methods for Reinforcement Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "حول طرق موازنة المكافأة في التعلم المعزز" (On Reward-Balancing Methods for Reinforcement Learning) من تأليف بارونشيني، غاريسيفارد، ونوتارستيفانو.

1. بيان المشكلة

تتناول الورقة مشكلة حل مسائل التعلم المعزز ذات العائد المخصوم (Discounted-Return RL) ضمن إطار عملية ماركوف لاتخاذ القرار (MDP).

• السياق: تعمل خوارزميات التعلم المعزز التقليدية (مثل Q-learning) بشكل تكراري على تحسين السياسة مع إبقاء دالة المكافأة ثابتة.
• الفكرة الجوهرية: يبحث المؤلفون في طرق موازنة المكافأة (Reward-Balancing Methods)، وهي فئة من الخوارزميات التي تتبع نهجاً بديلاً: فهي تثبت السياسة لتكون "جشعة" (greedy) بالنسبة لدالة المكافأة الحالية، ثم تقوم بتعديل دالة المكافأة نفسها بشكل تكراري.
• الهدف: الهدف هو تحويل أي عملية ماركوف لاتخاذ القرار (MDP) إلى "MDP طبيعي" (Normal MDP) مكافئ، حيث تكون دالة القيمة المثلى فيه مساوية للصفر. في هذا الشكل الطبيعي، يصبح إيجاد السياسة المثلى أمراً بديهياً: حيث يتم ببساطة اختيار الإجراء الذي يحقق مكافأة صفرية في كل حالة.
• التحدي: يجب أن يحافظ هذا التحويل على الترتيب النسبي للسياسات (أي أن تظل السياسة المثلى هي نفسها)، وأن يتعامل مع السيناريوهات التي يكون فيها نموذج الـ MDP مجهولاً أو عرضة لعدم اليقين (أخذ عينات من نموذج عشوائي).

2. المنهجية والإطار النظري

تطور الورقة إطاراً رياضياً وتحكمياً صارماً لهذه الطرق.

أ. الأسس الرياضية (الأفعال الجماعية والهندسة)

• تحويلات المكافأة: يعرّف المؤلفون مجموعة من التحويلات الحافظة للميزة (advantage-preserving transformations). وهي تحويلات تآلفية لدالة المكافأة $r \mapsto r + b(\delta)$، تتم معلمتها بواسطة دالة تعتمد على الحالة $\delta$.
• الثبات (Invariance): يثبت المؤلفون أن هذه التحويلات تحافظ على دالة الميزة ($adv_{\pi, r}$) وتزيح دالة القيمة بمقدار $\delta$ تماماً ($v_{\pi, r'} = v_{\pi, r} - \delta$).
• الشكل الطبيعي: تكون الـ MDP في "شكل طبيعي" إذا كانت دالة قيمتها المثلى صفراً. ويحدد المؤلفون مجموعة كل دالات المكافأة الطبيعية ("المجموعة الطبيعية"، $\mathcal{N}$)، ويوضحون أن فضاء جميع دالات المكافأة يشكل حزمة ليفية رئيسية (principal fiber bundle) فوق هذه المجموعة الطبيعية.
• التماثل: يتضمن الإطار تماثلات الـ MDP، حيث يوضح أنه إذا كان للـ MDP الأصلي تماثلات، فيمكن تقييد تحويلات المكافأة للحفاظ عليها، مما يسمح بتقليل الأبعاد.

ب. إعادة الصياغة من منظور نظرية التحكم

أُعيد صياغة عملية التطبيع (normalization) كمسألة استقرار مخرجات (Output Stabilization Problem)، ومن ثم كمسألة تحكم أمثل (Optimal Control Problem - OCP).

• ديناميكيات النظام: تُعامل متجه المكافأة $R_t$ كحالة لنظام خطي ثابت زمنياً:
  $$R_{t+1} = R_t + B\Delta_t$$
  حيث $B = \gamma F - S$ (مشتق من مصفوفة الانتقال والإسقاط)، و$\Delta_t$ هو مدخل التحكم (التعديل على دالة القيمة).
• الهدف: تصميم قانون تحكم تغذية راجعة $\Delta_t = h(R_t)$ يوجه متجه المكافأة نحو المجموعة الطبيعية $\mathcal{N}$ (حيث $\max_{u \in U_x} r(u) = 0$ لجميع الحالات $x$).
• المجموعة المسموح بها: يحدد المؤلفون مجموعة من التحويلات المسموح بها تضمن بقاء المكافأة غير موجبة (وهو شرط ضروري للتقارب إلى المجموعة الطبيعية) والتحرك باتجاه دالة القيمة المثلى.

ج. التعامل مع عدم يقين النموذج (الإطار العشوائي)

توسع الورقة الإطار ليشمل الحالات التي يكون فيها نموذج الانتقال $F$ مجهولاً ومتاحاً فقط من خلال عينات عشوائية ($\hat{F}_t$).

• الديناميكيات العشوائية: تصبح قاعدة التحديث نظاماً عشوائياً مع ضوضاء ضربية: $R_{t+1} = R_t + \hat{B}_t \Delta_t$.
• المتانة (Robustness): يحدد المؤلفون أكبر مجموعة مسموح بها ثابتة للنموذج ($\mathcal{F}_I(R)$)، وهي مجموعة فرعية من مدخلات التحكم التي تضمن بقاء المكافأة غير موجبة بغض النظر عن تحقق النموذج المحدد.
• الحدود الاحتمالية: يستنتجون حدوداً احتمالية صارمة للانحراف بين المسار العشوائي والمسار المثالي (الدقيق)، ويثبتون أن النظام يتقارب هندسياً نحو المجموعة الطبيعية تحت شروط محددة.

د. التحكم التنبئي بالسيناريوهات (Scenario MPC)

لتصميم قوانين تحكم متينة في الإطار العشوائي، يقترح المؤلفون نهج التحكم التنبئي بالسيناريوهات (Scenario MPC):

• بدلاً من استخدام نموذج استرشادي (heuristic) ثابت، يقومون بحل مسألة تحكم أمثل ذات أفق زمني محدود في كل خطوة باستخدام $N$ من تحققات النموذج المأخوذة كعينات (سيناريوهات).
• تعمل دالة التكلفة على تقليل "المخرج" التراكمي (المسافة إلى المجموعة الطبيعية) مع احترام القيود الثابتة للنموذج.
• يسمح هذا بتصميم قوانين تحكم أكثر متانة وأداءً من النماذج الاسترشادية القياسية في ظل عدم اليقين.

3. المساهمات الرئيسية

1. التوصيف النظري: تحليل جبري وهندسي شامل لطرق موازنة المكافأة، وتأسيسها كفعل جماعي (group action) على فضاء دالات المكافأة، وتحديد "المجموعة الطبيعية" كقسم من حزمة ليفية رئيسية.
2. إعادة الصياغة من منظور نظرية التحكم: إعادة صياغة مسألة التطبيع كمسألة تحكم أمثل، مما يوفر طريقة منهجية لتصميم قوانين التطبيع باستخدام القيود ودوال التكلفة، متجاوزةً بذلك الخوارزميات التجريبية (ad-hoc).
3. المتانة تجاه عدم اليقين: توسيع الإطار ليشمل أخذ العينات العشوائية للنموذج. توفر الورقة:
   • توصيفاً لأكبر مجموعة مسموح بها وثابتة للنموذج.
   • ضمانات صارمة للتطبيع في ظل عدم اليقين.
   • حدوداً احتمالية للانحراف بين العملية العشوائية والمسار المثالي.
4. تصميم Scenario MPC: تقديم إطار عمل Scenario MPC لتصميم قوانين موازنة مكافأة متينة تتفوق على الطرق الحالية في البيئات غير المستقرة.

4. النتائج

• ضمانات التقارب: تثبت الورقة أن قوانين تحكم محددة (مثل "Full-Output Feedback" و"Safe Reward-Balancing") هي قوانين تطبيع. وفي الحالة العشوائية، تثبت أن المكافأة تتقارب هندسياً نحو المجموعة الطبيعية إذا ظل قانون التحكم ضمن المجموعة الثابتة للنموذج واستوفى شرط التقلص.
• الحدود الاحتمالية: يوفر المبرهن 40 حداً أسياً لاحتمالية تجاوز الانحراف بين مسار مكافأة عشوائي والمسار المثالي لعتبة معينة، مما يحدد مدى استقرار الطريقة تحت عدم تطابق النموذج.
• الدراسات المحاكاتية:
  • اختبر المؤلفون منهجية Scenario MPC المقترحة مقابل طريقة Full-Output Feedback (وهي طريقة مرجعية حديثة من الأدبيات السابقة).
  • في بيئة MDP مكونة من حالتين و5 إجراءات مع عدم يقين في النموذج (ضوضاء موحدة)، أظهر نهج Scenario MPC أداءً أعلى بكاطة من حيث نسبة التشغيلات التي كانت فيها السياسة الجشعة الناتجة مثلى حقاً.
  • بينما تعد طريقة Full-Output Feedback أقل تكلفة حوسبياً، فقد أظهر نهج MPC أن الاستفادة من سيناريوهات متعددة تسمح بمعالجة أفضل لعدم يقين النموذج، مما يؤدي إلى تحسين السياسة بشكل أكثر موثوقية.

5. الأهمية

• تحول في النموذج (Parad Paradigm Shift): تغير الورقة منظور التعلم المعزز من "تعلم سياسة لمكافأة ثابتة" إلى "تعلم مكافأة تجعل السياسة الجشعة مثلى". وهذا يقدم زاوية جديدة لتحسين كفاءة العينات.
• القابلية للتوازي: طرق موازنة المكافأة الأساسية قابلة للتوازي بالكامل، مما يوفر تسريعاً محتملاً مقارنة بالطرق التسلسلية مثل Q-learning.
• المتانة: من خلال توفير إطار عمل بنظرية التحكم مع ضمانات احتمالية، تسد هذه الورقة الفجوة بين التعلم المعزز النظري والتطبيقات العملية حيث تكون النماذج غير مثالية.
• إطار التصميم: إن صياغة المسألة كمسألة تحكم أمثل تفتح الباب لاستخدام تقنيات التحكم المتقدمة (مثل MPC، والتحكم المتين، ومعالجة القيود) لتصميم الجيل القادم من خوارزميات التعلم المعزز الأكثر استقراراً وكفاءة في ظل عدم اليقين.

في الختام، توفر هذه الورقة أساساً نظرياً عميقاً لطرق موازنة المكافأة، محولةً إياها من خوارزميات تجريبية إلى مسألة تحكم مهيكلة ذات ضمانات تقارب صارمة، خاصة في وجود عدم يقين في النموذج.