K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

ملخص تقني: K-Score: مرشح كالمان كبديل مبني على أسس متينة لتقييس المكافآت في التعلم المعزز

1. بيان المشكلة

تُعرف طرق تدرج السياسة (Policy gradient) في التعلم المعزز (RL) بارتفاع التباين في تقديرات التدرج، مدفوعاً بالعشوائية في كل من البيئة وسياسة الوكيل. وللتخفيف من حدة ذلك، يلجأ الممارسون تقليدياً إلى تقييس المكافأة (عادةً باستخدام تقييس الدرجة المعيارية Z-score عبر تقديرات جارية للمتوسط والانحراف المعياري).

ومع ذلك، يحدد المؤلفون ثلاث عيوب جوهرية في التقييس التجريبي التقليدي:

• عدم الاستقرار (Non-stationarity): يفترض أن إحصائيات المكافأة مستقرة، بينما في التعلم المعزز، يتغير توزيع المكافأة مع تحسن السياسة.
• الحساسية للمعلمات الفائقة (Hyperparameter Sensitivity): يعتمد على ضبط يدوي لمعدلات الاضمحلال وأحجام النوافذ الزمنية.
• الافتقار إلى نمذجة عدم اليقين: يعامل جميع الملاحظات بالتساوي ويفشل في مراعاة مستوى الضجيج في إشارة المكافأة بشكل صريح.

2. المنهجية

يقترح المؤلفون K-Score، وهو أسلوب يستبدل التقييس التجريبي بـ مرشح كالمان أحادي البعد (1D Kalman Filter) للقيام بتقدير للمكافأة يعتمد على الوعي بعدم اليقين وعملي (online).

أ. الإطار الرياضي:
تعتمد الطريقة على نمذجة متوسط المكافأة الحقيقي ($x_t$) كعملية كامنة عشوائية. وتُعامل إشارة العائد ($G_t$) كإشارة ملاحظة مشوبة بالضجيج لهذه الحالة الكامنة:

• نموذج العملية (Process Model): $x_t = x_{t-1} + w_t$، حيث $w_t \sim \mathcal{N}(0, Q)$ (يمثل مقدار ما يُسمح لمتوسط المكافأة بالانحراف به).
• نموذج الملاحظة (Observation Model): $G_t = x_t + v_t$، حيث $v_t \sim \mathcal{N}(0, R)$ (يمثل الضجيج في العائد الملحوظ).

ب. التقدير المتكرر (Recursive Estimation):
يستخدم مرشح كالمان عملية من خطوتين (التنبؤ والتحديث) للحفاظ على التقدير الأمثل للمتوسط ($x_t$) وعدم اليقين المرتبط به ($P_t$). يقوم كسب كالمان (Kalman Gain - $K_t$) بتحديد التوازن الديناميكي بين التقدير السابق والملاحظة الجديدة بناءً على النسبة بين ضجيج العملية ($Q$) وضجيج الملاحظة ($R$).

ج. قاعدة التقييس:
بدلاً من استخدام تقييس Z-score القياسي، يتم حساب العائد المقيّس ($\hat{G}_t$) كما يلي:
$$\hat{G}_t = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$$
يوفر هذا أساساً ليس فقط متكيفاً مع تغيرات مقياس المكافأة، بل ويقوم أيضاً بتوسيع الإشارة بناءً على عدم اليقين في التقدير الحالي.

د. متغيرات التنفيذ:

• كالمان البسيط (Simple Kalman): يستخدم قيم ثابتة لـ $Q$ و $R$.
• كالمان المتكيف (Adaptive Kalman): يقوم بتحديث ضجيج القياس $R_t$ ديناميكياً باستخدام المتوسط المتحرك الأسي لمربعات البواقي، مما يسمح للمرشح بالتفاعل مع التقلبات المتغيرة.

3. المساهمات الرئيسية

• بديل مبني على أسس متينة: ينقل تقييس المكافأة من نهج "المتوسط المتحرك" التجريبي إلى إطار عمل تقدير بايزي (Bayesian estimation) مستند إلى أسس إحصائية.
• مستقل عن البنية (Architecture-Agnostic): هذه الوحدة هي خطوة معالجة مسبقة خفيفة الوزن تعتمد على القيم القياسية (scalar-based)، ويمكن "دمجها" في أي خوارزمية لتدرج السياسة (REINFORCE, Actor-Critic, GAE, PPO) دون تغيير بنية الشبكة العصبية.
• الوعي بعدم اليقين: يقدم آلية للتعامل مع توزيعات المكافأة غير المستقرة من خلال نمذجة ضجيج العملية والملاحظة بشكل صريح.

4. النتائج التجريبية

تم تقييم الطريقة على CartPole-v1 (مكافأة كثيفة) و LunarLander-v2 (مكافأة متفرقة وعالية التباين) باستخدام Actor-Critic و GAE و PPO.

• سرعة التقارب: في خوارزمية PPO على CartPole، حقق K-Score تحسناً بمقدار 3.97 ضعفاً في سرعة التقارب مقارنة بتقييس Z-score (77 حلقة مقابل 306 حلقات).
• الاستقرار: كانت منحنيات التدريب للوكلاء الذين استخدموا تقييس كالمان أكثر سلاسة بشكل ملحوظ، حيث أظهرت تذبذبات أقل في "القفزات والانهيارات" مقارنة بالتقلبات عالية التباين التي لوحظت في طرق Z-score القياسية.
• القدرة على التكيف: تفوق متغير الكالمان المتكيف (الذي يحدث $R_t$ عبر الإنترنت) باستمرار على متغير الكالمان البسيط، مما يثبت أن النمذجة الديناميكية للضجيج مفيدة للغاية في البيئات المعقدة.
• الدراسة الاستقصائية (Ablation): أظهرت النتائج أن قيم ضجيج العملية ($Q$) الأصغر تؤدي عموماً إلى تسريع التقارب من خلال منع الوكيل من المبالغة في رد الفعل تجاه القيم المتطرفة المشوبة بالضجيج.

5. الأهمية

يمثل K-Score خطوة هامة نحو جعل التعلم المعزز أكثر قوة وكفاءة في استهلاك العينات. من خلال التعامل مع تقييس المكافأة كمسألة تقدير حالة بدلاً من مجرد متوسط متحرك إحصائي بسيط، يوفر المؤلفون وسيلة للوكلاء لـ "عدم الثقة" في الإشارات المشوبة بالضجيج في بداية التدريب و"التكيف" بسرعة عندما تتغير البيئة أو السياسة. هذا النهج فعال حاسبياً (تحديثات ذات زمن ثابت) وعملي للغاية لتطبيقات التعلم المعزز في العالم الحقيقي حيث تكون إشارات المكافأة غالباً مشوبة بالضجيج وغير مستقرة.