ملخص تقني: الالتزام بالخيار: التعلم المعزز التفاعلي بالشكل الصحيح

1. بيان المشكلة

تُصمم خوارزميات التعلم المعزز (RL) تقليديًا ويتم تحليلها تحت فرضية ماركوف (Markov assumption)، حيث يمتلك الوكيل وصولاً كاملاً إلى الحالة. ومع ذلك، فإن البيئات العملية غالبًا ما تكون ذات ملاحظة جزئية (POMDPs) أو تتطلب تقريب دالة (function approximation) يقيد الوكيل بميزات غير ماركوفية (تجميع حالات صلب/hard state aggregation). في مثل هذه الإعدادات، يجب على الوكيل تعلم سياسة تفاعلية (reactive policy) — وهي تعيين من الميزات المرصودة إلى توزيعات الأفعال (الخيارات/options) — دون ذاكرة للملاحظات الماضية.

تعتمد النتائج النظرية الحالية لتعلم السياسات التفاعلية المثلى تحت التجميع الصلب للحالات على فرضية تحقق $q^\star$ ($q^\star$-realizability). تتطلب هذه الحالة أن تكون دالة القيمة للعمل المثالية $q^\star(x, u)$ ثابتة داخل كل ميزة (أي أن $q^\star(x, u) = q(\phi(x), u)$). يرى المؤلفون أن هذا الافتراض مقيد للغاية، حيث يستبعد بيئات بسيطة (مثل مثال "الممر"/corridor) حيث توجد سياسة تفاعلية مثلى ولكن القيم المثالية داخل الميزة الواحدة تختلف. علاوة على ذلك، يفشل تعلم Q-learning القياسي في هذه السيناريوهات لأنه يحاول تقريب دالة قيمة غامضة داخل الميزة المجمعة.

تعالج الورقة مشكلة تعلم سياسة تفاعلية مثلى في بيئات POMDP منتهية وذات حلقات (episodic) وملاحظات حتمية، بهدف تخفيف فرضيات التحقق المطلوبة للتقارب.

2. المنهجية

تعلم Q الملتزم (Committed Q-learning)

يقترح المؤلفون تعلم Q الملتزم (Committed Q-learning)، وهو متغير من تعلم Q الكلاسيكي. الآلية الجوهرية هي استراتيجية "الالتزام":

• عند دخول ميزة $z$، يقوم سياسة السلوك باختيار خيار واحد (توزيع أفعال) $\omega$.
• يلتزم الوكيل بهذا الخيار وينفذه حتى تتغير الميزة المرصودة ($z' \neq z$).
• فقط عندما تتغير الميزة، يقوم الوكيل بإعادة اختيار خيار جديد.
• يتم تحديث قيم Q، المتمثلة في $Q(z, \omega)$، بناءً على الانتقال من الميزة $z$ إلى $z'$.

هذا يتناقض مع تعلم Q غير الملتزم، الذي قد يعيد اختيار الأفعال في كل خطوة زمنية بغض النظر عن استقرار الميزة. يضمن الالتزام أن عملية التعلم تعمل على المقياس الزمني لانتقالات الميزات بدلاً من انتقالات الحالة الخام.

الإطار النظري: البيئات شبه الماركوفية والمتانة تجاه إعادة التوصيل (Rewire-Robustness)

لتحليل التقارب، قدم المؤلفون مفهومين رئيسيين:

1. البيئات شبه الماركوفية (Quasi-Markov Environments): تُعتبر البيئة شبه ماركوفية إذا كان لكل ميزة توزيع فريد لحالات الدخول (أو حالة دخول فريدة). في هذه البيئات، تتحقق خاصية ماركوف بين الميزات: توزيع الحالة عند دخول الميزة يكون مستقلًا عن الميزة السابقة. يوضح المؤلفون أنه في البيئات شبه الماركوفية، تقابل القيمة المثلى للميزة قيمة حالة الدخول الخاصة بها، مما يسمح بالبرمجة الديناميكية بالعمل بشكل صحيح.

2. المتانة تجاه إعادة التوصيل (Rewire-Robustness): هذا هو المساهمة المركزية للورقة. تكون البيئة متينة تجاه إعادة التوصيل إذا ظلت السياسة التفاعلية المثلى دون تغيير تحت أي عملية "إعادة توصيل" (rewiring) للبيئة. تقوم إعادة التوصيل بتعديل "ديناميكيات الدخول" (كيفية دخول الميزة) مع الحفاظ على ثبات الديناميكيات الداخلية للميزة واحتمالات انتقال الميزة.

   • إعادة التوصيل المعممة (Generalized Rewiring): تسمح بتغييرات عشوائية في توزيعات الدخول.
   • إعادة التوصيل-$\pi$ ($\pi$-Rewiring): نوع محدد من إعادة التوصيل حيث تُستبدل توزيعات الدخل بالتوزيع المتوسط للدخول الناتج عن سياسة السلوك $\pi$.

يعرف المؤلفون خطر بيل مان (Bellman Risk) وخطر القيمة (Value Risk) كأهداف قابلة للتعلم (على عكس خطأ بيل مان أو خطأ القيمة في الإعدادات جزئية الملاحظة) ويوضحون أن تقليل خطر بيل مان في بيئة شبه ماركوفية يؤدي إلى قيم الدخول الصحيحة.

3. المساهمات الرئيسية

• خوارزمية تعلم Q الملتزم (Committed Q-learning Algorithm): خوارزمية تتقارب بشكل مثبت نحو السياسة التفاعلية المثلى تحت افتراض أضعف من الأعمال السابقة.
• شرط المتانة تجاه إعادة التوصيل (Rewire-Robustness Condition): تقديم افتراض جديد لتجميع الحالات. تثبت الورقة أن المتانة تجاه إعادة التوصيل هي أضعف (أقل تقييدًا) من $q^\star$-realizability. وهذا يعني أن الخوارزمية تتقارب في فئة أوسع من البيئات، بما في ذلك البيئات التي لا تكون فيها دالة القيمة المثلى ثابتة داخل الميزة (مثل بيئة الممر).
• الصياغة شبه الماركوفية (Quasi-Markov Formalism): تعريف صارم للبيئات شبه الماركوفية ومرتبط بها نموذج MDP المجمع، والذي يعمل كجسر نظري بين البيئة جزئية الملاحظة وخوارزمية التعلم.
• إثبات التقارب (Convergence Proof): باستخدام امتداد لنظرية Borkar-Meyn للضجيج الماركوفي (Liu et al., 2025)، يثبت المؤلفون أن تعلم Q الملتزم يتقارب بشكل مؤكد تقريبًا (almost surely) نحو السياسة التفاعلية المثلى في أي بيئة متينة تجاه إعادة التوصيل.

4. النتائج

• التقارب: تتقارب تكرارات $(Q_t)$ لتعلم Q الملتزم بشكل مؤكد تقريبًا نحو حل $Q^\star$. السياسة الجشعة المستمدة من $Q^\star$ تكون مثلى في البيئة إذا كانت البيئة متينة تجاه إعادة التوصيل.
• تسلسل الافتراضات: تؤسس الورقة تسلسلاً هرميًا صارمًا للافتراضات:
  • $q^\star$-realizability $\implies$ Generalized rewire-robustness $\implies$ Rewire-robustness.
  • الاستلزامات العكسية لا تتحقق. على وجه التحديد، بيئة الممر متينة تجاه إعادة التوصيل ولكنها ليست $q^\star$-realizable.
• التحقق التجريبي: تُظهر التجارب العددية في بيئة الممر أنه بينما يفشل تعلم Q العادي في إحراز تقدم، فإن تعلم Q الملتزم يتقارب بسرعة نحو السياسة المثلى عبر مختلف أطوال الممرات.

5. الأهمية والادعاءات

تزعم الورقة أن تعلم Q الملتزم يوفر حلاً مؤسسًا نظريًا للتعلم المعزز التفاعلي في البيئات جزئية الملاحظة دون الحاجة إلى فرضية $q^\star$-realizability القوية.

• تخفيف الافتراضات: من خلال تقديم المتانة تجاه إعادة التوصيل، يوسع هذا العمل فئة البيئات التي يمكن فيها تعلم السياسات التفاعلية المثلى. يشير المؤلفون إلى أن إيجاد سياسة تفاعلية مثلى تحت تجميع الحالات هو مسألة NP-complete بشكل عام (Littman, 1994)، مما يجعل مثل هذه الافتراضات ضرورية للخوارزميات الفعالة؛ ومع ذلك، يحدد هذا العمل أضعف افتراض معروف للتقارب.
• القابلية للتفسير: تعمل الخوارزمية على "مستوى أعلى" (مساحة الميزات) مما يحل فعليًا نموذج MDP مجمع. آلية "الالتزام" ليست قيدًا بل هي توافق طبيعي مع الهدف المتمثل في إيجاد سياسة تفاعلية تربط الميزات بالخيارات.
• القابلية للتعلم: توضح الورقة أن مقاييس الخطأ القياسية (خطأ القيمة، خطأ بيل مان) ليست قابلة للتعلم في الإعدادات جزئية الملاحظة لأنها تعتمد على توزيعات الحالة غير المرصودة. في المقابل، فإن خطر بيل مان المقترح قابل للتعلم من الميزات والمكافآت المرصودة، مما يوفر أساسًا متينًا لتحليل التقارب.

يخلص المؤلفون إلى أن نهجهم يقدم إطارًا قويًا للتعلم المعزز التفاعلي، مما يسد الفجوة بين القيود النظرية لتجميع الحالات والحاجة العملية لسياسات بدون ذاكرة في البيئات المعقدة. ويُقترح العمل المستقبلي لتوسيع هذه النتائج لتشمل الخيارات غير المستقرة، ومسائل الأفق اللانهائي المخصومة، والمتانة التقريبية تجاه إعادة التوصيل.