ملخص تقني: التمثيل النهائي في التعلم المعزز

بيان المشكلة

في التعلم المعزز (RL)، يعد تعلم التمثيل أمراً بالغ الأهمية للتجريد المكاني-الزماني. هناك نهجان راسخان هما: التمثيل اللاحق (Successor Representation - SR) والتمثيل الافتراضي (Default Representation - DR). يقوم الـ SR بترميز الحالات بناءً على مسارات الزيارات المستقبلية، مما يلتقط ديناميكيات الانتقال بشكل مستقل عن المكافآت. ويوسع الـ DR هذا المفهوم من خلال وزن هذه المسارات بالمكافآت، مما يدمج هيكل تخصيص الائتمان (credit-assignment).

ومع ذلك، يواجه كلا التمثيلين قيوداً عند تطبيقهما على مهام لاحقة مثل اكتشاف الخيارات (option discovery)، وتشكيل المكافآت (reward shaping)، ونقل التعلم (transfer learning):

1. العبء الحسابي: يتطلب استخدام الـ DR أو الـ SR لهذه المهام عادةً تحليل القيم الذاتية (eigendecomposition) (أو التكرار القوي) لاستخراج المتجهات الذاتية. وهذا يفرض تكلفة حسابية قدرها $O((S^+)^2)$ أو أعلى لكل استعلام، ويفترض ديناميكيات انتقال متماثلة (عكوسة)، وهو شرط غالباً ما يتم انتهاكه في بيئات التعلم المعزز العملية حيث تكون السياسات اتجاهية.
2. الأبعاد: يتم تعريف الـ SR والـ DR على فضاء الحالة الكامل ($S^+ \times S^+$)، والذي يمكن أن يكون كبيراً وغير فعال في التخزين أو التعلم.
3. المعرفة غير المباشرة: بينما يقوم الـ DR بترميز المسارات الموزونة بالمكافآت، فإنه لا يعزل صراحةً إمكانية الوصول وجدوى الحالات النهائية بتنسيق يمكن استخدامه مباشرة دون تحليل طيفي إضافي.

المنهجية: التمثيل النهائي (Terminal Representation - TR)

يقترح المؤلفون التمثيل النهائي (TR)، وهو صياغة متميزة بنيوياً مصممة لترميز المسارات الموزونة بالمكافآت خصيصاً فيما يتعلق بـ الحالات النهائية (terminal states).

الأساس النظري

يُشتق الـ TR ضمن إطار عمليات ماركوف قابلة للحل خطياً (Linearly-Solvable Markov Decision Processes - LMDPs). في الـ LMDP، يمكن تحويل دالة القيمة المثلى $v(s)$ إلى قيمة أسية $z(s) = e^{v(s)/\lambda}$، تحقق المعادلة الخطية:
$$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$$
حيث $P_\mu$ هي سياسة افتراضية و $\lambda$ هو معامل درجة الحرارة.

من خلال تقسيم فضاء الحالة إلى حالات غير نهائية ($S$) وحالات نهائية ($T$)، يشتق المؤلفون مصفوفة الـ TR المتمثلة في $M$ كالتالي:
$$M = (I_S - D_S)^{-1} D_T$$
حيث $D_S = R_S P_S$ تمثل الديناميكيات غير النهائية و $D_T = R_S P_T$ تمثل الانتقالات من الحالات غير النهائية إلى الحالات النهائية. و $R_S$ و $R_T$ هما مصفوفتان قطريتان للمكافآت الأسية.

يسمح الـ TR بـ الاسترداد الصفري (zero-shot recovery) للقيم الأسية المثلى $z$ لأي تكوين من المكافآت النهائية $y$ (حيث $y(\tau) = e^{R(\tau)/\lambda}$) عبر العلاقة الخطية:
$$z = M y$$

خوارزميات التعلم

يحدد البحث تقارب خوارزميتين للتعلم لـ $M$:

1. البرمجة الديناميكية (القائمة على النموذج): قاعدة تحديث تكرارية $M_{k+1} = D_T + D_S M_k$ ثبت أنها تتقارب لتصل إلى الـ TR الحقيقي.
2. القائمة على العينات (بدون نموذج): تم اشتقاق قاعدة تحديث من نوع فرق زمن التباين (TD) للتعلم عبر الإنترنت:
   $$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$$
   حيث $\hat{M}^+$ هو رسم خرائط ممتد يتعامل مع الانتقالات إلى الحالات النهائية. يثبت النظرية 4.2 أن هذا يتقارب نحو $M$ تحت شروط التقريب العشوائي القياسية.

الخصائص النظرية الرئيسية

• الأبعاد: الـ TR هو مصفوفة $S \times T$. وبما أن عدد الحالات النهائية $T$ غالباً ما يكون أصغر بكثير من إجمالي فضاء الحالة $S^+$، فإن الـ TR أكثر إيجازاً بشكل ملحوظ من الـ DR الذي يبلغ $S^+ \times S^+$.
• القابلية المباشرة للاستخدام (بدون تحليل القيم الذاتية): تتوافق أعمدة الـ TR مباشرة مع المعلومات التي يتم استخراجها عادةً عبر المتجهات الذاتية للـ DR. توضح النظرية 7.1 أن المتجه الذاتي الأعلى للـ DR يتكون بنيوياً من عمود في الـ TR (تحديداً العمود المقابل للحالة النهائية الأكثر رغبة) وسلسلة هندسية. وبالتالي، يلتقط الـ TR نفس المعرفة الهيكلية الكامنة دون الحاجة إلى تحليل القيم الذاتية.
• التعامل مع عدم التماثل: على عكس أساليب المتجهات الذاتية التي تعتمد على عكسية ديناميكيات الانتقال (التماثل) لضمان قيم ذاتية حقيقية، فإن الـ TR غير متماثل بطبيعته ومعرف جيداً تحت الديناميكيات التعسفية وغير العكوسة.
• القابلية للتركيب (Compositionality): يدعم الـ TR التركيب الصفري. إذا كانت المهمة الجديدة عبارة عن مزيج خطي من المهام الأساسية بمكافآت نهائية مختلفة، فيمكن استرداد دالة القيمة المثلى عبر الجمع الخطي للأعمدة المقابلة من الـ TR، مما يتجاوز الحاجة لإعادة تعلم دوال القيمة الأساسية.
• تكافؤ المكافأة: يثبت المؤلفون أن نماذج الـ LMDPs ذات المكافآت المعتمدة على الانتقال أو المعتمدة على حالة-فعل يمكن رسم خرائط لها إلى نماذج LMDPs مكافئة ذات مكافآت معتمدة على الحالة، مما يضمن تطبيق نظرية الـ TR على نطاق واسع عبر مختلف صيغ المكافآت.

النتالئج التجريبية

قيم المؤلفون الـ TR مقابل الـ SR والـ DR عبر أربعة تطبيقات لاحقة في بيئات عالم الشبكة (Grid-world) وهي (Four Rooms, RiverSwim, SixArms):

1. اكتشاف الخيارات: في مهمة "تغطية الخيارات الذاتية" (covering eigenoptions)، يُستخدم الـ TR لتوليد الخيارات (تجنباً لحساب المتجهات الذاتية). حققت المتغيرات التي تستخدم عمود الحالة النهائية ذات المكافأة الأعلى، أو جميع الأعمدة، أداءً تنافسياً مع طرق RACE القائمة على DR وطرق CEO القائمة على SR، وغالباً ما وصلت إلى مكافآت متوسطة أعلى من خلال دفع الوكلاء مباشرة نحو الأهداف المرغوبة.
2. تشكيل المكافآت: أدى استخدام الـ TR لبناء مكافآت قائمة على الإمكانات ($\hat{r}_t = 1 - M(s_{t+1}, \tau)$) إلى أداء مطابق للـ DR ومتفوق على الـ SR. وهذا يؤكد قدرة الـ TR على التقاط المعلومات الهيكلية اللازمة للملاحة الفعالة دون تحليل القيم الذاتية.
3. الاستكشاف القائم على العد (Count-Based Exploration): أدى استخدام معيار (norm) الـ TR كحافز استكشاف في بيئات RiverSwim و SixArms إلى أداء شبه مطابق للـ DR وأفضل بكثير من الـ SR.
4. نقل التعلم: عندما تغيرت المكافآت النهائية بين المهام، استُخدم الـ TR لنقل المعرفة. لقد قدم أداءً مشابهاً للميزات الافتراضية (Default Features - DF) (وهي نسخة الـ DR المستقلة عن السياسة) و تفوق على الميزات اللاحقة (Successor Features - SF) عبر مختلف تكوينات السياسة الأساسية، محققاً ذلك دون خطوة تعلم ميزات صريحة.

الأهمية والادعاءات

يزعم البحث أن التمثيل النهائي (TR) يقدم بديلاً قابلاً للتطبيق وفعالاً حسابياً للـ SR والـ DR. تكمن أهميته الأساسية في:

• الكفاءة: يقلل من أبعاد التمثيل ويلغي الحاجة إلى تحليل القيم الذاتية المكلف، مما يقلل من تعقيد الاستعلام من $O((S^+)^2)$ إلى $O(1)$ لاستخراج العمود.
• المتانة: يعمل بشكل صحيح تحت ديناميكيات الانتقال غير المتماثلة (غير العكوسة)، وهو سيناريو شائع في التعلم المعزز حيث قد تفشل أساليب المتجهات الذاتية أو تعطي قيماً ذاتية مركبة.
• القابلية المباشرة للتطبيق: يقوم بترميز معرفة الحالة النهائية صراحةً، مما يسمح بالاستخدام المباشر في تشكيل المكافآت، واكتشاف الخيارات، ونقل التعلم دون الحاجة إلى تحليل طيفي وسيط.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أنه بينما يعد الـ TR منافساً للـ DR، فإنه ليس متفوقاً عليه جوهرياً في جميع الجوانب الدلالية؛ بل يوفر آلية أكثر إيجازاً وقابلية للتطبيق حسابياً للوصول إلى نفس المعرفة الهيكلية الكامنة المتعلقة بالحالات النهائية. ويُقترح في العمل المستقبلي توسيع نطاق الـ TR إلى البيئات عالية الأبعاد عبر تقريب الدوال والتعامل مع الإعدادات التي لا تحتوي على حالات نهائية محددة صراحةً.