Matrix-Space Reinforcement Learning for Reusing Local Transition Geometry

ملخص تقني: التعلم المعزز في فضاء المصفوفات لإعادة استخدام الهندسة الانتقالية المحلية

بيان المشكلة

يتطلب اتخاذ القرار المتسلسل أن يحدد الوكلاء (agents) أي المكونات من المسارات السابقة تظل مفيدة للمهام الجديدة لتحقيق التعميم التركيبي (compositional generalization). وبينما تنجح طرق التعلم المعزز (RL) الحالية في إعادة استخدام المهارات، أو النماذج التنبؤية، أو الحالات المضغوطة، إلا أنها غالبًا ما تغفل عن الهندسة الانتقالية الغنية والمحلية والديناميكيات. وتواجه الأساليب الحالية صعوبة في تحديد كيفية الاستفاء من المسارات ذات المظاهر المختلفة (مثل اختلاف أطوال الأفق، أو تحقق المهام، أو تمثيلات الأفعال) لتحسين تعلم القيمة والسياسة دون إحداث سلوكيات غير قابلة للتحقق. ويتمثل التحدي الجوهري في قياس الديناميكيات الانتقالية المحلية بطريقة تكشف عن الهياكل الخفية المشتركة وتدعم التركيب الجبري للنقل عبر المهام ذات الصلة.

المنهجية: التعلم المعزز في فضاء المصفوفات (MSRL)

تقترح الورقة التعلم المعزز في فضاء المصفوفات (MSRL)، وهو تجريد هندسي يمثل قطع المسارات (trajectory segments) من خلال واصفات مصفوفة موجبة محددة (PSD).

1. الوكيل المصفوفي $M(\tau)$

الوحدة الأساسية لـ MSRL هي مصفوفة قطعة المسار $M(\tau)$. بالنسبة لقطعة $\tau = ((o_t, a_t, r_t, o_{t+1}))_{t=0}^{T-1}$، تحدد الطريقة عملية "رفع" (lift) ثابتة الخطوات $\psi_t(\tau)$ تقوم بتجميع:

• المنتصف الانتقالي المضمن ($c_t$) والإزاحة الموجهة ($\delta_t$).
• المنتصفات والإزاحات المشروطة بالفعل (عبر حاصل الضرب كرونيكر مع ميزات الفعل).
• المكافأة المرصودة ($r_t$) وقناة ثابتة.

يُعرف الوكيل المصفوفي بأنه مجموع المنتجات الخارجية للمتجهات المرفوعة:
$$M(\tau) = \sum_{t=0}^{T-1} \psi_t(\tau)\psi_t(\tau)^\top \in \mathbb{S}^m_+$$
ينتج عن هذا البناء مصفوفة تشبه مصفوفة التباين (covariance-like matrix) تجمع الإحصاءات من الدرجة الثانية للانتقالات المرفوعة ذات الخطوة الواحدة. ومن الأهمية بمكان أن $M(\tau)$ هو مجموع تبادلي، مما يعني أنه يتجاهل التسلسل الزمني الكامل (الذي يختلف عبر المهام) بينما يحتفظ بالإحصاءات الجمعية من الدرجة المنخفضة الضرورية لتعلم القيمة.

2. التركيب واللصق (Algebraic Composition and Gluing)

تؤسس الطريقة جبرًا على هذه الواصفات:

• التركيب (Composition): الارتباط الصالح للقطع $\tau = \tau^{(1)} \star \tau^{(2)}$ يقابل تمامًا جمع المصفوفات: $M(\tau) = M(\tau^{(1)}) + M(\tau^{(2)})$.
• اللصق (Gluing): يمكن تجميع القيود المحلية المتداخلة في واصف عالمي باستخدام مؤثرات الاحتواء والاستبعاد، مما يسمح لمكتبات إعادة التشغيل (replay libraries) بتخزين وإعادة دمج القطع الجزئية.

3. تصفية العوائق (Obstruction Filtering)

لضمان أن المصفوفات المركبة تتوافق مع المسارات القابلة للتحقق، تقدم الطريقة درجة عائق (obstruction score). يقيس هذا المقياس المسافة بين المصفوفة المرشحة ومجموعة المصفوفات القابلة للوصول في بيئة معينة. يعمل العائق الإيجابي كشهادة عدم اتساق، مما يؤدي إلى تصفية التركيبات غير المعقولة قبل استخدامها في التخطيط.

4. تعلم القيمة والنقل

تقوم MSRL بتركيد دوال القيمة على مصفوفة قطعة المسار. يثبت المؤلفون أنه تحت افتراضات محددة (توافق بلمان المرفوع ونعومة محلية)، تقبل دالة القيمة تقريبًا سلسًا من الدرجة الأولى في فضاء المصفوفات. وتحديدًا، للتشوهات التركيبية الصغيرة $H_0, H_1$:
$$\bar{Q}^\star(o, H_0 + H_1, a) \approx \bar{Q}^\star(o, H_0, a) + \bar{Q}^\star(o, H_1, a) - \bar{Q}^\star(o, 0, a)$$
هذا "قانون القيمة التركيبي المركزي" يتيح النقل من المصدر إلى الهدف: حيث يتم تدريب فرع (مصفوفة $\to$ قيمة) $M \to V$ مسبقًا على بيئات المصدر ويُستخدم لتهيئة الناقد (critic) في مهام الهدف. يتم تدريب سياسة الهدف ورؤوس الأفعال من الصفر على بيانات الهدف، بينما يوفر فرع (المصفوفة $\to$ القيمة) انحيازًا هيكليًا استقرائيًا.

المساهمات الرئيسية

1. الواصف الهندسي: تقديم مصفوفة قطعة المسار $M(\tau)$ كواصف كافٍ ومنخفض الرتبة يلتقط الهندسة الديناميكية المحلية مع تمكين التركيب الجبري.
2. الخصائص التأسيسية: إثبات أن $M(\tau)$ هو:
   • معرّف جيدًا حتى تغيير مقياس الإحداثيات (ثابت تحت تغييرات الإحداثيات المحاذية).
   • كامل لفئة الإشارة الجمعية المستحثة من الدرجة المنخفضة (يلتقط جميع الإحصاءات الخطية والتربيعية ذات الدرجة الأولى ذات الصلة).
   • جمعي تحت تركيب القطع الصالح.
   • كافٍ أدنى بين الواصفات الجمعية المقبولة.
   • قابل للفصل عن إمكانية الوصول إلى البيئة عبر درجات العائق.
3. نظرية MSRL: تطوير قانون قيمة مشروط بالمصفوفة يظهر أن دوال القيمة سلسة محليًا وتجمعية تقريبًا في فضاء المصفوفة، مما يبرر استخدام خرائط ($M \to V$) المدربة من المصدر لتعزيز التعلم في المهام الجديدة.
4. التحقق التجريبي: إثبات أن MSRL يحقق أداءً فائقًا في حالات التعلم القليل (few-shot) مقارنة بالتعلم المعزز القياسي وخطوط الأساس للنقل.

النتائج التجريبية

تم تقييم الطريقة على مجموعة من بيئات المصدر البسيطة (GraphMotif, MicroGrid, PointRooms, Dubins-Reacher) ومهام التحكم المعقدة في الهدف (AntMaze, Reacher/Pusher, Walker2d, Hopper, Humanoid).

• تشخيصات المصدر: نجح الواصف المصفوفي في استعادة هياكل قابلة للتفسير، بما في ذلك الزخارف الموجهة (directed motifs)، والمطابقة المحاذية للإحداثيات، والنقل المشروط بالفعل.
• أداء النقل: في مجموعة المهام المعقدة للهدف، حقق MSRL الذي تم تهيئته بفرع (مصفوفة $\to$ قيمة) مدرب مسبقًا من المصدر مساحة تحت المنحنى (AUC) معيارية للتعلم القليل بلغت 0.73. وقد تفوق هذا على:
  • MSRL المدرب من الصفر (0.65).
  • TD-MPC-PT+FT (0.63).
  • TD-MPC القياسي (0.57).
• سرعة التعلم: أظهر النهج المهيأ من المصدر سرعة أكبر في التقارب المبكر للتعلم مقارنة بخطوط الأساس، مما يشير إلى أن نقل معرفة (المصفوفة $\to$ القيمة) يقلل من تعقيد العينات في مهمة الهدف.

الأهمية والقيود

تجادل الورقة بأن MSRL توفر واجهة جبرية شفافة للتعميم التركيبي، حيث تحول إعادة استخدام المسارات إلى عمليات مصفوفية. ومن خلال تجريد الهندسة الانتقالية المحلية إلى مصفوفات PSD، تمكن الطريقة الوكلاء من تحديد وإعادة دمج المكونات الهيكلية عبر المهام دون الاعتماد على مطابقة الحالة الدقيقة أو التاريخ الزمني الكامل.

يحافظ المؤلفون على موقف متواضع تجاه عالمية الطريقة. فقد ذكروا صراحةً أن:

• تتطلب الطريقة رفعًا انتقاليًا محاذيًا (aligned transition lift) عبر إعدادات المصدر والهدف؛ فهي لا تقوم بمحاذاة البيئات المختلفة تلقائيًا.
• يحفظ الواصف فقط المعلومات الخطية التربيعية الجمعية من الدرجة المنخفضة ولا يشفر أي ترتيب زمني تعسفي يتجاوز ما هو مرئي في المتجهات المرفوعة.
• قاعدة القيمة الجمعية التقريبية هي منطق نمذجة محلي يعتمد على افتراضات النعومة، وليست هوية برمجة ديناميكية دقيقة لمجموع المصفوفات التعسفي.
• شهادة العائق دقيقة فقط بالنسبة لمجموعة الوصول الحقيقية؛ وفي الممارسة العملية، تعتمد على مرشح بديل متعلم.

على الرغم من هذه القيود، فإن هذا العمل يضع إطارًا هندسيًا صارمًا لإعادة استخدام الهياكل الانتقالية المحلية، مما يوفر حلاً متوافقًا مع الإضافات (plug-in compatible) لكل من طرق التعلم المعزز القائمة على النموذج (model-based) والخالية من النموذج (model-free) لتحسين التعميم التركيبي.