MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings

ملخص تقني: MATE – حل عمليات ماركوف لاتخاذ القرار السياقية باستخدام ذاكرة تضمينات الانتقال المتراكمة

1. بيان المشكلة

تتناول الورقة البحثية تحدي حل عمليات ماركوف لاتخاذ القرار السياقية (CMDPs)، وهي فئة من عمليات ماركوف لاتخاذ القرار (MDPs) التي يتم تحديد معالمها بواسطة سياق كامن $c$ غير ملاحظ. في هذه الإعدادات، تعتمد نواة الانتقال $P_c$ ودالة المكافأة على $c$، وهو أمر لا يمكن للوكيل ملاحظته بشكل مباشر. وللتصرف بشكل أمثل، يجب على الوكيل استنتاج التوزيع البعدي (posterior belief) للسياق، $p(c|x_{1:t})$، بناءً على تاريخ تفاعله $x_{1:t} = (s_0, a_0, r_0, \dots, s_t)$.

تفشل السياسات القياسية المعتمدة على الحالة في عمليات CMDP لأنها لا تستطيع التكيف مع السياق الكامن. وبينما يوفر التعلم المعزز (RL) القائم على الذاكرة حلاً عبر ترميز التاريخ في حالة ذاكرة كامنة، تواجه البنى الهيكلية الحالية مقايضات كبيرة:

• الشبكات العصبية المتكررة (RNNs): تعاني من عدم استقرار التدرج عبر الآفاق الزمنية الطويلة وتمنع التوازي الزمني أثناء تحديثات التدريب.
• المحولات (Transformers): تتفوق في الذاكرة طويلة المدى، لكنها تتكبد تكاليف حوسبة تربيعية ($O(T^2)$) بالنسبة لطول التسلسل أثناء كل من تحديثات التدريب وعمليات تمرير المسار (rollouts)، مما يستلفي غالباً نوافذ سياقية محدودة.

علاوة على ذلك، فإن نماذج التسلسل القياسية (مثل المحولات السببية) حساسة للترتيب، في حين أن التوزيع البعدي الأمثل في عمليات CMDP هو ثابت الترتيب (permutation invariant) نظرياً بالنسبة لترتيب الانتقالات.

2. المنهجية: بنية MATE

يقترح المؤلفون MATE (ذاكرة تضمينات الانتقال المتراكمة)، وهي بنية ذاكرة مصممة لاستغلال ثبات الترتيب في التوزيع البعدي للسياق مع تجنب العيوب الحوسبية والتحسينية للشبكات العصبية المتكررة والمحولات.

الآلية الجوهرية:
تمثل MATE حالة الذاكرة $m_t$ كعملية تجميع بسيطة عن طريق الجمع لتضمينات الانتقال:
$$m_t = \sum_{i=1}^{t} E_\psi(x_i)$$
حيث $E_\psi$ هو مشفر انتقال (على سبيل المثال، شبكة عصبية) يقوم برسم كل انتقال $x_i$ إلى متجه تضمين.

الميزات التصميمية الرئيسية:

• ثبات الترتيب (Permutation Invariance): من خلال التصميم، عملية الجمع هي عملية إبدالية. وهذا يتوافق مع الخاصية النظرية بأن التوزيع البعدي $p(c|x_{1:t})$ ثابت بالنسبة لترتيب الانتقالات (المستمد من قاعدة بايز والاستقلال الشرطي للانتقالات بمعلومية $c$).
• الكفاءة الحوسبية:
  • التمرير (Rollout): تحافظ MATE على تكلفة استدلال ثابتة لكل خطوة ($O(1)$) عبر قاعدة التحديث $m_{t+1} = m_t + E_\psi(x_{t+1})$، مما يطابق كفاءة الشبكات العصبية المتكررة.
  • التدريب: على عكس الشبكات العصبية المتكررة، تدعم MATE التوازي الزمني عبر بُعد التسلسل أثناء خطوة التحديث، بشكل مشابه للمحولات، ولكن بتعقيد حوسبي خطي ($O(T)$) بدلاً من التربيعي.
• التطبيع الكروي الفائق (Hyperspherical Normalization): لمنع نمو معيار الذاكرة المتراكمة بشكل غير محدود (مما يسبب انزياحاً في التباين الداخلي)، قدم المؤلفون تقنية تطبيع. حيث يتم إسقاط الذاكرة على كرة فائقة: $\hat{m}_t = (m_t + \Psi) / \|m_t + \Psi\|$، حيث $\Psi$ هو متجه إزاحة قابل للتدريب يمنع فقدان المعلومات أثناء التطبيع.

3. المساهمات الرئيسية

1. القدرة التعبيرية النظرية: تقدم الورقة برهاناً نظرياً (الافتراض 3.1) مفاده أن بنية الذاكرة التي تستخدم تجميع الجمع لتضمينات الانتقال هي كافية بشكل مثبت لتمثيل السياسة المثلى في عمليات CMDP. وتحديداً، توضح أنه مع بُعد تضمين كافٍ ($m = 2nT + 1$)، يمكن لمشفر MLP بسيط مكون من طبقة واحدة مدمج مع عملية الجمع أن يرسم خريطة حقية (injective map) من مجموعة الانتقالات إلى حالة الذاكرة، مما يحافظ على المعلومات المطلوبة للسياسة المثلى.
2. الابتكار الهيكلي: تستبدل MATE آليات الانتباه المعقدة والاتصالات المتكررة بتجميع الجمع البسيط. وهي أول وكيل RL قائم على الذاكرة "الصندوق الأسود" يستفيد بالكامل من ثبات الترتيب في التوزيع البعدي لعمليات CMDP دون الحاجة لأهداف استنتاج مساعدة.
3. التحقق التجريبي: تُظهر التجارب المكثفة أن MATE تحقق أداءً يضاهي أو يتفوق على النماذج المرجعية القياسية مثل RNN (LSTM) والمحولات (GPT-2) عبر معايير متنوعة.

4. النتائج التجريبية

قيم المؤلفون MATE على ثلاثة معايير: MuJoCo، وMeta-World، وT-Maze.

• MuJoCo (التكيف مع الديناميكيات/المكافآت): قدمت MATE أداءً مماثلاً للنماذج المرجعية المتنوعة القائمة على الذاكرة (LSTM، ومتغيرات المحولات) في المهام التي تتضمن تغيرات في المكافآت (Ant-Dir, Cheetah-Vel) وتغيرات في ديناميكيات النظام (Walker-Param, Hopper-Param).
• Meta-World (التكيف متعدد المهام): تفوقت MATE باستمرار على نماذج RNN وTransformer، محققة عوائد أعلى وكفاءة أفضل في أخذ العينات رغم بنيتها الخفيفة.
• T-Maze (الذاكرة طويلة المدى وتخصيص الائتمان):
  • في الإعداد السلبي (Passive): حققت MATE وGPT-2 عوائد مثالية عبر جميع أطوال السياق، بينما تدهور أداء LSTM مع زيادة طول التسلسل.
  • في الإعداد النشط (Active) (الذي يتطلب الاستكشاف لإيجاد السياق): حافظت MATE على أداء ثابت عبر أطوال الممرات المتغيرة (حتى 600 خطوة)، بينما أظهر GPT-2 عوائد أقل، وانخفض أداء LSTM عند الأطوال الطويلة.
• التكلفة الحوسبية: كما هو ملخص في تحليل التعقيد في الورقة، تحقق MATE تكاليف تمرير وتحديث قدرها $O(T)$ مع تحديثات قابلة للتوازي، على عكس تكلفة التحديث $O(T^2)$ للمحولات والتحديثات غير القابلة للتوازي في الشبكات العصبية المتكررة.

5. الأهمية والادعاءات

تدعي الورقة أن MATE توفر بديلاً فعالاً حوسبياً ومبنياً على أسس نظرية لبنى الذاكرة الموجودة لعمليات CMDP. وتكمن أهميتها في:

• الربط بين النظرية والتطبيق: فهي تثبت أن التحيز الاستقرائي لثبات الترتيم، والذي غالباً ما يتم تجاهله لصالح نماذج التسلسل الحساسة للترتيب، ليس كافياً لتحقيق الأمثلية فحسب، بل هو أيضاً ميزة حوسبية.
• الكفاءة: تعالج المقايضة بين استقرار التدرج/التوازي في المحولات وبين كفاءة الخطوة الثابتة في الشبكات العصبية المتكررة.
• البساة: توضح أن آليات الانتباه المعقدة ليست ضرورية بالضرورة لاستنتاج السياق الفعال في عمليات CMDP إذا كانت البنية متوافقة مع التماثلات المتأصلة في المشكلة.

يخلص المؤلفون إلى أن MATE تحدد بفعالية المعلومات السياقية ذات الصلة أثناء التمرير، ويقترحون عملاً مستقبلياً في دمج هذه البنية مع أطر التعلم المعزز العميقة وذاتية الإشراف لتعزيز القدرة على التوسع.