Probabilistic Recurrent Intention Switching Model

ملخص تقني: نموذج تبديل النوايا التكراري الاحتمالي (PRISM)

بيان المشكلة
تفترض عملية التعلم العكسي للتعزيز (IRL) القياسية وجود دالة مكافأة واحدة وثابتة تقود سلوك الوكيل. ومع ذلك، فإن الوكلاء في العالم الحقيقي —سواء كانوا بيولوجيين (مثل الفئران التي تتنقل في المتاهات) أو اصطناعيين (مثل الروبوتات التي يتم التحكم فيها عن بُعد)— غالباً ما ينتقلون بين أهداف أو استراتيجيات متميزة مختلفة ضمن الحلقة الواحدة. تعاني مناهج التعلم العكسي للتعزيز متعددة النوايا الحالية من صعوبة في نمذجة هذه التحولات بفعالية:

• التعلم العكسي الديناميكي (DIRL): يفترض تغيراً مستمراً وسلساً في المكافأة، وهو ما يتعارض مع الأدلة على وجود تبديل استراتيجي منفصل، ويتطلب استدلالاً مكلفاً حاسوبياً ($T$ من حلول بلمان).
• التعلم العكسي الهرمي لـ Q (HIQL): ينمذج انتقالات النوايا كعملية ماركوف عديمة الذاكرة، مما يؤدي إلى الفشل في التقاط التحولات المعتمدة على التاريخ مثل التعب أو الشبع. كما يتوسع الاستدلال فيه بشكل سيئ ($O(nK^2)$) بسبب خوارزمية بوم-ويلش.
• SWIRL: يدمج التاريخ عبر توسيع الحالة، لكن هذا يؤدي إلى انفجار مساحة الحالة أسياً ($|S|^L$)، مما يحد من أطوال التاريخ العملية.

بناءً على ذلك، لا توجد طريقة حالية يمكنها التوسع بشكل طبيعي في البيئات الكبيرة غير الماركوفية مع استعادة نوايا منفصلة وقابلة للتفسير.

المنهجية: PRISM
يقترح المؤلفون نموذج تبديل النوايا التكراري الاحتمالي (PRISM)، وهو إطار عمل يستبدل نماذج الانتقال الثابتة وتوسيع الحالة اليدوي بشبكة عصبية تكرارية (RNN) خفيفة الوزن.

1. بنية النموذج:

   • عملية ماركوف لاتخاذ القرار ذات النوايا الخفية (HI-MDP): يتم نمذجة البيئة كعملية MDP مع مساحة نوايا خفية $Z = \{1, \dots, K\}$.
   • البوابة التكرارية: تقوم دالة معلمية $f_\theta$ (شبكة RNN، أو LSTM، أو Transformer) برسم تاريخ الملاحظات $\phi_{1:t}$ إلى توزيع احتمالي ناعم على النوايا في كل خطوة زمنية. وهذا يسمح للنموذج بالتقاط آليات تبديل معقدة تعتمد على التاريخ دون الحاجة لتوسيع الحالة صراحة.
   • مكافآت لكل نية: ترتبط كل نية $k$ بدالة مكافأة محددة $r_k$. ويُفترض أن سياسة الخبير تحت النية $k$ هي سياسة مثالية بولتزمان مشتقة من $r_k$.

2. الاستدلال والتحسين:

   • تفكيك توقع-تعظيم (EM): يثبت المؤلفون أن هدف التوقع-التعظيم (EM) لـ PRISM يتفكك تماماً إلى مشكلات فرعية مستقلة، ولا يتطلب تقريباً تباينياً.
     • خطوة التوقع (E-Step): تحسب المسؤولية البعدية $P(z_t=k | \xi, \psi, \Theta)$ لكل خطوة زمنية. ونظراً لتحلل البعدية، فإن هذه الخطوة تتوسع خطياً بمقدار $O(nK)$ لكل مسار، وهو تحسن كبير عن التكلفة $O(nK^2)$ للطرق القائمة على سلاسل ماركوف.
     • خطوة التعظيم (M-Step):
       • تحديث المكافأة: يتم تحديث كل دالة مكافأة $r_k$ بشكل مستقل عن طريق حل مشكلة "تكرار قيمة الإجراء العكسي" (IAVI) الموزونة في شكل مغلق.
       • تحديث الشبكة: يتم تحديث معاملات شبكة البوابة $\theta$ عبر الانحدار الاشتقاقي لتعظيم احتمالية النوايا المخصصة، مع تنظيم بواسطة $\ell_1$ (لتشجيع التبديل المتناثر) وKL-divergence (لتشجيع الانتقالات السلسة).

3. هدف التدريب:
   تجمع دالة الخسارة بين السلب اللوغاريتمي لاحتمالات تخصيص النوايا وعقوبات السلاسة الزمنية لمنع التبديل العشوائي مع الحفاظ على القدرة على التبديل عند الضرورة.

المساهمات الرئيسية

1. إطار عمل PRISM: منهج جديد للتعلم العكسي متعدد النوايا يستخدم شبكة تكرارية لنمذجة ديناميكيات النوايا، مما يسمح بتعلم نهاية إلى نهاية للتبديل المعتمد على التاريخ دون توسيع يدوي للحالة.
2. الضمانات النظرية: إثبات أن هدف EM يتفكك تماماً إلى مشكلات مكافأة فرعية مستقلة لكل نية، يمكن حلها في شكل مغلق عبر IAVI.
3. الكفاءة الحسابية: تحقيق خطوة E بمقدار $O(nK)$ من خلال تحليل البعدية، مما يتجنب التعقيد التربيعي لخوارزاء الأمامي-الخلفي المستخدمة في المناهج القائمة على ماركوف.
4. أول تطبيق روبوتي واسع النطاق: تطبيق التعلم العكسي متعدد النوايا على مجموعة بيانات BridgeData V2 للمناولة الروبوتية، مما يثبت قدرة الطريقة على التعميم بما يتجاوز علوم الأعصاب.
5. القابلية للتفسير: استعادة نوايا متماسكة زمنياً وقابلة للتسمية وخرائط مكافأة من تجارب غير معلمة عبر ثلاثة مجالات متميزة.

النتائج التجريبية
تم تقييم PRISM على ثلاث مجموعات بيانات متزايدة التعقيد:

1. عالم الشبكة المحبط (التحقق من عدم ماركوفية):

   • الإعداد: بيئة محكومة حيث يغير الوكيل استراتيجياته بناءً على "عداد إحباط" خفي (حالة غير ماركوفية تماماً).
   • النتيجة: حقق PRISM أعلى احتمالية لوغاريتم الاختبار وأقل فرق في القيمة المتوقعة مقارنة بـ HIQL وIAVI وMaxEnt IRL. والأهم من ذلك، نجح PRVM في تتبع الإحباط المتراكم والتبديل بين النوايا بشكل حاد، بينما فشل HIQL (عديم الذاكرة) في التقاط الطبيعة التراكمية للتبديل.

2. متاهة الفئران (بيانات بيولوجية):

   • الإعداد: بيانات واقعية لفئران مقيدة مائياً تتنقل في متاهة مكونة من 127 عقدة.
   • النتيجة: تفوق PRISM على SWIRL والنماذج المرجعية الأخرى في احتمالية اختبار اللوغاريتم. وقد استعاد ثلاث نوايا متميزة وقابلة للتفسير: البحث عن الماء، العودة للموطن، والاستكشاف. وتوافقت خرائط المكافأة المستعادة وحدود التجزئة مع الدوافع البيولوجية المعروفة والأحداث السلوكية (مثل زيارات منفذ الماء).

3. BridgeData V2 (المناولة الروبوتية):

   • الإعداد: مجموعة بيانات كبيرة لمهام المناولة الروبوتية التي يتم التحكم فيها بشرياً عبر التوجيه عن بعد، مع ملاحظات بصرية عالية الأبعاد.
   • النتيجة: بدون أي إشراف أو معرفة مسبقة بالنوايا، اكتشف PRISM أربع مراحل مناولة متماسكة زمنياً: الاقتراب/الابتعاد، الإمساك، الحمل، والخمول. حققت الطريقة احتمالية لوغاريتم محتجزة أعلى من النماذج المرجعية، مما يثبت أن تبديل النوايا المنفصل هو خاصية عامة للسلوك الموجه نحو الهدف في كل من الوكلاء البيولوجيين والاصطناعيين.

الأهمية والادعاءات
يزعم البحث أن PRISM يوفر حلاً قابلاً للتوسع ومبنياً على أسس نظرية لاستعادة الأهداف الخفية في السلوك المتسلسل. ومن خلال إثبات أن هدف EM يتفكك تماماً، يوضح المؤلفون أنه يمكن نمذجة التبديل المعقد المعتمد على التاريخ دون التضحية بالقدرة الحسابية لاستعادة المكافأة في شكل مغلق.

تكمن الأهمية في إثبات أن:

• تبديل الأهداف المنفصلة منتشر في كل من الوكلاء البيولوجيين والاصطناعيين.
• يمكن تعلم التبديل المعتمد على التاريخ (الديناميكيات غير الماركوفية) من النهاية إلى النهاية دون هندسة ميزات يدوية أو توسيع الحالة.
• توفر خرائط المكافأة المستعادة عدسة مهيكلة وقابلة للتفسير لفهم الأهداف الخفية وراء التجارب المعقدة، متجاوزة مجرد تقليد السياسة إلى فهم لماذا يتصرف الوكيل في لحظات معينة.

يقر المؤلفون بالقيود، بما في ذلك الاعتماد الحالي على نماذج MDP المنفصلة (التي تتطلب التجزئة للبيانات المرئية) والتشغيل غير المتصل (offline). ويقترحون أن العمل المستقبلي يمكن أن يستكشف التوسعات الخالية من النموذج (استبدال IAVI بالتعلم العكسي لـ Q الخالي من النموذج) والتوسعات المتصلة (online) للمراقبة الآنية للنوايا.