ملخص تقني: أسس التعلم المعكوس للتعزيز والنماذج الاختيارية المنفصلة الديناميكية

1. تعريف المشكلة

تتناول الورقة مشكلة التعلم المعكوس للتعزيز (IRL) في الإطار غير المتصل (offline setting): بالنظر إلى مجموعة بيانات ثابتة من أزواج (الحالة-الإجراء-الحالة التالية) الناتجة عن سياسة خبير $\pi^*$، هل يمكننا استعادة دالة المكافأة $r$ التي كان الخبير يحسنها؟

تقع هذه المشكلة عند تقاطع أدبيتين متمايزتين:

1. الاقتصاد القياسي الهيكلي (الاختيار المنفصل الديناميكي - DDC): نماذج الوكلاء الذين يعظمون المنفعة بالإضافة إلى صدمات عشوائية تتبع توزيع غامبل (Gumbel).
2. تعلم الآلة (التعلم المعكوس للتعزيز القائم على تعظيم الإنتروبي): نماذج الوكلاء الذين يعظمون العائد المتوقع بالإضافة إلى حد الإنتروبي $\lambda H(\pi)$ (تعظيم الإنتروبي الأقصى).

التحدي الجوهي هو التحديد (identification): بدون بنية إضافية، لا يمكن استعادة دالة المكافأة بشكل فريد من السلوك وحده بسبب عدم الثبات القائم على الجهد (potential-based shaping invariance) (Ng et al., 1999). علاوة على ذلك، تواجه الطرق الحالية "ثلاثية" من المقايضات تشمل القابلية للتوسع، الحاجة لتقدير نواة الانتقال (transition kernel)، والاستقرار (الثالوث المميت).

2. الأسس المنهجية

2.1 التكافؤ بين DDC و MaxEnt-IRL

تثبت الورقة أولاً تكافؤاً صارماً بين المجتمعين.

• صياغة DDC: يختار الوكلاء الإجراءات لتعظيم $r(s,a) + \epsilon_{t,a}$، حيث يتبع $\epsilon$ توزيع القيمة المتطرفة من النوع الأول (Gumbel).
• صياغة MaxEnt-IRL: يعظم الوكلاء العائد المتوقع بالإضافة إلى حد الإنتروبي.
• النتيجة: تحت شرط التعيين بمتوسط صفري للصدمات الغامبل ($\delta = -\gamma_E$) وضبط معامل الإنتروبي $\lambda=1$، تؤدي كلتا الصياغتين إلى نفس سياسة الـ softmax و معادلة بيلمان الناعمة (soft Bellman equation) تماماً:
  $$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$$
  $$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$$
  يثبت هذا أن النماذج الاحتمالية لا يمكن تمييزها إحصائياً من الملاحظات غير المتصلة.

2.2 حدود التحديد

تحلل الورقة ما يمكن استعادته من السلوك وحده:

• عدم التحديد: بدون افتراضات إضافية، لا يمكن تحديد $r$ إلا بالنسبة لدالة جهد تعتمد على الحالة $\Phi(s)$. وتحديداً، فإن $r$ و $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ يستحثان نفس السياسة المثلى.
• افتراض الإجراء المرجعي (Anchor-Action Assumption) (Magnac & Thesmar, 2002): لحل هذه المشكلة، تتبنى الورقة الافتراض الاقتصادي الكلاسيكي بوجود "إجراء مرجعي" معروف $a_s$ لكل حالة $s$، بـ مكافأة معلومة $r(s, a_s) = 0$ (أو ثابت معلوم). هذا الافتراض يثبت الجهد ويسمح بالتحديد الفريد لـ $Q^*$ و $r$ على نطاق دعم الخبير.

3. مراجعة النهج الحالية ومحدودياتها

تستعرض الورقة الأساليب الكلاسيكية والحديثة، مسلطة الضوء على أوجه الفشل الخاصة بها:

3.1 أساليب DDC الكلاسيكية

• طريقة Rust's Nested Fixed-Point (NFXP): تحل معادلة بيلمان في حلقة داخلية بينما تعظم الاحتمالية في حلقة خارجية.
  • المحدودية: تعاني من لعنة الأبعاد في فضاء الحالة $S$ وتتطلب معرفة صريحة أو تقدير لنواة الانتقال $P$.
• طرق Hotz-Miller / احتمالات الاختيار الشرطية (CCP): تعكس دالة softmax لإيجاد فروق $Q$ وتحل معادلة نقطة ثابتة خطية لدالة القيمة.
  • المحدودية: تتطلب تقدير نواة الانتقال $P$ (اللعنة الإحصائية للأبعاد) وتعاني من انتشار الخطأ في المحاكاة الأمامية.
• نهج الفرق الزمني (TD) (Adusumilli & Eckardt, 2019):
  • الـ TD شبه المتدرج الخطي: يتجنب $P$ الصريح ولكنه يعاني من الثالوث المميت (التقريب الوظيفي + التنبؤ [bootstrapping] + البيانات خارج السياسة)، مما يؤدي إلى التباعد.
  • تكرار القيمة التقريبي (AVI): أكثر استقراراً ولكنه يتقارب نحو نقطة ثابتة مسقطة (projected fixed point)، والتي قد تختلف عن $Q^*$ الحقيقية إذا لم تكن دالة القيمة الحقيقية قابلة للتحقق في فئة الدوال المستخدمة.
  • ملاحظة: "الشبكات المستهدفة" (الشائعة في التعلم التعزيزي العميق) تعمل على استقرار المسار ولكنها لا تغير الوجهة؛ فهي لا تزال تتقارب نحو النقطة الثابتة المسقطة، وليس القيمة الحقيقية.

3.2 أساليب IRL الحديثة

• التعلم المعكسي للتعزيز التنافسي (AIRL): يستخدم مميزًا (discriminator) للفصل بين المكافأة وجهد التشكيل.
  • المحدودية: يحدد الميزة الناعمة $A^*(s,a) = \log \pi^*(a|s)$، وليس المكافأة مباشرة. استعادة المكافأة تتطلب افتراضات تقييدية (ديناميكيات حتمية، مكافآت تعتمد على الحالة فقط، رسوم بيانية انتقال قابلة للتحلل) والتي غالباً ما تُنتهك في الواقع.
• مطابقة الإشغال (GAIL): يقلل التباعد بين مقاييس الإشغال للخبير والسياسة.
  • المحدودية: هو خوارزمية تقليد، وليس خوارزمية استعادة مكافأة. فهو لا يفرض اتساق بيلمان النقطي، مما يجعل استخراج المكافأة مستحيلاً دون افتراضات إضافية.
• IQ-Learn: يبرمج $Q$ مباشرة ويعرف المكافأة عبر معادلة بيلمان.
  • المحدودية: الهدف ثابت تحت التحولات المعتمدة على الحالة فقط؛ فهو لا يحدد مكافأة فريدة دون معيار خارئي للتعيين (مثل الإجراء المرجعي).
• التعلم المعكسي للتعزيز غير المتصل (Zeng et al., 2023): إعادة صياغة عصبية لطريقة Hotz-Miller مع عقوبات تحفظية.
  • المحدودية: يرث الحاجة لتقدير نواة الانتقال وحلقات التحسين المتداخلة.

4. النهج المقترح: إطار عمل ERM (GLADIUS)

تقترح الورقة إطار عمل موحد لـ تقليل الخطأ التجريبي (ERM) يدمج قوة التحديد لـ DDC مع قابلية التوسع لتعلم الآلة الحديث، متجنبةً عثرات كل منهما.

4.1 الرؤية الجوهرية

بدلاً من بارامترية $r$ وحل مشكلة أمامية متداخلة، تقوم الطريقة بـ بارامترية $Q$ مباشرة. يتم ترجمة شروط التحديد إلى دالتي خسارة:

1. الاحتمال السلبي اللوغاريتمي (NLL): يفرض أن يكون الـ softmax لـ $Q$ مطابقاً لسياسة الخبير $\pi^*$. هذا يحدد الفروق داخل الحالة لـ $Q$.
2. خسارة بيلمان للمرجع (Anchor Bellman Loss): تفرض معادلة بيلمان فقط عند الإجراء المرجعي $a_s$ حيث تكون المكافأة $r(s, a_s)$ معلومة. هذا يثبت مستوى $Q$ لكل حالة.

4.2 انحياز العينات المزدوجة والتصحيح

إن خسارة بيلمان التجريبية الساذجة باستخدام أخطاء TD المربعة تكون منحازة بسبب مشكلة العينات المزدوجة (تباين الحالة التالية لا يتلاشى مع زيادة البيانات).

• التصحيح: تشتق الورقة صياغة minimax تطرح حد التباين الشرطي.
  $$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^-2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$$
  هنا، يعمل $\zeta(s,a)$ كدالة مساعدة تتعلم المتوسط الشرطي $\mathbb{E}[V_Q(s') | s, a]$. هذا التصحيح يلغي الحاجة لتقدير نواة الانتقال $P$ بشكل صريح.

4.3 الخوارزمية: GLADIUS

تقوم خوارزمية GLADIUS (التعلم القائم على التدرج للصعود-الهبوط لتعلم المنفعة من العينات) بالتناوب بين:

1. خطوة الانحدار (الصعود/الهبوط): تحديث $\zeta$ لتقليل الخطأ المربع تجاه $V_Q(s')$.
2. خطوة التحسين (الهبوط): تحديث $Q$ لتقليل NLL بالإضافة إلى بقايا بيلمان المصححة للانحياز عند الإجراء المرجعي.

4.4 ضمانات التقارب

تثبت الورقة التقارب تحت افتراضات هندسة Polyak-Lojasiewicz (PL) بدلاً من التحدب.

• الافتراضات: قابلية التحقق لـ $Q^*$ و $\zeta^*$ في فئات الدوال، وظروف جاكوبي المخرجات التجريبية (مشابهة لشروط Neural Tangent Kernel).
• النتيجة: تتقارب الخوارزمية نحو الحد الأدنى العالمي للخطأ التجريبي بمعدل $O(1/T)$ للتحسين و $O(1/\sqrt{N})$ للخطأ الإحصائي.

5. المساهمات الرئيسية والأهمية

1. التوحيد: تثبت التكافؤ الرسمي بين صياغات DDC و Max-IRL، مما يسد الفجوة بين الاقتصاد القياسي وتعلم الآلة.
2. وضوح التحديد: توضح أن الأساليب التنافسية الحديثة (AIRL) لا تحل بطبيعتها مشكلة تحديد المكافأة دون افتراضات بنيوية قوية وغالباً غير واقعية. وتؤكد على افتراض الإجراء المرجعي كمسار قوي لتحديد مكافآت الحالة-الإجراء.
3. التقدير الخالي من الانتقال: تقدم هدف minimax مصحح الانحياز يستعيد $Q^*$ و $r$ دون تقدير نواة الانتقال $P$، متجاوزةً اللعنة الإحصائية للأبعاد المتأصلة في CCP و NFXP.
4. الاستقرار: تتجنب تباعد طرق TD خارج السياسة الناتج عن "الثالوث المميت" عبر صياغة المشكلة كتقليل مباشر للخطأ التجريبي المصحح للانحياز لـ $Q$.
5. الحل الخوارزمي: تقدم GLADIUS، وهي مقدر (estimator) ذو خطوة واحدة قائم على التدرج، يتجنب حلقات التحسين المتداخلة لطرق DDC الكلاسيكية مع الحفاظ على ضمانات التقارب النظرية تحت افتراضات الإفراط في البارامترية (over-parameterization).

تخلص الورقة إلى أن نهج ERM هذا يوفر مساراً مبدئياً، قابلاً للتوسع، ومتسقاً إحصائياً لـ IRL/DDC غير المتصل، حيث يجمع بين صرامة التحديد في الاقتصاد القياسي الهيكلي والكفاءة الحسابية لتعلم التدرج الحديث.