ملخص تقني: ISEP – التوسع الضمني للدعم في التعلم المعزز غير المتصل (Offline Reinforcement Learning)

1. بيان المشكلة

يهدف التعلم المعزز غير المتصل (Offline RL) إلى تعلم سياسات فعالة من مجموعات بيانات ثابتة دون تفاعل مباشر، وهي قدرة بالغة الأهمية في المجالات عالية المخاطر مثل الروبوتات والرعاية الصحية. ويتمثل التحدي الجوهري في هذا السياق في التوتر بين المحافظة (البقاء ضمن نطاق دعم البيانات لضمان تقدير صحيح للقيمة) والتفاؤل (التعميم خارج حدود البيانات دون المستوى لاكتشاف سلوكيات محسنة).

تعتمد الطرق الحالية عادةً على فرض قيود صارمة على الدعم: عبر حصر التحديثات في الانتقالات الموجودة داخل العينة، أو تقييد الأفعال ضمن دعم سياسة السلوك، أو معاقبة قيم الناقد (Critic) المبالغ في تقديرها. وبينما تضمن هذه القيود السلامة، إلا أنها غالبًا ما تقمع السلوكيات ذات المكافآت العالية التي تُمثل بشكل ضئيل في مجموعة البيانات. هذا "التحيز للكثافة" (Density Bias) يمنع اكتشاف السياسات المثلى، لا سيما عندما يفتقر المسار الأمثل لكثافة كافية من البيانات. علاوة على ذلك، فإن الاستيفاء الحتمي (Deterministic Interpolation) القياسي بين البيانات المحافظة والمقترحات المتفائلة يؤدي غالبًا إلى انهيار النمط (Mode Collapse)، حيث تقوم السياسة بمتوسط أفعال صالحة متباينة لتنتج فعلًا غير صالح يقع خارج نطاق البيانات (Off-manifold).

2. المنهجية

يقترح المؤلفون إطار عمل ISEP (التوسع الضمني للدعم عبر تحسين السياسة العشوائية)، وهو مصمم للتوسع بأمان خارج مجموعات البيانات الثابتة. يعمل ISEP من خلال ثلاثة ابتكارات مترابطة:

2.1 تقدير القيمة المستوفى (التوسع الضمني للدعم)

بدلاً من معاملة توزيع مجموعة البيانات كحدود جامدة، يقوم ISEP بتوسيع الدعم الصالح لدالة القيمة ضمنيًا ليشمل الأفعال ذات القيمة العالية التي تعد صالحة ولكنها ممثلة بشكل ضئيل. ويتحقق ذلك عبر دالة هدف هجينة لشبكة القيمة $V_\psi$:

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• الحد الأول: يثبت تقديرات القيمة عند الانتقالات الحقيقية باستخدام خسارة الـ expectile غير المتماثلة (نهج IQL القياسي).
• الحد الثاني: يدفع عملية التوسع عبر استعلام دالة Q عن الأفعال المستخرجة من السياسة الحالية $\hat{a} \sim \pi_\phi$.
• المعلمة $p$: هي مقدار قياسي يمكن التحكم فيه يحكم التوازن بين السلامة (داخل التوزيع) والاستكشاف (المولد بواسطة السياسة). تعمل هذه الآلية على "تكثيف" مناطق المكافأة العالية، مما يخلق مسارًا قابلًا للملاحة لتحسين السياسة.

2.2 اختيار الفعل العشوائي

لمعالجة الطبيعة متعددة الأنماط للهدف الناتج، يستخدم ISEP استراتيجية اختيار الفعل العشوائي. إن الاستيفاء الحتمي القياسي (متوسط التدرجات) يجبر السياسة على التوجه نحو المتوسط الحسابي لفعل محافظ وفعل متفائل، مما ينتج غالبًا فعلًا "خارج النطاق" ذو قيمة منخفضة.

يتجنب ISEP ذلك عبر التبديل العشوائي بين الأهداف في كل خطوة تحديث باستخدام بوابة بيرنولي $B \sim \text{Bernoulli}(p)$:

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

يضمن هذا دفع السياسة نحو أنماط متميزة وصالحة (إما عينة البيانات المحافظة أو المقترح المتفائل) بدلاً من الانهيار في وادٍ منخفض القيمة بينهما.

2.3 التطبيق: ISEP-FM

نظرًا لأن الاستراتيجية العشوائية تتطلب سياسة قادرة على تمثيل توزيعات معقدة ومتعددة الأنماط، قام المؤلفون بتطبيق الإطار باستخدام مطابقة التدفق الشرطية (Conditional Flow Matching - CFM) مع التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG).

• يتم ضبط نموذج التدفق بناءً على رمز الأمثلية $o \in \{\emptyset, 1\}$.
• عند الاستدلال، يتم توليد الأفعال عبر دمج حقل السرعة مع مقياس توجيه $w$، مما يسمح بالتحكم الديناميكي بين توزيع السلوك الأساسي وحالة الأمثلية ذات القيمة العالية.

3. الضمانات النظرية

يقدم البحث تحليلًا نظريًا يثبت أن ISEP يضمن خطأ قيمة محدودًا. وتحت افتراضات أحجام العينات المحدودة (فجوة الـ Expectile) وعدم مثالية مجموعة البيانات، يثبت المؤلفون أنه إذا استوفت معلمة الاستيفاء $p$ حدًا معينًا مشتقًا من خصائص مجموعة البيانات:

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

فإن دالة القيمة المتعلمة $\hat{V}(s)$ ستظل محصورة من الأعلى بقيمة الحالة المثلى $V^*(s)$ باحتمالية لا تقل عن $\eta$ (التي تحكمها جودة مجموعة البيانات). وهذا يجعل $p$ آلية سلامة صارمة تمنع التباعد الكارثي مع تمكين التوسع المدروس.

4. النتائج التجريبية

قيم المؤلفون ISEP ومتغير مطابقة التدفق الخاص به (ISEP-FM) على معيار D4RL، والذي يشمل مهام Gym-MuJoCo للحركة، والتحكم في اليد الروبوتية Adroit، والتعامل مع الأشياء المتسلسل في بيئة Kitchen.

• الأداء: حقق ISEP-FM نتائج رائدة (SOTA) عبر بيئات متعددة. على سبيل المثال، في hopper-med-rep، حقق درجة معيارية بلغت 104.5، متفوقًا على النماذج القوية مثل QIPO (101.2) و IDQL (82.4). وفي halfcheetah-med، سجل 59.9، متجاوزًا أفضل نتيجة سابقة وهي 54.1.
• دراسات الاستئصال (Ablation Studies):
  • المعلمة $p$: حققت القيم المتوسطة ($p \in \{0.3, 0.5\}$) أعلى الدرجات باستمرار. أدت القيم المفرطة ($p \geq 0.9$) إلى تباعد كارثي، مما يؤكد الحاجة إلى نهج "المنطقة الوسطى".
  • العشوائي مقابل الحتمي: أدى استبدال الاختيار العشوائي بالاستيفاء الحتمي إلى انخفاض كبير في الأداء، مما يثبت أن المتوسط الحسابي البسيط يفشل في فضاءات الأفعال غير المحدبة.
  • توسيع الدعم: أكدت تصورات (t-SNE) أن ISEP نجح في توسيع دعم الأفعال إلى مناطق عالية المكافأة ولكنها ضئيلة التمثيل، وهي المناطق التي تفشل طرق الدخول في التوزيع الصارمة (مثل IQL عند $p=0$) في الوصول إليها بسبب التحيز للكثافة.

5. الأهمية والادعاءات

يدعي البحث أن ISEP يعالج القصور الحرج في طرق التعلم المعزز غير المتصل التي تعامل توزيعات البيانات كحدود جامدة. من خلال التوسع الضمني لدعم الأفعال الممكنة عبر دالة قيمة مستوفاة بين بيانات التوزيع الأصلي وعينات السياسة، يقوم ISEC بـ "تكثيف" مناطق المكافأة العالية دون الحاجة إلى قيود صريحة أو عمليات معقدة من مرحلتين.

تكمن أهمية هذا العمل في قدرته على:

1. سد الفجوة بين السلامة والتفاؤل، مما يسمح للوكلاء باكتشاف أفعال متفوقة في المناطق ضئيلة التمثيل في فضاء الحالة والفعل.
2. منع انهيار النمط في الفضاءات غير المحدبة من خلال استراتيجية اختيار أفعال عشوائية مبتكرة، وهي ضرورية لتعلم السياسات متعددة الأنماط.
3. تقديم ضمانات سلامة نظرية، تظهر أن تقديرات القيمة تظل محدودة حتى عند استكشاف أفعال خارج التوزيع، بشرًا بشرط ضبط معلمة الاستيفاء وفقًا لجودة مجموعة البيانات.

يخلص المؤلفون إلى أن الجمع بين توسيع الدعم وقدرة النماذج التوليدية الحديثة (مطابقة التدفق) يمكّن وكلاء التعلم المعزز غير المتصل من اكتشاف سلوكيات متفوقة بفعالية دون التضحية بالسلامة.