ملخص تقني: سد الفجوات بين المجالات عبر التوليد المتوافق مع الهدف للتعلم المعزز غير المتصل (Offline RL)

بيان المشكلة

يهدف التعلم المعزز غير المتصل (Offline RL) عبر المجالات (Cross-domain) إلى نقل سياسة من مجال مصدر إلى مجال هدف باستخدام مجموعات بيانات مجمعة مسبقًا فقط، دون أي تفاعل مباشر (Online). هذا الإعداد حيوي لتطبيقات مثل التحكم في الروبوتات غير المتجانسة ونقل المحاكاة إلى الواقع (Sim-to-Real)، حيث يكون جمع البيانات عبر التفاعل المباشر مكلفًا للغاية أو غير آمن.

يتمثل التحدي الرئيسي في هذا النظام في عدم التطابق التوزيعي (Distributional Mismatch) بين مجالي المصدر والهدف، لا سيية عندما تكون مجموعة بيانات الهدف محدودة للغاية ($|D_{tar}| \ll |D_{src}|$). تحاول الطرق الحالية سد هذه الفجوة عن طريق تصفية بيانات المصدر لإيجاد انتقالات "قريبة" من توزيع الهدف. ومع ذلك، يوضح المؤلفون أنه عندما تكون فجوة الديناميكيات كبيرة، فإن دمج انتقالات المصدر "الأقرب" مباشرة يمكن أن يؤدي إلى عدم تطابق توزيعي كبير، مما يقلل الأداء مقارنة بالتدريب على بيانات الهدف وحدها. وعلى العكس من ذلك، فإن الاعتماد فقط على بيانات الهدف المحدودة غالبًا ما يفشل في توفير تغطية كافية للحالة (State Coverage) اللازمة لتعلم السياسة بفعالية.

المنهجية: توسيع التغطية المتوافق مع الهدف (TCE)

لمعالجة المقايضة بين الاستفادة من بيانات المصدر وتجنب عدم التطابق التوزيعي، يقترح المؤلفون توسيع التغطية المتوافق مع الهدف (Target-Aligned Coverage Expansion - TCE). يعد TCE إطار عمل يوجه نظريًا كيفية استخدام بيانات المصدر: إما عبر الدمج المباشر للانتقالات القريبة من الهدف، أو عبر استخدام بيانات المصدر لتوسيع تغطية الحالة عبر التوليد المتوافق مع الهدف.

الأساس النظري

تستند الطريقة إلى تحليل نظري لفجوة الأداء بين نموذج ماركوف لاتخاذ القرار (MDP) للهدف وMDP مختلط (يجمع بين ديناميكيات المصدر والهدف). استنتج المؤلفون حداً (النظرية 4.1) يوضح أن فجوة الأداء محكومة بمكونين:

1. فجوة الديناميكيات (Dynamics Gap): المسافة الكلية للتباين (Total Variation Distance) بين ديناميكيات انتقال المصدر ($P_{src}$) وديناميكيات انتقال الهدف ($P_{tar}$).
2. خطأ التوليد (Generation Error): المسافة بين الانتقال التقريبي المولد للهدف ($\hat{P}_{tar}$) وديناميكيات الهدف الحقيقية.

يتحكم TCE في هذين المصدرين للخطأ من خلال ضبط معاملين:

• $\lambda_{mix}$: يتحكم في نسبة بيانات المصدر التي يتم دمجها مباشرة (يقلل خطأ التوليد ولكنه قد يزيد فجوة الديناميكيات).
• $\lambda_{cov}$: يتحكم في مدى توسيع تغطية الحالة عبر التوليد (يقلل فجوة الديناميكيات ولكنه قد يزيد خطأ التوليد).

الإطار الخوارزمي

يستخدم TCE نموذج توليد ثنائي القائم على الدرجة (Dual Score-based Generative Model) مبني على المعادلات التفاضلية العشوائية (SDEs) لتخليق انتقالات تتوافق مع ديناميكيات الهدف ولكنها تغطي مساحة حالة موسعة.

1. شبكات الدرجة المزدوجة (Dual Score Networks):

   • شبكة درجة الحالة المختلطة ($q^{mix}_\theta$): مدربة على خليط متحكم فيه من حالات الهدف وحالات المصدر التي تعد "قريبة" من الهدف (المختارة عبر معيار أقرب جار). تقوم هذه الشبكة بنمذجة توزيع الحالة الموسع.
   • شبكة درجة الانتقال للهدف ($q^{tran}_\theta$): مدربة فقط على انتقالات الهدف. وهي تولد الحالة التالية مشروطة بالحالة الحالية، مما يضمن توافق ديناميكيات الانتقال مع مجال الهدف.

2. إجراء أخذ العينات على مرحلتين:

   • المرحلة 1 (أخذ عينات الحالة): أخذ عينة لحالة $\hat{s}_t$ من توزيع الحالة المختلطة باستخدام SDE العكسي الموجه بواسطة $q^{mix}_\theta$.
   • المرحلة 2 (أخذ عينات الانتقال): توليد الحالة التالية $\hat{s}_{t+1}$ مشروطة بـ $\hat{s}_t$ باستخدام SDE العكسي الموجه بواسطة $q^{tran}_\theta$.
   • النماذج المساعدة: يُستخدم نموذج ديناميكيات عكسي (مدرب على بيانات الهدف) ونموذج مكافأة (مدرب على كلا المجالين) لاستعادة الإجراء $\hat{a}_t$ والمكافأة $\hat{r}_t$، لإكمال زوج الانتقال.

3. تعلم السياسة:
   يتم بناء مجموعة التدريب النهائية ($D_{train}$) عبر الجمع بين مجموعة بيانات الهدف ($D_{tar}$)، والانتقالات المولدة المتوافقة مع الهدف ($D^{gen}_{\lambda_{cov}}$)، واختياريًا مجموعة فرعية مصفاة من انتقالات المصدر ($D^{src}_{\lambda_{mix}}$). يتم تدريب خوارزمية RL غير متصلة (Implicit Q-Learning, IQL) على هذه المجموعة الموسعة مع حد تنظيم KL لفرض عقوبة على الانحراف عن سياسة سلوك الهدف.

المساهمات الرئيسية

• توسيع التغطية المتوافق مع الهدف (TCE): إطار عمل جديد يتجاوز مجرد تصفية بيانات المصدر. فهو يقرر صراحةً ما إذا كان سيستخدم بيانات المصدر مباشرة أو سيستفيد منها لتوليد انتقالات متوافقة مع الهدف بناءً على حجم فجوة المجال.
• التحليل النظري: تفكيك رسمي لفجوة الأداء عبر المجالات إلى عدم تطابق الديناميكيات وخطأ التوليد، مما يوفر أساسًا نظريًا للموازنة بين خلط البيانات والتوليد.
• بنية الدرجة المزدوجة: نهج توليدي ذو مرحلتين يفصل بين توسيع تغطية الحالة ونمذجة الانتقال. يمنع هذا التصميم الإفراط في التخصيص (Overfitting) لبيانات الهدف المحدودة، وهو نمط فشل شائع عند تعلم خرائط (الحالة-الإجراء-الحالة التالية) مباشرة في ظروف نقص البيانات.
• التحقق التجريبي: تجارب واسعة النطاق تثبت أن TCE يتفوق باستمرار على أفضل الطرق المتاحة (SOTA) عبر سيناريوهات متنوعة من المجالات المتعددة.

النتائج التجريبية

قيم المؤلفون TCE على مهام التحكم المستمر في MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) ومهام التحكم اليدوي الدقيق في Adroit، والتي تغطي تغيرات الشكل (Morphology)، والحركية (Kinematics)، والجاذبية.

• الأداء: حقق TCE أعلى متوسط أداء في 33 من أصل 36 مهمة تغيير الشكل في MuJoCo وتفوق على جميع الطرق المرجعية في مهام Adroit.
• القوة تجاه الفجوات الكبيرة: في السيناريوهات ذات فجوات الديناميكيات الكبيرة (مثل التغيرات الكبيرة في الشكل أو تغيرات الجاذبية الشديدة)، تفوقت نسخة TCE(OG) (التي تستخدم فقط الانتقالات المولدة، $\lambda_{mix}=0$) بشكل كبير على الطرق التي تدمج بيانات المصدر مباشرة. وهذا يؤكد أن دمج المصدر الساذج يمكن أن يكون ضارًا في ظل الفجوات الكبيرة.
• الفجوات الصغيرة: في الإعدادات الأخف (مثل تغيرات الجاذبية)، أظهرت نسخة TCE(SM) (التي تدمج بيانات المصدر، $\lambda_{mix} > 0$) أداءً متفوقًا، مما يؤكد قدرة الإطار على التكيف.
• دراسات الاستئصال (Ablation Studies):
  • معامل التغطية ($\lambda_{cov}$): يتبع الأداء منحنى مقايضة؛ حيث يؤدي توسيع التغطية بشكل مفرط إلى زيادة خطأ التوليد وتدهور الأداء. وقد وُجد أن القيمة المتوسطة (مثل 0.2) هي المثالية.
  • تصميم المرحلتين: ثبت أن التصميم المنفصل ذو المرحلتين أمر بالغ الأهمية. فقد عانت طريقة مرجعية "ذات مرحلة واحدة" (تقوم بتقدير الحالات التالية مباشرة من أزواج الحالة-الإجراء) من أخطاء أعلى بكثير وأداء أقل بسبب الإفراط في التخصيص على بيانات الهدف المحدودة.

الأهمية والادعاءات

يزعم البحث أن TCE يوفر حلاً بسيطًا وعمليًا للتعلم المعزز غير المتصل عبر المجالات، خاصة في المجالات الحرجة من حيث السلامة أو التكلفة حيث يستحيل التفاعل المباشر. من خلال تأصيل قرار خلط أو توليد البيانات نظريًا، يقلل TCE من عدم التطابق التوزيعي الذي تعاني منه الطرق الحالية.

يؤكد المؤلفون أن نهجهم ليس حلًا عالميًا لكل شيء؛ فهو يفترض مساحات مشتركة للحالة والإجراء ويعتمد على مجموعة بيانات الهدف، مهما كانت صغيرة، لتوجيه عملية التوليد. كما يقرون بالقيود في سيناريوهات عدم التطابق الشديد حيث لا يتشارك المصدر والهدف سوى القليل من الدعم (Support). ومع ذلك، تشير النتائج إلى أن التوليد المتوافق مع الهدف هو استراتيجية أكثر قوة من الدمج المباشر للبيانات عندما تكون فجوة المجال كبيرة، مما يسمة بتعلم سياسة فعالة باستخدام بيانات هدف محدودة.