ملخص تقني: سياسات المسارات التوليدية في التعلم المعزز غير المتصل (Offline Reinforcement Learning)

بيان المشكلة

يواجه التعلم المعزز غير المتصل (Offline RL) تحديًا جوهريًا: تعلم سياسة من مجموعة بيانات ثابتة تم جمعها مسبقًا دون تفاعل إضافي مع البيئة. تتطلب هذه الحالة من السياسة أن تعمم من تجارب محدودة، وغالبًا ما تكون ضيقة، إلى عالم غير متوقع. وتتمثل إحدى العقبات الحرجة في هذا المجال في المقايضة بين قدرة السياسة التعبيرية (policy expressiveness) والكفاءة الحسابية (computational efficiency).

تعتمد طرق التعلم المعزز غير المتصل التقليدية غالبًا على مقربات دالة بسيطة (مثل توزيعات غاوس)، والتي تكافح لالتقاط السلوكيات المعقدة ومتعددة الأنماط الموجودة في بيانات العالم الحقيقي. وفي المقابل، تقدم النهج التوليدية الحديثة، مثل سياسات الانتشار (Diffusion Policies)، قدرة تعبيرية عالية عبر نمذجة توزيعات الأفعال المعقدة، لكنها تعاني من عمليات أخذ عينات تكرارية بطيئة تفرض عبئًا حسابيًا كبيرًا. وللتخفيف من ذلك، تم تقديم سياسات الاتساق (Consistency Policies) لتسريع الاستدلال (غالبًا إلى خطوة أو خطوتين)، إلا أن هذا التبسيط يؤدي كثيرًا إلى تدهور أداء السياسة. السؤال البحثي المركزي الذي تعالجه هذه الورقة هو: هل من الممكن تصميم فئة من السياسات تحقق كلاً من القدرة التعبيرية العالية والكفاءة الحسابية؟

المنهجية

1. إطار عمل المعادلات التفاضلية العادية الموحد (Unified ODE Framework)

يقترح المؤلفون منظورًا توحيديًا ينظر إلى النماذج التوليدية الحديثة — بما في ذلك نماذج الانتشار (Diffusion Models)، ومطابقة التدفق (Flow Matching)، ونماذج الاتساق (Consistency Models - CMs)، ونماذج مسارات الاتساق (Consistency Trajectory Models - CTMs) — كحالات محددة لتعلم مسار توليدي مستمر الزمان محكوم بـ معادلة تفاضلية عادية (ODE).

تُوصف العملية العكسية بواسطة المعادلة التفاضلية العادية:
$$\frac{dx_t}{dt} = f(x_t, t)$$
حيث تُعرف $f(x, t)$ مسارًا حتميًا من توزيع الضجيج $x_T$ إلى عينة البيانات $x_0$. يقدم المؤلفون خريطة التدفق (Flow Map) $\Phi(x_t, t, s)$، والتي تربط الحالة عند الزمن $t$ بالحالة عند الزمن $s$. ويجادلون بأن النماذج الحالية ليست سوى تقريبات لجوانب محددة من خريطة التدفق هذه.

لتعلم هذه الخريطة، حددوا هدفين تدريبيين متكاملين:

1. فقدان التدفق اللحظي (Instantaneous Flow Loss - المرساة المحلية): يفرض الصحة للخطوات المتناهية الصغر من خلال مطابقة الخريطة المتعلمة مع المجال المتجه (أو المُنقي/denoiser) عند الحد $s \to t$. وهذا يوحد عملية إزالة الضجيج بأسلوب الانتشار وتقدير السرعة في مطابقة التدفق.
2. فقدان اتساق المسار (Trajectory Consistency Loss - المنظم العالمي): يفرض الاتساق الذاتي عبر قفزات طويلة متعددة الخطوات، مما يضمن أن تركيب الخطوات المتوسطة يساوي القفزة المباشرة.

2. سياسات المسارات التوليدية (Generative Trajectory Policies - GTP)

بناءً على هذا الإطار، تقدم الورقة سياسات المسارات التوليدية (GTPs)، وهي نموذج سياسة جديد يتعلم خريطة الحل الكاملة لـ ODE الأساسية. وخلافًا للطرق المقتصرة على أخذ العينات البطيء وعالي الدقة أو الاختصارات السريعة منخفضة الدقة، تتيح GTPs توليدًا حتميًا مرنًا متعدد الخطوات.

3. التكييفات العملية للتعلم المعزز غير المتصل

يتطلب ترجمة نموذج GTP إلى خوارزمية وظيفية للتعلم المعزز غير المتصل معالجة ثلاثة تحديات محددة: التكلفة الحسابية الباهظة، عدم استقرار التدريب، واختلاف الأهداف. قدم المؤلفون تكييفين رئيسيين يستندان إلى أسس نظرية:

• تقريب الدرجة (Stable Score Approximation):

  • التحدي: يتطلب تعلم مسار ODE عادةً حل الـ ODE عدديًا بشكل عكسي باستخدام حلّال (solver) داخل الحلقة لكل عينة، وهو أمر غير قابل للتطبيق حسابيًا وغير مستقر بسبب انتشار الخطأ من التقديرات غير الدقيقة في المراحل المبكرة.
  • الحل: استبدل المؤلفون المجال المتجه المتعلم ببديل مغلق الصيغة مرتبط بعينة بيانات الـ offline: $\tilde{f}(x_t, t) = (x_t - x)/t$.
  • الضمان النظري: يثبت النظرية 4.1 أن استخدام هذا البديل يغير هدف التدريب بمقدار $O(h^p)$ فقط (حيث $h$ هو حجم الخطوة)، مما يجعل الهدف العملي مكافئًا تقاربيًا للهدف المثالي. وهذا يلغي الحاجة إلى التكامل المتكرر والمكلف لـ ODE أثناء التدريب مع ضمان الاستقرار.

• التوجيه المدفوع بالقيمة (Value-Driven Guidance):

  • التحدي: أهداف التوليد القياسية تطابق توزيع البيانات (تقليد السلوك - Behavior Cloning)، وهو ما لا يؤدي بطبيعته إلى تحسين السياسة.
  • الحل: صاغ المؤلفون هدف تدريب مرجح بالقيمة. من خلال اشتقاق الحل الأمثل لمشكلة تحسين السياسة المنظمة بـ KL، أظهروا أن تدريب سياسة توليدية لتطابق السياسة المثلى يكافئ حل هدف توليدي مرجح حيث الأوزان هي دالة الميزة (advantage function) الأسية: $w(s, a) \propto \exp(\eta A(s, a))$.
  • التنفيذ: لضمان الاستقرار، يتم تطبيع أوزان الميزة واقتطاع القيم السالبة. يسمح هذا للسياسة بمحاكاة الأفعال ذات الميزة العالية بشكل تفضيلي مع البقاء مرتبطة بدعم البيانات (data support).

المساهمات الرئيسية

1. سياسات المسارات التوليدية (GTP): نموذج سياسة جديد عالي التعبير مشتق من إطار عمل موحد يربط النماذج التوليدية الحديثة بمسارات ODE مستمرة الزمان.
2. التكييفات النظرية: تكييفان رئيسيان للتعلم المعزز غير المتصل العملي:
   • تقنية تقريب الدرجة (score approximation) التي توفر ضمانات نظرية للكفاءة والاستقرار، مما يلغي الحاجة إلى الحلّالات التكرارية أثناء التدريب.
   • إطار عمل تبايني (variational framework) لتحسين السياسة المدفوع بالقيمة، والذي يسد الفجوة بين تعلم التقليد وتحسين السياسة.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت أن GTP يحقق أداءً رائدًا (state-of-the-art) في اختبارات D4RL، متفوقًا على الطرق التوليدية والتعلم المعزز غير المتصل السابقة.

النتائج التجريبية

قيم المؤلفون GTP على اختبار D4RL، والذي يغطي مجالات Gym (الحركة - locomotion) و AntMaze (المكافأة المتفرقة، والمدى الطويل - long-horizon).

• أداء تقليد السلوك (BC): كمتعلم تقليد نقي (بدون توجيه القيمة)، حقق GTP-BC نتائج رائدة في 11 من أصل 15 مهمة. ومن الجدير بالذكر أنه تفوق بشكل كبير على Diffusion-BC و Consistency-BC، خاصة في مجموعة AntMaze الصعبة (متوسط درجة 66.3 مقابل 44.1 لأفضل نتيجة تالية).
• تحسين السياسة: حققت خوارزمية GTP (المكونة من ممثل ومقيم - actor-critic) أرقامًا قياسية جديدة للسياسات التوليدية.
  • في مهام Gym، حقق GTP متوسط عائد قدره 89.0، متجاوزًا أفضل نتيجة سابقة (Diffusion-QL بنسبة 87.9).
  • في مهام AntMaze، حقق GTP متوسطًا قدره 80.6، متفوقًا بشكل ملحوظ على Diffusion-QL (69.6) و QGPO (78.3).
  • إنجاز بارز: حقق GTP درجة مثالية قدرها 100.0 في مهمة antmaze-umaze شديدة الصعوبة.
• الكفاءة: أكدت دراسات الاستئصال (Ablation studies) أن GTP لا يعتمد على مسارات ODE طويلة لتحقيق الأداء؛ حيث حافظ تقليل أفق أخذ العينات من 5 إلى خطوتين على الأداء العالي مع تقليل زمن الاستدلال بشكل كبير.

الأهمية والادعاءات

تدعي الورقة أن GTP ينجح في سد الفجوة بين القدرة التعبيرية والكفاءة في التعلم المعزز غير المتصل. من خلال النظر إلى السياسات التوليدية من خلال عدسة إطار عمل ODE موحد وتعلم خريطة الحل الكاملة، يتجنب GTP الاختناقات الحسابية لنماذج الانتشار التكرارية وتدهور الأداء في نماذج الاتساق المبسطة.

يؤكد المؤلفون أن نهجهم يوفر أساسًا مبدئيًا لتصميم السياسات التوليدية. إن تقديم تقريب الدرجة والتوجيه المدفوع بالقيمة يجعل هذا الإطار الغني نظريًا قابلاً للتطبيق عمليًا في التعلم المعزز غير المتصل. تشير النتائج إلى أن تعلم مسار الزمن المستمر الكامل يوفر انحيازًا استقرائيًا (inductive bias) قويًا لالتقاط السلوكيات المعقدة والممتدة زمنيًا، خاصة في البيئات ذات المكافآت المتفرقة والمدى الطويل حيث تعاني الطرق الأخرى.

تخلص الورقة إلى أنه بينما يكون الاستدلال سريعًا، فإن تقليل وقت التدريب الطويل لهذه الفئة من النماذج يظل مسارًا مهمًا للبحث المستقبلي. يفتح هذا العمل اتجاهًا واعدًا لتسخير الديناميكيات المستمرة في التعلم المعزز، مما يوفر توازنًا بين المتانة والأداء لم يكن من الممكن تحقيقه سابقًا.