ملخص تقني: تدفقات بلمان المقترنة بالمسار لتعلم التعزيز التوزيعي

بيان المشكلة

يهدف تعلم التعزيز التوزيعي (DRL) إلى نمذجة التوزيع الكامل للعوائد بدلاً من مجرد قيمها المتوقعة، مما يوفر تمثيلات أغنى لعدم اليقين وغالباً ما يؤدي إلى أداء تجريبي محسّن. ومع ذلك، تواجه طرق تعلم التعزيز التوزيعي الحالية قيوداً كبيرة:

• تحيز التجزئة (Discretization Bias): تعتمد الطرق ذات الدعم المحدود (الفئوية) والطرق القائمة على الكميات (Quantile-based) على خطوات إسقاط استدلالية لأن تحديث "بلمان" (Bellman update) نادراً ما يتوافق مع نقاط الدعم الثابتة أو مواقع الكميات، مما يؤدي إلى إدخال تحيز ويحد من القدرة التعبيرية للتوزيعات المتعلمة.
• تحديات مطابقة التدفق (Flow Matching Challenges): تواجه الأساليب المستمرة الحديثة التي تستخدم مطابقة التدفق (والتي تتعلم حقل سرعة لنقل العينات من توزيع سابق أساسي إلى توزيع مستهدف) مشكلتين حرجتين عند تطبيقها على تعلم التعزيز التوزيعي:
  1. عدم تطابق الحدود (Boundary Mismatch): تتطلب مطابقة التدفق القياسية أن يبدأ التوليد من توزيع سابق بسيط ثابت (مثل التوزيع الطبيعي المعياري). ومع ذلك، فإن تحديث "بلمان" غير المصحح يزيح التوزيع الابتدائي عبر المكافآت وقيم التابع المخصومة، مما ينتهك شرط حد المصدر ($t=0$).
  2. الارتسام العالي في التقدير (High-Variance Bootstrapping): عندما يتم توجيه التدفقات الحالية واللاحقة بواسطة ضوضاء مأخوذة من عينات مستقلة، فإن مساراتهما المتوسطة لا تكون متوافقة مسارياً. إن فرض اتساق "بلمان" عند نقطة النهاية فقط ($t=1$) يؤدي إلى أهداف عالية التباين لكل عينة، مما يزعزع استقرار تعلم الناقد (Critic).

المنهجية: تدفقات بلمان المقترنة بالمسار (PCBF)

يقترح المؤلفون تدفقات بلمان المقترنة بالمسار (PCBF)، وهو إطار عمل لتعلم التعزيز التوزيعي في الوقت المستمر، يعالج مشكلتي عدم تطابق الحدود والتباين من خلال آليتين أساسيتين: تصحيح مسار المصدر المتسق والاقتران بالضوضاء المشتركة.

1. تصحيح مسار بلمان المتسق مع المصدر

بدلاً من تطبيق تحديث "بلمان" مباشرة على حالات التدفق المتوسطة (الذي ينتهك التوزيع السابق عند $t=0$)، يقوم PCBF ببناء مسار تدفق مصحح:

• يبدأ من التوزيع السابق الأساسي المطلوب (مثلاً $U \sim \mathcal{N}(0, I)$) عند $t=0$.
• يصل إلى هدف "بلمان" ($R + \gamma X'$) عند $t=1$.
• يحافظ على علاقة تآلفية مسارية مع تدفق التابع في الأوقات المتوسطة.

يمكن تعريف المسار الحالي $Z^s_t$ والمسار اللاحق $Z^{s'}_t$ كالتالي:
$$Z^{s'}_t = (1-t)U + tX'$$
$$Z^s_t = (1-t)U + t(R + \gamma X')$$
ويمكن إعادة كتابة هذا التعبير لإظهار هندسة "بلمان" صراحةً:
$$Z^s_t = tR + \gamma Z^{s'}_t + (1-t)(1-\gamma)U$$
يعمل الحد المتبقي $(1-t)(1-\gamma)U$ كمرساة تضمن انطلاق كلا المسارين من نفس تحقيق الضوضاء $U$ عند $t=0$، مما يحقق شرط مصدر مطابقة التدفق وفي الوقت نفسه يحقق معادلة "بلمان" التوزيعية عند $t=1$.

2. الاقتران بالضوضاء المشتركة

يقوم PCBF بربط تدفقات العوائد الحالية واللاحقة باستخدام نفس الضوضاء الأساسية $U$. وهذا يؤدي إلى محاذاة مساراتهما المتوسطة، مما يسمح بفرض اتساق "بلمان" على طول المسار بأكل وليس عند نقطة النهاية فقط.

3. هدف المتغير المراقِب المعلم بـ $\lambda$

لمعالجة التباين العالي لأهداف "بلمان" القائمة على العينات، يقدم PCBF هدف متغير مراقب (Control Variate) مُعلم بـ $\lambda$:
$$u^\lambda_t = (R + \gamma X' - U) + \lambda \left[ v_{\theta-}(t, Z^{s'}_t | s', a') - (X' - U) \right]$$

• عندما $\lambda = 0$: يستعيد هدف "بلمان" غير المنحاز وعالي التباين القائم على العينات.
• عندما $\lambda > 0$: يقايض تحيزاً صغيراً ومتحكماً به مقابل تقليل كبير في التباين من خلال دمج تنبؤات سرعة التدفق اللاحق.
  تظهر التحليلات النظرية أنه مع اقتران الضوضاء المشتركة، يكون التحيز المستحث صغيراً (يتناسب مع $O((1-\gamma)(1-t))$)، وتكتسب الطريقة خصائص الانكماش $\gamma$ ( $\gamma$-contraction).

المساهمات الرئيسية

1. المسار المتسق مع المصدر: بناء مسار "بلمان" متداخل جديد يحل مشكلة عدم تطابق حدود $t=0$ المتأصلة في مسارات "بلمان" النقطية غير المصححة، مما يفصل المتطلبات الهندسية لمطابقة التدفق عن عشوائية "بلمان".
2. الاقتران بالضوضاء المشتركة: آلية لمحاذاة تدفقات العوائد الحالية واللاحقة باستخدام ضوضاء أساسية مشتركة، مما يستحث علاقات تآلفية مسارية بدلاً من الاعتماد فقط على مطابقة نقطة النهاية.
3. الهدف المُعلم بـ $\lambda$: هدف تدريب بمتغير مراقب مع حد تحيز $L_2$ عام وحل مغلق للحالات الغاوسية، مما يسمح بمقايضة قابلة للضبط بين التحيز والتباين.
4. الضمانات النظرية: توصيف حقل السرعة الأمثل للمجتمع، وتحليل سلوك التحيز والتباين للهدف $\lambda$، وإثبات انكماش "بلمان" للضوضاء المشتركة ($t\gamma$ انكماش للمداخل البينية).

النتائج التجريبية

قام المؤلفون بتقييم PCBF على عمليات مكافأة ماركوف (MRPs) قابلة للحل تحليلياً، وOGBench (38 مهمة)، وD4RL Adroit (8 مهام).

• الدقة التوزيعية: يستعيد PCBF بدقة توزيعات العوائد الحقيقية في عمليات MRP التجريبية (Solitaire Dice, Bernoulli, Discrete MC)، متفوقاً على "Value Flows" (وهي طريقة تدفق ذات صلة) التي تعاني من تدهور التوزيع مع زيادة تنظيم الاتساق. يتتبع PCBF بفعالية دوال التوزيع التراكمي (CDFs) الحقيقية، خاصة في السيناريوهات ذات الذيول الثقيلة أو متعددة الأنماط.
• أداء التعلم التعزيزي غير المتصل (Offline RL):
  • يحقق PCBF أداءً تنافسياً أو ريادياً في مهام OGBench، لا سيما في cube-double-play و puzzle-4x4-play حيث تعتبر الدقة التوزيعية والتقدير المتباين للارتسام أمراً بالغ الأهمية.
  • في مهام D4RL Adroit، ينافس PCBF بقوة النماذج المرجعية القوية مثل IQL و FQL.
  • تظهر الطريقة متانة تجاه خيارات المعلمات الفائقة مقارنة بـ Value Flows، التي تتدهور بشكل كبير عند زيادة معامل الاتساق الخاص بها.
• الاستقرار: يُظهر PCBF بقايا "بلمان" مسارية مصححة أصغر تحت التجزئة الخشنة مقارنة بالتجارب التي تستخدم ضوضاء مستقلة، مما يؤكد أن اقتران المسار يقلل من عدم التطاق الناتج عن التكامل العددي.

الأهمية والادعاءات

يزعم البحث أن PCBF يوفر ناقداً توزيعياً مستقراً وقائماً على التدفق لتعلم التعزيز غير المتصل، وذلك من خلال الفصل الواضح بين تصحيح مسار "بلمان" والتحكم في التباين. ومن خلال معالجة عدم التوافق الجوهري بين شروط مصدر مطابقة التدوف القياسية ومعادلة "بلمان"، يُمكّن PCBF من نمذجة التوزيعات الكاملة للعوائد دون تحيز الإسقاطات المنفصلة أو عدم استقرار الارتسام عالي التباين.

يؤكد المؤلفون أن PCBF فعال بشكل خاص في المجالات التي تؤثر فيها الدقة التوزيعية على ترتيب الأفعال، مثل البيئات ذات العوائد عالية التباين، أو ذات الذيول الثقيلة، أو متعددة الأنماط. وبينما لا يهيمن PCBF بشكل موحد على جميع النماذج المرجعية ذات القيم القياسية (خاصة في المهام التي تهيمن عليها قضايا التمثيل أو تغطية مقترحات الأفعال)، فإنه يقدم نهجاً مبدئياً للتعلم التعزيزي التوزيعي المستمر الذي يحسن استقرار التدريب ودقة التوزيع. يسهل هذا العمل تطوير وكلاء حساسين للمخاطر قادرين على العمل بأمان في البيئات غير المستقرة من خلال تحسين دقة تقدير توزيع العوائد.