ملخص تقني: التعلم التعزيزي التوزيعي متعدد المتغيرات باستخدام التباعد المقطعي (Sliced Divergences)

بيان المشكلة

يعمل التعلم التعزيزي التوزيعي (DRL) على نمذجة توزيع العائد الكامل بدلاً من مجرد توقعه، مما يوفر مزايا نظرية وتجريبية مقارنة بالتعلم المتوقع التقليدي. ومع ذلك، فإن توسيع نطاق الـ DRL ليشمل الحالات متعددة المتغيرات (حيث تكون المكافآت عبارة عن متجهات $d$-أبعاد، حيث $d > 1$) يظل تحدياً كبيراً.

تواجه النهج الحالية ثلاثة قيود رئيسية:

1. التعقيد الحسابي: تعاني المقاييس الشائعة مثل مسافة واسرتاين (Wasserstein distance) من تكاليف حسابية عالية في الأبعاد العالية (عادةً $O(n^3 \log n)$ لحلالات النقل الأمثل) ومعدلات إحصائية ضعيفة تعتمد على البعد المحيط.
2. الافتقار إلى ضمانات الانكماش: بينما تمتلك الـ DRL أحادية المتغير نتائج انكماش راسخة تحت مؤثر بيلمان، فإن الحالات متعددة المتغيرات مع الخصم المصفوفي العام (حيث معامل الخصم هو مصفوفة تعتمد على الحالة والفعل $\Gamma(s, a) \in \mathbb{R}^{d \times d}$) تفتقر إلى ضمانات انكماش صارمة. غالباً ما تفشل الطرق الحالية في الانكماش تحت ظروف الخصم متباينة الخواص (غير المنتظمة).
3. تحيز التدرج في التدريب العشوائي: تفشل العديد من التباعدات، لا سيما واسرتاين، في تحقيق خاصية التدرج العيني غير المنحاز (U) (unbiased sample gradient property) عندما يتم إنشاء هدف بيلمان من عينة واحدة من التابع اللاحق (تعلم TD القياسي). يؤدي هذا إلى تدرجات منحازة ومطابقة توزيعية دون المستوى الأمثل.

المنهجية: التعلم التعزيزي التوزيعي المقطعي (SDRL)

يقدم المؤلفون إطار عمل التعلم التعزيزي التوزيعي المقطعي (SDRL)، وهو إطار يرفع التباعدات أحادية المتغير سهلة الحساب إلى توزيعات العائد متعددة المتغيرات عبر الإسقاطات العشوائية (التقطيع/Slicing).

الآلية الجوهرية

بدلاً من حساب تباعد متعدد الأبعاد مباشرة، يقوم SDRL بإسقاط التوزيعات متعددة المتغيرات على اتجاهات عشوائية $\theta \in S^{d-1}$، وحساب تباعد أساسي $\Delta$ في بُعد واحد، ثم تجميع النتائج.

• التقطيع المنتظم (Uniform Slicing): يحسب متوسط التباعد الأساسي عبر $L$ من الاتجاهات العشوائية:
  $$S\Delta_p^p(\mu, \nu) = \int_{S^{d-1}} \Delta^p((P_\theta)_\#\mu, (P_\theta)_\#\nu) d\sigma(\theta)$$
• التقطيع الأقصى (Max-Slicing/MSDRL): يعمل على تحسين الاتجاه الأكثر تمييزاً للحصول على ضمانات انكماش أقوى للخصومات المصفوفية العامة:
  $$MS\Delta(\mu, \nu) = \sup_{\theta \in S^{d-1}} \Delta((P_\theta)_\#\mu, (P_\theta)_\#\nu)$$

يدعم إطار العمل فئة واسعة من التباعدات الأساسية، وبالتحديد واسرتاين ($W_p$)، ومسافة كرامير ($C_2$)، والتباين الأقصى للمتوسط (MMD).

المساهمات النظرية

يؤسس البحث أسساً نظرية صارمة لـ SDRL:

1. الخصائص المترية: يثبت أن كل من الرفع المنتظم والرفع الأقصى يحافظان على البديهيات المترية إذا كان التباعد الأساسي مترياً.
2. ضمانات الانكماش:
   • التقطيع المنتظم: يثبت انكماش بيلمان تحت الخصم القياسي المشترك ($\Gamma = \gamma I$) لأي تباعد أساسي يستوفي شروط عدم التمدد الترجمي، وتقلص المقياس، و $p$-تحدب الخليط.
   • التقطيع الأقصى: يقدم نتيجة انكماش مبتكرة للخصم المصفوفي الكثيف العام (التحديثات متباينة الخواص). يثبت أن التقطيع الأقصى يحقق الانكماش تحت معيار المصفوفة للخصم، وهو الإعداد الذي غالباً ما يفشل فيه التقطيع المنتظم و MMD القياسي في تحقيق الانكماش.
3. التعقيد العيني: يوضح أن التقطيع المنتظم يرث معدلات التقارب المستقلة عن البعد من التباعد الأساسي أحادي البعد، متجنباً لعنة الأبعاد. أما معدلات التقطيع الأقصى فتتدرج حدودياً مع البعد ($O(d \log n / n)$)، وهو أفضل بكثير من النقل الأمثل عالي الأبعاد الدقيق.
4. تحليل تحيز التدرج:
   • التقطيع المنتظم: يحافظ على خاصية التدرج العيني غير المنحاز (U) إذا كان التباعد الأساسي يستوفيها. وهذا يجعل كـرامير المقطعي و MMD المقطعي متوافقين مع عملية التمهيد (bootstrapping) لـ TD أحادية العينة القياسية.
   • التقطيع الأقصى: يفشل في تحقيق الخاصية (U) بسبب تحيز الاختيار الناتج عن خطوة التعظيم، حيث يعتمد الاتجاه المختار على عينة الدفعة (batch) المحددة، مما يؤدي إلى تدرجات منحازة في إعدادات TD أحادية العينة.

النتائج التجريبية

قيم المؤلفون SDRL عبر ثلاث تجارب مرجعية: سلسلة MDP جدولية، بيئة متاهة قائمة على البكسل، ومجموعة فرعية من ألعاب أتاري.

1. بيئة السلسلة (تقييم السياسة):

   • مقارنة TD أحادي العينة (التمهيد القياسي) مقابل TD شبه الدقيق (بناء الخليط الصريح).
   • النتيجة: الأهداف التي تستوفي الخاصية (U) (مثل كرامير المقطعي و MMD المقطعي) تحقق مطابقة توزيعية دقيقة في نظام العينة الواحدة. أما الأهداف التي تنتهك (U) (مثل واسرتاين المقطعي والمتغيرات ذات التقطيع الأقصى) فتتدهور بشكل كبير ما لم يتم استخدام الخليط الكامل المستهدف.
   • التقطيع الأقصى: يعمل بشكل جيد في الحالة أحادية البعد المتدهورة (حيث يتلاشى تحيز الاختيار) ولكنه يفشل في البيئات متعددة المتغيرات العامة تحت ظل TD أحادي العينة.

2. المتاهة القائمة على البكسل (تقييم السياسة):

   • تقييم دقة التوزيع باستخدام مسافة واسرتاين-2 التجريبية بين عوائد مونت كارلو وتنبؤ الناقد.
   • النتيجة: يحقق كرامير المقطعي و MMD المقطعي أداءً يضاهي نظراءهما غير المقطعين، ويتفوقان بشكل ملحوظ على واسرتاين المقطعي في نظام TD أحادي العينة، مما يؤكد أهمية الخاصية (U).

3. ألعاب أتاري (التحكم):

   • تقييم أداء التحكم على مكافآت متعددة الأبعاد مفككة.
   • النتيجة: بينما توفر الأهداف التي تستوفي (U) تقديرات توزيعية دقيقة، حقق واسرتاين-2 المقطعي بشكل مفاجئ أداء تحكم قوياً رغم ضعف المطابقة التوزيعية وتحيز التدرجات. يشير هذا إلى أنه بالنسبة للتحكم، قد يكون التقدير الدقيق لـ توقع العائد أكثر أهمية من دقة التوزيع الكامل، حتى لو كان الهدف التوزيعي منحازاً.

الأهمية والادعاءات

يدعي البحث تقديم إطار عمل مبدئي لتوسيع نطاق DRL إلى البيئات متعددة المتغيرات مع الحفاظ على القابلية الحسابية والضمانات النظرية.

• التوصية العملية: يحدد المؤلفون كرامير المقطعي كخيار افتراضي قوي للتعلم التوزيعي متعدد المتغيرات. فهو فعال حسابياً ($O(n \log n)$)، ويستوفي خاصية التدرج غير المنحاز (مما يسمح بتدريب TD القياسي)، ويوفر ضمانات الانكماش في الإعداد المتماثل القياسي.
• الرؤية النظرية: يوضح العمل المقايضات بين خيارات التباعد المختلفة. ويسلط الضوء على أنه بينما يحل التقطيع الأقصى مشكلة الانكماش للخصومات المصفوفية العامة، فإنه يدخل تحيزاً في التدرج يجعل استخدامه غير مناسب لـ TD أحادي العينة القياسي دون تعديل.
• تحديد الفجوة: يخلص البحث إلى أن وجود تباعد يكون في الوقت نفسه قابلاً للانكماش بشكل مثبت تحت الخصومات متباينة الخواص العامة (بمعنى المعيار فقط)، ويستوفي خاصية التدرج العيني غير المنحاز، ويوفر تقديراً قابلاً للحساب، يظل سؤالاً مفتوحاً.

باختصار، يوفر SDRL نهجاً قابلاً للتوسع وذا أساس نظري للتعلم التوزيعي متعدد المتغيرات، مع بروز كرامير المقطعي كأكثر الخيارات عملية لخطوط أنابيب التعلم التعزيزي القياسية.