ملخص تقني: سياسة واحدة عميقة مشروطة بالتفضيلات لتعلم مجموعات تغطية باريتو

بيان المشكلة

يهدف التعلم المعزز متعدد الأهداف (MORL) إلى تحسين عدة إشارات مكافأة، والتي غالبًا ما تكون متنافسة. الكائن المركزي في MORL ليس سياسة مثلى واحدة بل مجموعة من المقايضات المثلى لباريتو (جبهة باريتو). هناك توجه بارز يتضمن التعلم المشروط بالتفضيلات، حيث يقوم نموذج عميق واحد بإنتاج سياسات متنوعة بناءً على متجه تفضيل $\omega$ يحدده المستخدم.

ومع ذلك، تواجه النهج الحالية "توتراً خطياً-غير خطي":

1. التسكير الخطي (Linear Scalarization): الطرق التي تستهدف مجموعة التغطية المحدبة (CCS) تعتمد غالباً على مجموع أوزان خطي. ورغم أنها واضحة رياضياً، إلا أنها لا تستطيع سوى استعادة الحلول الرأسية لجبهة باريتو. بالنسبة لتفضيل ثابت، قد يكون متجه الأهداف الأمثل غير فريد (على سبيل المثال، وجه داعم كامل)، مما يؤدي إلى أهداف غامضة وانتقالات سياسة متقطعة عند تغير التفضيلات. علاوة على ذلك، فإنها تجد صعوبة في توفير تغطية كثيفة للمقايضات غير الرأسية.
2. التسكير غير الخطي (Nonlinear Scalarization): النهج التي تستهدف مجموعة تغطية باريتو (PCS) يمكنها الوصول إلى الحلول غير الرأسية، ولكنها غالباً ما تتطلب صياغات معقدة للمشكلة، أو تنظيمًا قويًا، أو استدلالات قد تبتعد عن جبهة باريتو الحقيقية. بالإضافة إلى ذلك، تظل مسألة فرادة واستمرارية الخرائط من التفضيل إلى الحل غير واضحة تحت التسكيرات غير الخطية العامة، مما يجعل "مسح التفضيلات" المستقر أمراً صعباً.

تعالج هذه الورقة تحدي تعلم سياسة عميقة واحدة توفر تغطية كثيفة، ومستقرة، ومستمرة لجبهة باريتو تحت التسكير غير الخطي، وتحديداً ضمن سياق عمليات ماركوف لاتخاذ القرار متعددة الأهداف (MOMDPs) الجدولية قبل التوسع إلى الإعدادات العميقة.

المنهجية

1. الأساس النظري: تسكير تيشيتشيف السلس (STCH)

اعتمد المؤلفون دالة المنفعة Smooth Tchebycheff (STCH) كمنفعة سلسة للتسكير. وخلافاً لمعيار تيشيتشيف غير السلس، يستخدم STCH تقريب log-sum-exp يتم التحكم فيه بواسطة معلمة التنعيم $\tau$.

• الفرادة والأمثلية: بالنسبة لـ MOMDP ذي خصائص خصم (discounted) مع فضاء حالة/إجراء محدود، فإن مجموعة الأهداف القابلة للتحقيق $\mathcal{J}$ هي متعدد أضلاع محدب. يثبت المؤلفون أنه لأي متجه تفضيل موجب تماماً $\omega$، فإن متجه الأهداف الأمثل $J_\omega$ المستحث بواسطة STCH هو فريد وأمثل لباريتو.
• الاستمرارية ليبشيتز (Lipschitz Continuity): من الأهمية بمكان أنهم أثبتوا أن الخريطة $\omega \mapsto J_\omega$ هي مستمرة ليبشيتز في الجزء الداخلي من بسيطة التفضيل. يضمن هذا الضمان النظري أن التغيرات الصغيرة في التفضيل تؤدي إلى تغيرات صغيرة ومستقرة في الهدف، مما يبرر استخدام مسح التفضيلات لتغطية كثيفة لجبهة باريتو.

2. الخوارزمية: تكرار سياسة الانحدار المتدرج المرآتي المقعر (CMDPI)

لحل مشكلة التسكير غير الخطي الناتجة دون تغيير دالة الهدف، صاغ المؤلفون عملية التحسين عبر مقاييس الإشغال ($\mu$).

• صياغة الانحدار المتدرج المرئي (Mirror Descent): اشتقوا خوارزمية انحدار متدرج مرآتي في فضاء مقياس الإشغال باستخدام الإنتروبيا الشرطية السالبة كدالة توليد للمسافة. ينتج عن ذلك معدل تقارب قدره $O(1/k)$ لعدم مثالية الهدف.
• تفسير تكرار السياسة: من خلال الاستفيد من تباعد بريغمان (Bregman divergence) في فضاء الإشغال والارتباط بتباعد KL في فضاء السياسة، تبين أن التحديث يكافئ حل MDP منظم بـ KL حيث تعمل السياسة السابقة كمرجع.
  • تقييم بيلمان الناعم: خطوة تقييم السياسة تحل نقطة ثابتة لـ "بيلمان الناعم".
  • تحسين السياسة الضربي: خطوة تحسين السياسة تُحدث السياسة عبر إعادة الوزن الأسي (الأوزان الضربيه) بناءً على قيم Q الناعمة.
• الاستمرارية في الخطوات المحدودة: مساهمة نظرية رئيسية هي إثبات أن السياسة $\pi_k$ في أي تكرار محدد $k$ تظل مستمرة بالنسبة للتفضيل $\omega$، بشرط أن يكون التمهيد مستمراً وذا دعم كامل. وهذا يتناقض مع النهج السابقة ذات الشبكة الواحدة التي تفترض غالباً مثل هذه الانتظام دون تحقق.

3. التنفيذ العميق: PCSAC

قام المؤلفون بتطبيق تحديث CMDPI في خوارزمية Actor-Critic عميقة، بدون نموذج وبنموذج، تسمى PCSAC (Pareto Coverage Soft Actor-Critic).

• البنية: يخرج الناقد $Q_\phi(s, a, \omega)$ متجهاً بـ $m$ من الأبعاد، ويخرج الممثل $\pi_\theta(s, \omega)$ توزيعاً على الأفعال.
• التدريب: تستخدم الخوارزمية تحسين off-policy مشابه لـ Soft Actor-Critic (SAC). يقلل الناقد من بقايا بيلمان المربعة للمتجه المستهدف. يتم تحديث الممثل عن طريق تقليل تباعد KL إلى توزيع مستهدف يتناسب مع $\pi_k \exp(Q/\alpha)$، مما ينفذ فعلياً خطوة الانحدار المتدرج المرآتي.
• تقدير نقطة اليوتوبيا (Utopia Point): بما أن نقطة اليوتوبيا $I$ (المطلوبة لـ STCH) غير معروفة في الإعدادات العميقة، اقترح المؤلفون إجراء تقدير عبر الإنترنت باستخدام المتوسطات المتحركة الأسية لنسب المئوية للمكافآت.

المساهمات الرئيسية

1. الضمانات النظرية لـ STCH: تم إثبات أنه تحت تسكير STCH في نماذج MOMDP الجدولية، فإن متجه الأهداف الأمثل فريد وأمثل لباريتو. كما أن الخريطة من التفضيل إلى الحل مستمرة ليبشيتز، مما يوفر أساساً مبدئياً لتغطية كثيفة لجبهة باريتو عبر مسح التفضيلات.
2. خوارزمية CMDPI: اشتقوا خوارزمية انحدار متدرج مرآتي ذات تقارب $O(1/k)$ في فضاء مقياس الإشغال تحل مشكلة التسكير غير الخطي دون تعديل الهدف.
3. تكافؤ تكرار السياسة والاستمرارية: أعادوا كتابة التحديث في شكل مكافئ لتكرار السياسة، مما قدم دافعاً نظرياً لتعلم التفضيل المشروط العميق، بما في ذلك إثبات الاستمرارية بالنسبة لـ $\omega$ في التكرارات المحدودة.
4. الأداء التجريبي: أظهرت طرقهم تحقيق جودة فائقة في تقريب جبهة باريتو (مقاسة بالحجم الفائق Hypervolume) وأداء متوقع للمنفعة مقارنة بالنماذج المرجعية الحديثة (LS, CAPQL, PreCo, C-MORL) في كل من المهام ذات التحكم المنفصل والمستمر.

النتائج التجريبية

قيم المؤلفون طرقهم على ثماني مهام (أفعال منفصلة) وثماني مهام (أفعال مستمرة) من MO-Gymnasium.

• التخطيط الجدولي: استعادت CMDPI في نموذج MOMDP تجريبي متحكم به حلولاً مثلى لباريتو بتغطية أكثر تجانساً وكثافة بشكل ملحوظ مقارنة بالتسكير الخطي (الذي لم يصل إلا للرؤوس) وCAPQL (الذي أظهر تغطية منحازة).
• المهام ذات الأفعال المنفصلة: في ثمانية اختبارات MO-Gymnasium، حققت CMDPI أفضل متوسط رتبة للحجم الفائق (HV) ومقياس المنفعة المتوقعة (EUM). كما تفوقت PCSAC أيضاً على التسكير الخطي وCAPQL في HV.
• المهام ذات الأفعال المستمرة: في ثمانية مهام MuJoCo، حقق المتغير القائم على النموذج PCSAC-MB أفضل متوسط رتبة في كل من HV وEUM، متفوقاً على المراجع القائمة على التسكير الخطي (CAPQL-MB) وطرق MORL الأخرى المتطورة. كما أظهر المتغير الخالي من النموذج PCSAC-MF أداءً قولاً، خاصة في HV.
• المتانة: أشارت تحليلات الحساسية إلى أن الطرق متينة تجاه الاختلافات في تقدير نقطة اليوتوبيا ومعلمات درجة الحرارة/التنعيم.

الأهمية والادعاءات

تدعي الورقة سد الفجوة بين الاستقرار النظري للتسكير الخطي وقدرات التغطية للطرق غير الخطية. من خلال إثبات الفرادة والاستمرارية ليبشتمتز للحل المستحث بواسطة STCH، يوفر المؤلفون أساساً صارماً لاستخدام شبكة عميقة واحدة لتغطية جبهة باريتو بكثافة واستقرار.

تكمن الأهمية في:

• تغطية كثيفة مبدئية: تجاوز المسح التجريبي للتفضيلات نحو طريقة ذات ضمانات للاستقرار وكثافة التغطية.
• وضوح خوارزمي: تقديم اتصال واضح بين الانحدار المتدرج المرآتي، ونماذج MDP المنظمة بـ KL، والتسكير غير الخطي، مما يقدم منظوراً جديداً لتكرار السياسة.
• الفعالية العملية: إثبات أن هذه الرؤى النظرية تترجم إلى أداء متفوق في مجالات التحكم المنفصل والمستمر، لا سيما في كفاءة العينات في الإعدادات القائمة على النماذج.

يشير المؤلفون بتواضع إلى أن تحليلهم النظري يقتصر حالياً على الإعدادات الجدولية، وأن توسيع هذه الضمانات لتشمل التقريب الوظيفي يظل اتجاهاً مفتوحاً للعمل المستقبلي. كما يقرون بأن تحليلهم يعتمد على دوال منفعة سلسة ومقعرة تماماً، مما يترك سلوك الأنواع الأخرى من الدوال غير مستكشفاً.