ملخص تقني: أخذ عينات المهام التكيفي المتين توزيعياً (DRATS)

بيان المشكلة

يهدف التعلم المعزز متعدد المهام (MTRL) إلى تدريب وكيل واحد لتحسين الأداء عبر مهام متعددة في آن واحد، مع الاستفادة من نقل المعرفة لتحسين كفاءة البيانات. ومع ذلك، تعاني أساليب MTRL القياسية غالباً من عدم توازن التعلم: حيث يحل الوكلاء المهام السهلة بسرعة بينما يتقدمون ببطء في المهام الصعبة.

لقد عزت الأعمال السابقة هذا الاختلال بشكل كبير إلى تضارب تدرجات المهام، واقترحت حلولاً تتضمن معالجة التدرج (مثل جراحة التدرج) أو بنيات شبكية متخصصة. لكن هذه الورقة تحدد سبباً مختلفاً وغير مستكشف كفاية لعدم التوازن وهو: عدم توازن تخصيص البيانات. تخصص أساليب MTRL القياسية ميزانية تفاعل متساوية لجميع المهام. وبما أن المهام الصعبة تتطلب خبرة أكبر بكثير من المهام السهلة لحلها، فإن التخصيص الموحد يؤدي إلى تخصي-صرف البيانات للمهام السهلة (التي لا تحتاج إلا للقليل من البيانات الإضافية) ونقص تخصيص البيانات للمهام الصعبة. وبينما تعمل أساليب التعلم المنهجي (Curriculum Learning - CL) على تكييف توزيعات أخذ العينات، إلا أنها عادة ما تعطي الأولوية للمهام السهلة أولاً لتسهيل عملية النقل، مما قد يؤدي إلى تفاقم عدم توازن البيانات في الحالات التي يكون فيها النقل الإيجابي ضعيفاً أو عندما تتعارض المهام.

المنهجية: أخذ عينات المهام التكيفي المتين توزيعياً (DRATS)

يقترح المؤلفون خوارزمية DRATS، وهي خوارزمية تعطي الأولوية بشكل تكيفي لأخذ عينات المهام الأبعد عن كونها قد حُلّت. يتم اشتقاق الطريقة من خلال الخطوات التالية:

1. الصياغة كمسألة جدوى

بدلاً من تعظيم متوسط العائد عبر المهام، تمت صياغة MTRL كـ مسألة جدوى: إيجاد سياسة $\theta$ بحيث يلبي العائد $J_i(\theta)$ في كل مهمة $i$ هدفاً مرجعياً $J^{ref}_i$.
تم تحويل الهدف إلى تقليل فجوة العائد $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$. وللتعامل مع الحالات التي لا يمكن فيها تلبية القيود في وقت واحد (بسبب حدود السعة أو التعارضات)، يصبح الهدف هو تقليل الحد الأقصى لفجوة العائد عبر جميع المهام (هدف min-max):
$$\min_{\theta} \max_{i \in [k]} g_i(\theta)$$

2. التحسين من نوع Minimax والمتانة التوزيعية

أعيد صياغة عملية التعظيم الداخلية كتعظيم فوق توزيع المهام $q \in \Delta_k$ (متعدد السطوح الاحتمالي). تؤدي محاولة حل هذه المسألة مباشرة إلى حل جشع غير سلس يركز كل الاحتمالية على المهمة الوحيدة الأسوأ أداءً، مما يسبب عدم استقرار وعدم كفاءة في البيانات.

لمعالجة ذلك، تستخدم DRATS التحسين المتين توزيعياً (DRO) عن طريق تقييد توزيع المهام $q$ ليكون ضمن كرة "كولباك-ليبلر" (KL) بنصف قطر $\epsilon$ متمحورة حول توزيع أساسي $p_0$ (موحد). ينتج عن ذلك التحسين المقيد التالي:
$$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$$
حيث $\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$.

3. الحل ذو الصيغة المغلقة والخوارزمية

باستخدام التخفيف باللاغرانج (Lagrangian relaxation)، تم اشتقاق توزيع المهام الأمثل $q^*$ في صيغة مغلقة كدالة softmax لفجوات العائد:
$$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$$
هنا، يعمل $\eta$ كمعامل درجة حرارة عكسي يتحكم في حدة تحديد الأولويات.

خوارزمية DRATS (الخوارزمية 1):

1. جمع البيانات: أخذ عينات من المهام من التوزيع الحالي $q_t$ وجمع المسارات.
2. تقدير الفجوة: حساب تقديرات مونت كارلو للعوائد $\hat{J}_i$ وتحديث العوائد المرجعية $J^{ref}_i$ (التي تُقدر عبر الإنترنت كأقصى عائد مرصود).
3. تطبيع الفجوة: حساب فجوات العائد الموحدة $\hat{g}_i$.
4. تحديث التوزيع: تحديث $q_t$ عبر صعود المرآة (الاشتقاق الأسي للتدريج) على الهدف $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$.
5. الإسقاط: فرض حد أدنى لاحتمالية أخذ العينات $\epsilon$ لضمان أخذ عينات كافية من جميع المهام لضمان استقرار تقدير الفجوة.
6. تحديث السياسة: تحديث السياسة $\theta$ باستخدام خوارزمية على السياسة (مثل PPO) لتعظيم العائد الموزون.

4. ضمانات التقارب

يثبت المؤلفون أنه تحت الافتراضات القياسية (بما في ذلك ضمان الندم المنخفض لتحديث السياسة)، تتقارب DRATS إلى الحد الأقصى الأمثل لفجوة العائد في معدل قدره $O(1/\sqrt{T})$، حيث $T$ هو عدد التكرارات.

المساهمات الرئيسية

1. خوارزمية DRATS: تقديم خوارزمية تعلم معزز متعدد المهام تعطي الأولوية للمهام تكيفياً بناءً على فجوة العائد، والمشتقة من صياغة minimax لـ MTRL.
2. التقارب النظري: إثبات أن DRATS تتقارب ضمن خطأ $\epsilon$ من الحد الأقصى الأمثل لفجوة عائد المهمة الواحدة بمعدل قياسي قدره $O(1/\sqrt{T})$.
3. التحقق التجريبي: إثبات أن DRATS تحقق كفاءة بيانات أعلى، وعائداً إجمالياً أعلى، وعائداً أعلى بكثير للمهمة الأسوأ مقارنة بأساليب التعلم المنهجي القائمة (مثل: Uniform, Learning Progress, Learning Potential, Hard First).
4. التعامد (Orthogonality): إثبات أن DRATS متوافقة مع بنيات الشبكات متعددة المهام الحالية (مثل: Soft Modularization, MOORE) وتحسن الأداء بغض النظر عما إذا كانت المهام تظهر نقلاً إيجابياً أو تعارضاً.

النتائج التجريبية

قيم المؤلفون DRATS على أربعة اختبارات مرجعية: Gridworld مكون من 4 مهام، MuJoCo6 (6 مهام تحكم مستمر)، MetaWorld-MT10، و MetaWorld-MT50.

• الأداء الإجمالي: حققت DRATS أعلى عائد إجمالي عبر جميع الاختبارات المرجعية.
• أداء المهمة الأسوأ: كان التحسن مدفوعاً بشكل أساسي بالأداء المتفوق في المهام الصعبة. على سبيل المثال، في MuJoCo6، كانت DRATS هي الطريقة الوحيدة التي نجحت في حل مهام Ant و Humanoid الصعبة، بينما فشلت الأساليب الأخرى في إحراز تقدم في مهمة Ant.
• كفاءة البيانات: وصلت DRATS إلى مستويات أداء الأساليب المرجعية بعد عدد أقل بكثير من التفاعلات. في MT10، تجاوزت العائد النهائي لأسلوب Uniform في المهام الصعبة (مثل pick-place و push) بعد 6 ملايين خطوة زمنية فقط.
• المقارنة مع الأساليب المرجعية:
  • Uniform: يخصص فائضاً للمهام السهلة؛ ويفشل في حل المهام الصعبة.
  • Learning Progress/Potential: تميل إلى إعطاء الأولوية للمهام ذات معدلات التعلم العالية أو أخطاء تقدير القيمة العالية، وهو ما يرتبط غالباً بالمهام السهلة، مما يؤدي لإهمال المهام الصعبة العالقة.
  • Hard First (SMT): تعاني من انهيار الأداء في المهام الصعبة؛ فبمجرد إعلان المهمة "محلولة" بناءً على عتبة معينة، تنخفض احتمالية أخذ العينات فجأة، مما يجعل الوكيل ينسى المهمة ويتطلب إعادة تعلمها.
• الدراسات الاستقصائية (Ablations):
  • أخذ العينات التكيفي مقابل إعادة الوزن: أخذ العينات التكيفي (DRATS) أكثر كفاءة في البيانات من إعادة وزن هدف البيانات المأخوذة بعينات موحدة. تؤدي إعادة الوزن إلى تقديرات تدرج عالية التباين للمهام الصعبة بسبب عدم كفاية جمع البيانات.
  • المعلمات الفائقة (Hyperparameters): تتميز DRATS بالمتانة تجاه اختيار درجة الحرارة $\eta$ وحجم الخطوة $\alpha$.

الأهمية والادعاءات

تدعي الورقة أن DRATS تعالج عدم كفاءة جوهرية في MTRL وهي: سوء تخصيص موارد البيانات. ومن خلال تحويل التركيز من تضارب التدرج إلى تخصيص البيانات، توفر DRATS آلية فعالة للبيانات لموازنة الأداء عبر المهام.

يؤكد المؤلفون أن:

• DRATS هي أول تطبيق للتحسين المتين توزيعياً (DRO) في التعلم المعزز متعدد المهام في بيئات التحكم المستمر.
• على عكس العديد من أساليب التعلم المنهجي التي تفترض وجود نقل إيجابي من السهل إلى الصعب، تستهدف DRATS صراحةً أسوأ فجوة عائد، مما يجعلها فعالة حتى عندما تتعارض المهام أو يكون النقل ضعيفاً.
• الطريقة نموذجية (modular)؛ فهي تعدل فقط عملية جمع البيانات ويمكن دمجها مع بنيات متخصصة أو تقنيات معالجة التدرج.

تخلص الورقة إلى أن DRATS تقدم نهجاً مبنياً على المبادئ والأسس النظرية لتحقيق تعلم متعدد المهام متوازن، مما يحسن كفاءة التعلم ومتانة السياسة النهائية عبر جميع المهام.