ملخص تقني: RankQ - التعلم المعزز من "خارج الخط" (Offline-to-Online) عبر ترتيب الأفعال ذاتي الإشراف

بيان المشكلة

يهدف التعلم المعزز من "خارج الخط" إلى "أونلاين" (Offline-to-Online Reinforcement Learning) إلى تحسين كفاءة العينات من خلال الاستفادة من مجموعات البيانات التي تم جمعها مسبقًا قبل الانخراط في التفاعل المباشر (Online Interaction). ويتمثل التحدي الرئيسي في هذا النموذج في تعلم "ناقد" (Critic/Value Function) دقيق في مساحات الحالة-الفعل (State-Action) الكبيرة حيث يكون تغطية البيانات محدودة. غالبًا ما تعالج الطرق الحالية مشكلة المبالغة في تقدير القيمة للأفعال خارج نطاق التوزيع (OOD) من خلال فرض التشاؤم (Pessimism)، مما يؤدي فعليًا إلى خفض وزن الأفعال خارج النطاق مقارنة بأفعال مجموعة البيانات (مثل: Conservative Q-Learning [3] و Calibrated Q-Learning [2]).

بينما يعمل التشاؤم على استقرار التدريب، يجادل البحث بأن هذا التشاؤم يعمل بمثابة "مرساة لتقليد السلوك" (Behavior Cloning Anchor). فمن خلال معاقبة الأفعال غير المرئية بشكل موحد، تقوم هذه الطرق بتحيز السياسة نحو توزيع مجموعة البيانات. ويصبح هذا الأمر إشكاليًا عندما تحتوي مجموعة البيانات "خارج الخط" على مسارات دون المستوى أو مسارات فشل؛ إذ يمكن للقيد المتشائم أن يعيق تحسين السياسة "أونلاين" لاحقًا عن طريق منع الوكيل من استكشاف الأفعال التي قد تكون متفوقة ولكنها لم تكن موجودة في البيانات. السؤال الجوهري الذي يعالجه البحث هو كيفية تشكيل دوال القيمة بما يتجاوز مجموعة البيانات لتمكين التحسين "أونلاين" الفعال دون الاعتماد على التشاؤم الموحد.

المنهجية: RankQ

يقترح المؤلفون RankQ، وهو هدف لتعلم Q-learning من "خارج الخط" إلى "أونلاين"، يقوم بتعزيز تعلم الفرق الزمني (TD learning) القياسي باستخدام خسارة ترتيب متعددة الحدود ذاتية الإشراف. بدلاً من معاقبة الأفعال خارج النطاق بشكل موحد، يقوم RankQ بنمذجة الجودة النسبية للأفعال صراحةً لفرض ترتيب هيكلي في مشهد قيم Q.

الآلية الجوهرية

تقوم الطريقة بتقسيم مجموعة البيانات $D$ إلى مسارات نجاح ($D_{success}$) ومسارات فشل ($D_{failure}$). وتقوم ببناء فئات محددة من الأفعال دون المستوى لإنشاء قيود ترتيب زوجية:

1. الأفعال المشوشة ($a_\epsilon$): $a + \epsilon$، حيث $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. الأفعال شديدة التشويش ($a_{2\epsilon}$): $a + 2\epsilon$.
3. الأفعال العشوائية ($a_r$): أفعال يتم أخذ عينات منها بانتظام.
4. الأفعال المبدلة ($a_p$): أفعال يتم أخذ عينات منها من حالات غير ذات صلة.

تفرض خسارة RankQ الترتيب الهيكلي التالي:

• تفضيل النجاح: بالنسبة للانتقالات الناجحة، يجب أن تكون قيمة Q للفعل الأمثل أعلى من جميع المتغيرات دون المستوى: $Q(s, a) > Q(s, a')$ حيث $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$.
• الجودة النسبية بين الأفعال دون المستوى: تفرض الطريقة تسلسلاً هرميًا بناءً على القرب من الفعل الأمثل: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. وهذا يضمن أن تدرجات مشهد Q ($\partial Q/\partial a$) تتجه نحو المناطق ذات الجودة الأعلى بدلاً من مجرد الابتعاد عن مجموعة البيانات.
• الإشراف على الفشل: بالنسبة لمسارات الفشل، تفرض الطراف أن يكون فعل مجموعة البيانات لا يزال مفضلاً على الأفعال العشوائية ($Q(s, a) > Q(s, a_r)$)، لكنها تتجنب فرض قيود ترتيب أقوى بسبب غياب مفهوم ذي معنى للجودة النسبية بين حالات الفشل.

يجمع الهدف النهائي بين خسائر الترتيب هذه مع خسارة TD القياسية:
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

المساهمات الرئيسية

1. أداء المعايير المرجعية: يحقق RankQ أداءً تنافسيًا أو متفوقًا على سبع طرق سابقة (بما في ذلك CQL و Cal-QL و Hybrid RL) عبر أربعة بيئات antmaze وثلاث بيئات adroit ذات المكافأة المتفرقة في اختبار D4RL.
2. الضبط الدقيق لنماذج VLA ببيانات منخفضة: في ظل نظام بيانات منخفضة للغاية (200 عملية دوران "خارج الخط"، و8 عمليات دوران "أونلاين" لكل تحديث)، فإن RankQ هو الطريقة الوحيدة التي تحسن بشكل كبير نموذج الرؤية واللغة والفعل (VLA) الأساسي. فقد حقق متوسط نسبة نجاح أعلى بـ 42.7% من الطريقة التالية له عبر ثلاث مهام تلاعب (جزرة-على-طبق، تكديس-المكعب، ملعقة-في-وعاء).
3. أداء البيانات العالية والنقل من المحاكاة إلى الواقع: في إعداد البيانات العالية مع تعميم النطاق الواسع، يحسن RankQ معدلات نجاح المحاكاة بنسبة 13.7% وسرعة إكمال المهمة بنسبة 25.7% مقارنة بالطريقة التالية. والأهم من ذلك، أنه أظهر انتقالاً ناجحًا من المحاكاة إلى الواقع، حيث رفع نجاح تكديس المكعبات في العالم الحقيقي من 43.1% إلى 84.7% مقارنة بأداء VLA الأولي.
4. تحليل مشهد Q: يقدم المؤلفون تحليلاً واسع النطاق يوضح أن RankQ يشكل مشهد قيم Q بحيث تُوجه تدرجات الأفعال نحو السلوكيات ذات الجودة الأعلى، متجنبًا التشاؤم غير المحدود وارتفاعات التدرج المفرطة الملاحظة في CQL و Cal-QL.

النتائج التجريبية

• اختبارات D4RL: يضاهي RankQ أقوى النماذج المرجعية في المهام الأسهل (مثل antmaze-medium و adroit-pen) ويتفوق على جميع النماذج في المهام الصعبة وطويلة الأمد مثل antmaze-large و adroit-relocate، حيث تفشل الطرق الأخرى غالبًا في تعلم سياسات ذات معنى.
• VLA للبيانات المنخفضة: مع وجود 800 عملية دوران "أونلاين" فقط، يدفع RankQ السياسة باستمرار لتتجاوز خط الأساس للتقليد، بينما تستقر الطرق الأخرى (CQL، Cal-QL، SAC+OFF) إلى حد كبير بالقرب من أدائها الأولي.
• VLA للبيانات العالية والنقل للمحاكاة إلى الواقع: لا تحقق السياسات المدربة بواسطة RankQ معدلات نجاح أعلى فحسب، بل تنفذ المهام بشكل أسرع أيضًا (حوالي 8 ثوانٍ مقابل 10.5-12.5 ثانية للنماذج المرجعية). وفي التجارب الواقعية، حسنت سياسة RankQ معدل نجاح تكديس المكعبات من 43.1% إلى 84.7% عبر 144 تجربة، مع تقليل التباين في وقت التنفيذ أيضًا.

الأهمية والادعاءات

يدعي البحث أن النمذجة الصريحة للترتيب النسبي للأفعال توفر بديلًا فعالًا للتشاؤم الموحد المستخدم في طرق "خارج الخط إلى أونلاين" الحديثة. ومن خلال تشكيل دالة Q لتوجيه تدرجات الأفعال نحو السلوكيات ذات الجودة العالية بدلاً من مجرد كبح الأفعال غير المرئية، يُمكّن RankQ من تحسين السياسة بشكل أكثر فعالية أثناء كل من التدريب المسبق "خارج الخط" والضبط الدقيق "أونلاين".

يشير المؤلفون إلى أن هذا النهج ذو قيمة خاصة في بيئات المكافأة المتفرقة والبيانات المنخفضة، حيث يمكن للأساليب المتشائمة أن تصبح مقيدة للغاية وتفشل في استخراج إشارات التعلم من بيانات الفشل الوفيرة. إن نجاح انتقال سياسة RankQ من المحاكاة إلى الواقع يثبت أن تشكيل القيم الهيكلي يمكن أن يسهل التعلم المعزز القابل للتوسع من "خارج الخط" إلى "أونلاين" وتعلم الروبوتات في العالم الحقيقي، حتى عندما تهيمن المسارات دون المستوى أو مسارات الفشل على مجموعة البيانات الأولية.