ملخص تقني: التعلم القائم على التباين بتوجيه المشغل للتعلم المعزز المستمر

بيان المشكلة

غالباً ما يكون التعلم المعزز (RL) في الزمن المستمر مع مساحات الحالة والفعل المستمرة كثيف البيانات وهشاً عند مواجهة التباين غير المرغوب فيه والتحولات التوزيعية. وبينما تستغل الطرق الحالية تماثلات محددة (مثل التكافؤ الدقيق في الدوران أو الإزاحة) أو السمات الثابتة، إلا أنها تكافح لاكتشاف هياكل أكثر عمومية مدفوعة بالبيانات تحافظ على دالات القيمة. وتحديداً، هناك نقص في الأطر القادرة على تحديد التحويلات العامة الحافظة للقيمة — سواء كانت دقيقة أو تقريبية — والتي تتطلب مشغلات غير خطية للربط بين الأنظمة المستمرة ذات دالات القيمة المتشاكلة (isomorphic). ويتمثل التحدي الجوهري في الانتقال من التماثلات المفروضة مسبقاً إلى اكتشاف الهياكل الجوهرية التي تعمل على استقرار التعلم وتحسين كفاءة البيانات دون افتراض معرفة مسبقة لمجموعة التحويل.

المنهجية: VPSD-RL

يقترح المؤلفون إطار عمل VPSD-RL (اكتشاف البنية الحافظة للقيمة للتعلم المعزز)، وهو إطار يعمل على نمذجة التعلم المعزز المستمر كعملية انتشار محكومة. وتستند المنهجية إلى نظرية المشغل وفعلات زمرة لي (Lie group actions)، وتمر عبر ثلاث مراحل رئيسية:

1. الصياغة النظرية

يعرف الإطار حفظ القيمة على مستوى المولد المتحكم فيه (المولد اللانهائي لمتتالية ماركوف) ودالة المكافأة.

• البنية الحافظة للقيمة الدقيقة: يكون زوج التحويل $(g_\vartheta, h_\vartheta)$ (الذي يعمل على الحالات والأفعال على التوالي) حافظاً للقيمة إذا كان سحب دالة القيمة ودفع الأفعال للأمام يتبادل مع المولد المتحكم فيه $L_a$ والمكافأة $r$. رسمياً، يتطلب هذا:
  $$L_a(f \circ g_\vartheta) = (L_{h_\vartheta(a)}f) \circ g_\vartheta \quad \text{و} \quad r(g_\vartheta(s), h_\vartheta(a)) = r(s, a)$$
• معادلات التحديد: من خلال اشتقاق هذه المتطابقات التشغيلية على طول المجموعات الفرعية أحادية المعلمة، يستنتج المؤلفون قيود المعادلات التفاضلية الجزئية المحلية (معادلات التحديد) على الانجراف $b$، ومصفوفة الانتشار $Q$، والمكافأة $r$. وتحدد هذه المعادلات المولدات اللانهائية $(X, Y)$ لفعلات زمرة لي الحافظة للقيمة.
• البنية التقريبية: إدراكاً بأن التماثلات الدقيقة نادرة في بيانات العالم الحقيقي، يوسع الإطار نطاقه ليشمل البنى الحافظة للقيمة التقريبية. هنا، يكون تبادل المشغلات محدوداً بخطأ عدم تطابق $(\epsilon_L, \epsilon_r)$. ويثبت المؤلفون أن عدم تطابق المولد/المكافأة المحدود يؤدي إلى حد استقرار كمي لدالة القيمة المثلى $V^\star$، حيث يتناسب الخطأ خطياً مع مقدار عدم التطابق ويتضخم بواسطة الأفق الفعال ($1/\beta$).

2. المسار الخوارزمي

يقوم VPSD-RL بتشغيل هذه المبادئ من خلال مسار تعلم:

1. تعلم المولدات اللانهائية: تتعلم الخوارزمية حقول المتجهات $X_\theta$ (مولد الحالة) و $Y_\phi$ (مولد الفعل) عن طريق تقليل البواقي التجريبية لمعادلات التحديد (المعادلات 12–14) المستمدة من نماذج البيئة القابلة للاشتقاق (الانجراف، الانتشار، والمكافأة).
2. الرفع الأسي عبر تكامل التدفق: يتم رفع المولدات اللانهائية المتعلمة أسياً باستخدام تدفقات المعادلات التفاضلية العادية (ODE flows) للحصول على تحويلات منتهية $(g_\alpha, h_\alpha)$. هذه الخطوة تستعيد فعل الزمرة المنتهي من المستوى اللانهائي.
3. التكامل مع التعلم المعزز: يتم دمج هذه التحويلات المنتهية المكتشفة في حلقة التعلم المعزز عبر:
   • تعزيز الانتقال: تحويل أزواج الخبرة المجموعة $(s, a, s', r)$ إلى $(g_\alpha(s), h_\alpha(a), g_\alpha(s'), r)$ لتغذية ذاكرة التخزين المؤقت، مما يؤدي فعلياً إلى مشاركة الخبرة على طول مدارات حفظ القيمة.
   • تنظيم اتساق التحويل: إضافة عقوبات إلى دالة الخسارة لتشجيع شبكات القيمة والسياسة على تقديم تنبؤات متسقة لأزواج الحالة-الفعل المحولة.

3. الضمانات النظرية

يضع البحث ضمانات شاملة:

• التحسين: يتقارب التحسين العشوائي لهدف اكتشاف البنية نحو نقاط ثابتة تقريبية بمعدلات SGD القياسية ($O(1/\sqrt{T})$).
• الاتساق الإحصائي: تحت افتراضات القابلية للتحقق، تتقارب المولدات المتعلمة في متوسط $\rho$ نحو حلول معادلات التحديد، مما يدفع عدم تطابق المشغل إلى الصفر على دعم البيانات.
• الاستقرار: بالنسبة للبنى التقريبية، يظل مؤثر بيلمان المضطرب عملية انكماش، ويكون خطأ النقطة الثابتة محدوداً بمقدار عدم التطابق.

النتالئ الرئيسية

يقيم المؤلفون VPSD-RL على عمليات انتشار متحكم فيها اصطناعية قابلة للتفسير وعلى معايض التحكم المستمر القياسية (MuJoCo: Hopper, Walker2d, Ant; ونسخ SymNav).

• اكتشاف البنية: في البيئات الاصطناعية ذات التماثلات المعروفة (مثل الدوران المستوي، والانعكاس)، يؤدي تقليل بواقي معادلات التحديد بنجاح إلى استعادة مولدات لانهائية متوافقة مع التماثلات الحقيقية. يؤدي هذا إلى تقليل عدم ثبات القيمة التجريبي على طول التدفق المتعلم.
• مكاسب الأداء:
  • SymNav: يظهر VPSD-RL تحسناً في كفاءة العينات والمتانة عبر 15 متغيراً لمهمة ملاحة ذات عوائق واضطرابات رياح، متفوقاً على النماذج المرجعية مثل SAC و TD3 و PPO.
  • MuJoCo: تظهر الطريقة تحسينات تعتمد على المهمة. المكاسب متواضنة في Hopper (نموذج قفز واحد) ولكنها أكثر وضوحاً في Walker2d (توافق الطور بين اليمين واليسار) والأقوى في Ant-v4، حيث يخلق التنسيق متعدد الأطراف أنماطاً غنية حافظة للقيمة بشكل تقريبي.
  • المقاييس الكمية: في Ant-v4، يحقق VPSD-RL عائداً نهائياً أعلى (5822 مقابل 4477 لـ SAC) ومساحة أكبر تحت المنحنى (AUC) مقارنة بأفضل النماذج المرجعية، مع تكلفة حسابية معتدلة.

الأهمية والادعاءات

يزعم البحث أن VPSD-RL يوفر إطار عمل جديداً على مستوى المشغل لاكتشاف واستغلال البنى الحافظة للقيمة في التعلم المعزز المستمر دون الاعتماد على تماثلات مفروضة مسبقاً.

• تعميم التماثل: يستوعب الإطار تماثلات لي الكلاسيكية كحالة خاصة بدلاً من كونها فرضية تصميم، مما يسمح باكتشاف هياكل عامة مدفوعة بالبيانات.
• الاستقرار الصارم: يوفر ضمانات نظرية صارمة تربط عدم تطابق المولد/المكافأة باستقرار دالة القيمة المثلى، مما يقدم فهماً كمياً لكيفية تأثير الثبات التقريبي على أداء السياسة.
• كفاءة البيانات: من خلال الاستفادة من الهياكل المكتشفة لتعزيز الانتقال وتنظيم الاتساق، يحسن المنهج من كفاءة البيانات والمتانة في إعدادات التحكم المستمر، خاصة عندما توجد تحويلات مفيدة ولكنها غير معروفة مسبقاً.

يؤكد المؤلفون أن التدفقات المتعلمة هي محلية، ويتم تقييم موثوقيتها من خلال تشخيصات البواقي والثبات، مع الإقرار بأن الطريقة تعتمد على نماذج بديلة قابلة للاشتقاق وقد تتدهور إذا كانت العلاقة الحافظة للقيمة تتحقق فقط ضمن دعم ضيق للبيانات أو إذا كانت الديناميكيات شديدة الانقطاع.