Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

ملخص تقني: التعلم بالتقليد السلوكي الموزون بنسبة كثافة التوزيع

بيان المشكلة
يتيح التعلم المعزز (RL) غير المتصل (Offline RL) تحسين السياسات من مجموعات بيانات ثابتة، مما يوفر حلاً حرجاً للمجالات الحساسة للسلامة مثل المركبات ذاتية القيادة والروبوتات الصناعية حيث يكون الاستكشاف عبر الإنترنت غير ممكن. ومع ذلك، غالباً ما تتعرض مجموعات البيانات في العالم الحقيقي للتسمم الناتج عن أعطال المستشعرات، أو الهجمات السيبرانية الفيزيائية، أو أخطاء التوسيم، أو التلاعبات العدائية. تعامل خوارزميات التقليد السلوكي (BC) والتعلم المعزز غير المتصل القياسية جميع المسارات بشكل ضمني على أنها موثوقة بالتساوي، حيث تدمج العينات النظيفة والفاسدة أثناء عملية التحسين. يؤدي هذا إلى تدهور أداء السياسة، أو عدم الاستقرار، أو انتهاكات السلامة، لا سيما في حالات التسمم المتوسطة إلى الشديدة حيث يمكن للعيوب الطفيفة أن تعطل مهام التحكم مثل تتبع المسار. تركز دراسات المتانة الحالية غالباً على قنوات فساد محددة أو تفترض توزيعات مختلطة معروفة، مما يترك فجوة في التعامل مع آليات التلوث غير المعروفة والمطلقة في مجموعات بيانات التحكم غير المتصلة.

المنهجية
تقترح الورقة البحثية التقليد السلوكي الموزون بنسبة كثافة التوزيع (Weighted BC)، وهو إطار عمل للتعلم بالتقليد يتسم بالمتانة، صُمم للتعلم من مجموعات البيانات الملوثة دون معرفة مسبقة بآلية الفساد. تعتمد المنهجية الجوهرية على ثلاث مراحل:

1. استخدام المجموعة المرجعية: يفترض النهج إمكانية الوصول إلى مجموعة مرجعية صغيرة ومحققة ومنفصلة ($D_{ref}$) من مسارات الخبراء النظيفة، والتي تختلف عن مجموعة البيانات الرئيسية ($D$) التي قد تكون ملوثة.
2. تقدير نسبة الكثافة القائم على المميز: يتم تدريب مميز ثنائي $d_\phi$ للتمييز بين المسارات من مجموعة المرجع النظيفة (الفئة 1) ومجموعة البيانات الرئيسية الملوثة (الفئة 0). يقوم المميز بتقليل خسارة الإنتروبيا المتقاطعة الثنائية. وتحت أخذ عينات متوازنة، يتم استعادة نسبة الكثافة $r(\tau) = p_{clean}(\tau)/p(\tau)$ كـ $d_\phi(\tau) / (1 - d_\phi(\tau))$.
3. الهدف الموزون: يتم قص هذه النسب المقدرة إلى نطاق حتمي $[\epsilon, C]$ لضمان الاستقرار العددي، وتُستخدم كأوزان في هدف التقليد السلوكي. تصبح الخسارة التجريبية:
   $$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$$
   حيث $w_i = \text{clip}(r(\tau_i), \epsilon, C)$. يعمل نظام التوزين هذا على منح الأولوية للمسارات التي تشبه سلوك الخبير النظيف، مع تقليل وزن أو استبعاد الأجزاء الشاذة.

يتم تقييم الطريقة مقابل أربعة بروتوكولات تسمم محددة طُبقت على معايير التحكم المستمر:

• تسمم المكافأة: عكس المكافآت الإيجابية لمعاقبة السلوك الجيد.
• تسمم الحالة: إضافة ضوضاء غاوسية إلى الحالات لمحاكاة فشل المستشعر.
• تسمم الانتقال: خلط ملاحظات الحالة التالية لتعطيل الروابط السببية.
• تسمم الإجراء: تشويه الإجراءات بضوضاء غاوسية.

المساهمات الرئيسية
تقدم الورقة ثلاث مساهمات رئيسية:

1. الاقتراح الخوارزمي: تقدم Weighted BC، الذي يستخدم مجموعات مرجعية صغيرة ومحققة لتحديد وتقليل وزن المسارات الفاسدة عبر التوزين القائم على المميز. وهذا يتيح تعلم سياسة متينة دون الحاجة إلى معرفة آلية الفساد المحددة.
2. الأسس النظرية: يضع المؤلفون ضمانات نظرية، بما في ذلك حدود تقريب المخاطر النظيفة الموحدة وضمانات المخاطر النظيفة الزائدة للسياسة المتعلمة. والأهم من ذلك، تُظهر هذه الحدود استقلالها عن معدل التلوث ($\alpha$) تحت عتبات قص مناسبة، مما يفصل بين أخطاء العينة المحدودة، وأخطاء المميز، وتحيز القص.
3. إطار التقييم: تم إنشاء إطار تقييم شامل يتضمن سيناريوهات تسمم مختلفة (الإجراء، الحالة، الانتقال، والمكافأة) عبر معايير التحكم المستمر (D4RL)، مما يعالج الفجوة في الأدبيات الحالية التي تفترض غالباً أنواع فساد محددة.

النتائج
أُجريت التجارب على معايير D4RL (HalfCheetah, Ant, Hopper, Walker2d) مع مستويات تلوث تتراوح من 20% إلى 100% ($\alpha \in \{0.2, \dots, 1.0\}$). تمت مقارنة Weighted BC مع كل من Traditional BC، وBatch-Constrained Q-learning (BCQ)، وBehavior Regularized Actor-Critic (BRAC).

• المتانة: حافظ Weighted BC على أداء قريب من المثالي حتى عند نسب تلوث عالية ($\alpha \ge 0.8$)، بينما عانت النماذج المرجعية من تدهور كبير.
• تسمم الإجراء: في هذا السيناريو، انهارت النماذج المرجعية (على سبيل المثال، تدهور Traditional BC إلى حوالي 2,500 عائد مقابل حفاظ Weighted BC على أكثر من 10,000 في HalfCheetah عند $\alpha=1.0$). نجح المميز في تحديد المسارات المتضررة من الإجراء باعتبارها منحرفة عن المخطط السلوكي.
• تسمم الحالة والانتقال: أظهر Weighted BC استقراراً متسقاً، بينما فشلت قيود VAE الخاصة بـ BCQ في نمذجة الديناميكيات الفاسدة، كما أظهر BRAC عدم استقرار تحت تسمم الحالة.
• تسمم المكافأة: بما أن BC يعتمد على أزواج الحالة-الإجراء بدلاً من إشارات المكافأة، فقد حافظ Weighted BC على 80-90% من أداء النموذج المرجعي، بينما فشل BRAC في عدة بيئات.
• الاحتفاظ بالأداء: احتفظ Weighted BC بأكثر من 80% من الأداء النظيف حتى عند وصول التلوث إلى 60% عبر جميع أنواع التسمم، متفوقاً بشكل كبير على التدهور الخطي الملاحظ في Traditional BC.

الأهمية والادعاءات
تدعي الورقة أن Weighted BC يوفر حلاً متيناً للتعلم المعزز غير المتصل في ظل وجود تسمم عشوائي للبيانات، وهو مطلب حاسم لنشر المتحكمات القائمة على التعلم في الأنظمة الحساسة للسلامة. من خلال الاستفيد من مجموعة مرجعية صغيرة ومحققة، تنجح الطريقة بفعالية في تصفية البيانات الفاسدة دون الحاجة إلى نمذجة طبيعة الهجوم المحددة. تؤكد التحليلات النظرية أن هذا النهج يتقارب مع سياسة الخبير النظيفة بحدود عينة محدودة لا تعتمد على شدة التلوث. تجريبياً، أظهرت الطريقة مرونة فائقة مقارنة بخوارزميات التعلم المعزز غير المتصل الحديثة، لا سيما في أنظمة التلوث العالية حيث تفشل الطرق القياسية. تؤكد الورقة أن التقييم على مستوى المسار ضروري لالتقاط الاتساق الزمني والعيوب المتعلقة بالتحكم، مما يميزها عن الطرق التي تعالج فقط الشذوذات المنعزلة في الحالة-الإجراء.