ملخص تقني: التعلم التعزيزي المقيد بالسلامة مع التحقق من الوصول بعد التدريب للملاحة الروبوتية

1. صياغة المشكلة

يتناول البحث التحدي الحرج المتمثل في نشر الروبوتات المتنقلة ذاتية القيادة في بيئات مزدحمة حيث يمكن لعدم اليقين في الإدراك (مثل ضوضاء المستشعرات) أن يؤدي إلى حالات فشل كارثية. يرى المؤلفون أن مقاييس السلامة القياسية في التعلم التعزيزي (RL)، والتي تعتمد على متوسط التكلفة التراكمية، غير كافية لأنها تحجب سلوكيات "خطر الذيل" (tail-risk)—وهي أحداث نادرة ولكنها عالية العواقب حيث قد يتسبب السياسة (policy) في تصادم رغم امتلاكها متوسط تكلفة منخفض.

تمت صياغة المشكلة كـ عملية ماركوف لاتخاذ القرار المقيدة (CMDP). وخلافًا لعمليات CMDP التقليدية التي تقيد التكلفة التراكمية المتوقعة $E[C_\pi] \leq b$، يسعى هذا العمل إلى إيجاد سياسة $\pi$ تعظم المكافأة المتوقعة مع استيفاء قيد القيمة المشروطة في الخطر (CVaR):
$$\max_{\pi} J_R(\pi) \quad \text{s.t.} \quad \text{CVaR}_\alpha(C_\pi) \leq b$$
هنا، تمثل $\text{CVaR}_\alpha$ التكلفة المتوقعة في أسوأ $(1-\alpha)$ جزء من الحلقات (episodes)، وهي تستهدف صراحةً ذيل توزيع التكلفة بدلاً من المتوسط.

علاوة على ذلك، يحدد البحث فجوة بين ضمانات التدريب الإحصائية والتحقق الرسمي من السلامة. فالسياسة التي تمتلك إحصائيات CVaR مواتية قد تظل تنتج أفعالاً غير آمنة في ظل عدم يقين محدد في الملاحظة. لذلك، الهدف هو توحيد التدريب الحساس للمخاطر مع التحقق من الوصول للشبكة العصبية بعد التدريب لضمان بقاء مخرجات أفعال السياسة ضمن هوامش الأمان حتى عندما تتعرض المدخلات للاضطراب.

2. المنهجية: إطار عمل VIA

يعمل إطار العمل المقترح، VIA (التعلم التعزيزي الآمن الموجه بالتحقق للملاحة الذاتية)، في مرحلتين متمايزتين:

المرحلة الأولى: التدريب خارج السياسة المقيد بـ CVaR

قام المؤلفون بتكييف خوارزمية TD3 (Twin Delayed DDPG) خارج السياسة (off-policy) لتحسين قيود CVaR. وتشمل المكونات التقنية الرئيسية ما يلي:

• تعزيز الحالة (State Augmentation): لتقدير CVaR في بيئة خارج السياسة، يتم تعزيز فضاء الحالة بمتغير ميزانية تكلفة ديناميكي $e_t$. الحالة المعززة هي $\bar{s}_t = (s_t, e_t)$، حيث يتتبع $e_t$ تاريخ التكلفة المتراكمة، مما يسمح للناقد (critic) بالتمييز بين الحالات التي تم الوصول إليها تحت تواريخ تكلفة مختلفة.
• ناقد التكلفة التوزيعي (Distributional Cost Critic): بدلاً من تقدير قيمة واحدة للتكلفة المتوقعة، يقوم ناقد التكلفة $Q^C_\phi$ بإخراج $M$ من الكميات (quantiles) لتوزيع التكلفة التراكمية. ولمنع "مشكلة التقاطع" (حيث تنتهك الكميات المتوقدة الرتابة)، تم استخدام شبكة لوجيت الكميات غير المتقاطعة (noncrossing quantile logit network) باستخدام معلمة تتضمن جمع "softmax" التراكمي.
• تحديث VaR التكيفي: أحد التحديات الحرجة في تحسين CVaR خارج السياسة هو تتبع عتبة كمية القيمة في الخطر (VaR) دون تقييمات داخل السياسة. قدم المؤلفون قاعدة تحديث خالية من التدرج لمعلمة VaR وهي $u$ بناءً على احتمالية التجاوز التجريبية للتكاليف في ذاكرة إعادة التشغيل (replay buffer)، مما يضمن تقاربًا مستقرًا نحو الكمية المستهدفة.
• التحسين اللاغرانجي (Lagrangian Optimization): يتم تحسين السياسة باستخدام استرخاء لاغرانج لهدف CVaR، حيث يجمع فقدان الفاعل (actor loss) بين ناقد مكافأة المهمة وتكلفة CVaR المقدرة، والموزونة بمعامل لاغرانج $\lambda$ الذي يتم تحديثه بناءً على فائض القيد التجريبي.

المرحلة الثانية: التحقق من الوصول بعد التدريب

بعد التدريب، يقوم إطار العمل بإجراء تقييم سلامة رسمي باستخدام POLAR (الحساب متعدد الحدود للوصول)، وهي أداة تجمع بين حساب نموذج تايلور (Taylor Model - TM) واستكمال كثيرات حدود برنشتاين (Bernstein polynomial interpolation).

• تحليل الوصول (Reachability Analysis): بالنظر إلى عدم يقين الملاحظة المحدد $\epsilon$، تقوم الطريقة بنشر نماذج تايلور عبر الشبكة العصبية المدربة لحساب مجموعة الأفعال الممكن الوصول إليها $A(s, \epsilon)$ المضمونة. تمثل هذه المجموعة جميع الأفعال التي يمكن للسياسة إنتاجها بالنظر إلى عدم اليقين في المدخلات.
• مقياس معدل السلامة (Safety Rate Metric): عرّف المؤلفون مقياس معدل السلامة. بالنسبة لحالة معينة، يتم أخذ عينات من الأفعال من حدود مجموعة الوصول (بما في ذلك النقاط الطرفية والوسطى) ومحاكاة حركة الروبوت. تُعتبر الحالة "آمنة تم التحقق منها" إذا أدت جميع الأفعال المختارة إلى مسارات خالية من التصادم. معدل السلامة هو نسبة الحالات التي تحقق هذا المعيار.
• التكامل: يفترض البحث أن التدريب المقيد بـ CVaR يشكل السياسة بشكل طبيعي نحو توزيعات أفعال محافظة ومحددة بدقة، مما يجعل مجموعات الوصول الناتلة أصغر وأكثر قابلية للتحقق الرسمي مقارنة بالنماذج المعتمدة على التوقع.

3. المساهمات الرئيسية

1. إطار عمل CVaR-Constrained TD3: تصميم إطار عمل لتحسين CVar خارج السياسة يتميز بناقد تكلفة توزيعي مع انحدار الكميات غير المتقاطعة وآلية تحديث VaR تكيفية لاستقرار تقارب الكميات.
2. مقياس سلامة موجه بالتحقق: تطوير إطار عمل للتحقق من السلامة يجمع بين تحليل الوصول POLAR وحدود السلامة الطبقية، مع تقديم مقياس معدل السلامة لقياس متانة السياسة تحت عدم اليقين المحدود في الملاحظة.
3. التحقق التجريبي: تحقق شامل في المحاكاة عبر عشر سيناريوهات ملاحة وستة نماذج أساسية، بالإضافة إلى النقل الناجح من المحاكاة إلى الواقع (sim-to-real transfer) على روبوت مادي من نوع Clearpath Jackal.

4. النتائج التجريبية

أُجريت التجارب في محاكاة Gazebo (ساحة بمساحة 10م $\times$ 10م مع عوائق) وعلى روبوت مادي.

• الأداء مقابل النماذج الأساسية: حقق نظام VIA أعلى معدل نجاح (98.3%) وأدنى معدل تصادم (1.7%) بين جميع الطرق التي تمت مقارنتها (بما في ذلك TD3، وSAC-Lagrangian، وRCPO، وWCSAC، وCVaR-CPO).
• تباعد المقاييس: أحد النتائج الرئيسية هو التباين بين ترتيبات التكلفة المتوسطة وتصنيفات السلامة القائمة على الوصول. على سبيل المثال، حقق RCPO أقل متوسط تكلفة (1.17) ولكن معدل سلامة أقل (98.5% للحلقات الناجحة) مقارنة بـ VIA (99.6%). يوضح هذا أن مقاييس التكلفة المتوسطة يمكن أن تغفل المخاطر الكامنة التي يلتقطها التحقق الرسمي.
• تأثير $\alpha$: أظهرت دراسات الاستئصال (ablation studies) أن زيادة مستوى ثقة CVaR (التركيز على الذيول الأكثر تطرفًا) أدى إلى تحسين كل من معدلات النجاح ومقاييس السلامة، حيث حقق $\alpha=0.9$ الأداء الأكثر تحفظًا ومتانة.
• النقل من المحاكاة إلى الواقع: عند النشر على روبوت Clearpath Jackal، انخفض معدل النجاح إلى 90.0% بسبب الضوضاء الفيزيائية والتأخيرات، ولكن ظل معدل السلامة الإجمالي متطابقًا تقريبًا مع المحاكاة (99.2% مقابل 99.1%)، مما يؤكد أن السياسة تحافظ على هوامش السلامة المتحقق منها في العالم الحقيقي.

5. الأهمية والادعاءات

يدعي البحث أن التحقق من الوصول يلتقط المخاطر التي تغفلها مقاييس التكلفة التجريبية وحدها. ومن خلال الجمع بين التدريب الحساس للمخاطر (CVaR) والتحقق الرسمي بعد التدريب، يوضح المؤلفون أنه يمكن تدريب السياسات ليس فقط لتكون آمنة في المتوسط، بل للحفاظ على هوامش السلامة تحت ظروف عدم اليقين.

يذكر المؤلفون أن هذا العمل هو الأول الذي يدمج تحسين السياسة المقيد بـ CVaR مع التحقق من الوصول للشبكات العصبية خصيصًا للملاحة الروبوتية. ويؤكدون أنه بينما يعد التحقق الرسمي مكلفًا حوسبيًا وعادة ما يقتصر على الشبكات منخفضة الأبعاد أو الصغيرة، فإن نهجهم يستخدم بنيات خفيفة الوزن لتمكين هذا التكامل.

يختتم البحث بتواضع، معترفًا بأن الاعتماد على حساب نموذج تايلور يحد من تعقيد شبكات السياسة القابلة للتحقق. وقد تم تحديد العمل المستقبلي في استكشاف طرق الوصول المعززة بـ GPU ودمج إشارات التحقق مباشرة في حلقة التدريب لتحقيق تحسين السلامة في الحلقة المغلقة.