ملخص تقني: HyPlan - التعلم الهجين المساعد للتخطيط تحت عدم اليقين للقيادة الذاتية الآمنة

1. تعريف المشكلة

تتناول الورقة مشكلة الملاحة الخالية من الاصطدام (CFN) للمركبات ذاتية القيادة (AVs) التي تعمل في بيئات مرورية لا يمكن رصدها بالكامل. الهدف هو تقليل الوقت اللازم للوصول إلى الهدف مع تجنب الاصطدام بالوكلاء الخارجيين (المشاة، راكبي الدراجات، السيارات الأخرى).

يتم نمذجة هذه المشكلة كـ عملية قرار ماركوف ذات رصد جزئي (POMDP). وتشمل الخصائص الرئيسية ما يلي:

• فضاء الحالة (S): يتكون من الحالة الكاملة للسيارة (ego-car) والحالات الجزئية لـ $n$ من الوكلاء الخارجيين. وبينما تكون حالة السيارة (ego-car) قابلة للرصد بالكامل، فإن الوكلاء الخارجيين يمكن رصدهم جزئياً فقط (الموقع فقط، في حال وجود حجب).
• الأفعال (A): مدخلات التحكم التي تتكون من زاوية التوجيه وخيارات تسارع منفصلة (تسارع، تباطؤ، الحفاظ على السرعة).
• القيود: تتضمن البيئة عدم يقين بشأن نوايا الوكلاء وحالات الحجب.
• الفجوة: تواجه الطرق الحالية مقايضة؛ فأساليب التعلم العميق (DL) الصرفة سريعة ولكنها تفتقر إلى ضمانات السلامة. أما مخططات POMDP الصريحة عبر الإنترنت (مثل IS-DESPOT) فهي توفر السلامة والقابلية للإثبات، لكنها تعاني من أوقات تنفيذ عالية، مما يجعلها غير مناسبة للتحكم في الوقت الفعلي مقارنة بنماذج التعلم العميق.

2. المنهجية: HyPlan

إن HyPlan هو مخطط POMDP هجين مدعوم بالتعلم يعمل عبر الإنترنت، صُمم لسد الفجوة بين سلامة التخطيط الصريح وسرعة التعلم العميق. وهو يدمج أربعة مكونات أساسية:

أ. بنية النظام

يعمل HyPlan في حلقة حيث يقوم، لكل ملاحظة مشهد:

1. التنبؤ بسلوك الوكلاء المتعددين: يستخدم نموذج MABP AutoBots للتنبؤ بمسارات الوكلاء الخارجيين.
2. تخطيط المسار: يقوم مخطط Hybrid A* موزون بتوليد مسار آمن للسيارة باستخدام خريطة تكلفة (costmap) غنية بمسارات الوكلاء المتوقعة. وهذا يحدد زاوية التوجيه.
3. تخطيط السرعة (الابتكار الجوهري): يقوم مخطط POMDP متطور يعمل عبر الإنترنت، وهو IS-DESPOT*، بتحديد التسارع الأمثل.

ب. مخطط IS-DESPOT*

إن IS-DESPOT* هو امتداد لمخطط IS-DESPOT القياسي. وتكمن حداثته في كيفية توجيهه لشجرة البحث باستخدام مكون التعلم التعزيزي العميق (DRL):

• NavPPO (المتعلم): تعمل شبكة عصبية قائمة على خوارزمية تحسين السياسة القريبة (PPO) كـ ناقد (critic). وهي تقوم بتقدير قيمة حالات الاعتقاد (الحدود العليا الاستدلالية) لتوجيه المخطط.
• المدخلات لـ NavPPO:
  • "صورة النوايا" ($I$) التي تجمع بين خريطة التكلفة الخاصة بالسيارة، ومسارات الوكلاء المتوقعة، ومسار السيارة المخطط له.
  • سمات الحالة غير المرئية (المكافأة السابقة، الإجراء الأخير، السرعة الحالية).
  • حالات LSTM المخفية للحفاظ على السياق الزمني.
• التدريب: يتم تدريب NavPPO لمحاكاة سياسة مخطط IS-DESPOT* (التعلم بالتقليد) مع تعلم تقدير قيم الحالة. ويستخدم دالة خسارة قائمة على PPO توازن بين محاكاة السياسة ودقة تقدير القيمة.

ج. التقليم الرأسي القائم على الثقة

لتقليل وقت التنفيذ، يقدم HyPlan آلية التقليم الرأسي أثناء التشغيل:

• تقدير عدم اليقين: يقوم NavPPO بعدة تمريرات أمامية عشوائية (باستخدام إسقاط مونت كارلو - Monte Carlo dropout) لتوليد متوسط ($\mu$) وتباين ($\sigma^2$) لتقديرات قيمة حالة الاعتقاد.
• المعايرة: يستخدم النظام CRUDE لمعايرة هذه التقديرات، مما يضمن موثوقية مستويات الثقة ويقلل من النتائج الإيجابية الكاذبة.
• منطق التقليم: يحسب المخطط حداً أدنى استدلالياً موزوناً بالثقة: $L(b) = (1-\phi)L_{tr}(b) + \phi U(b)$، حيث $\phi$ هي الثقة المستمدة من التباين.
  • إذا وصل المخطط إلى حالة اعتقاد ذات تقدير قيمة عالٍ وثقة عالية، فإنه ينهي تجربة التخطيط مبكراً (التقليم الرأسي).
  • يتجنب هذا استكشاف المناطق المألوفة في فضاء الاعتقاد حيث تكون النتيجة متوقعة، مما يسرع عملية اتخاذ القرار بشكل كبير دون المساس بالسلامة.

3. المساهمات الرئيسية

1. إطار عمل HyPlan: بنية هجينة مبتكرة تجمع بين التنبؤ بالوكلاء المتعددين، وتخطيط المسار الصريح، وتخطيط POMDP الموجه بالتعلم التعزيزي العميق.
2. خوارزمية IS-DESPOTS:* مخطط POMDP تقريبي يعمل عبر الإنترنت يستخدم متعلماً قائماً على PPO (وهو NavPPO) لتوفير تقديرات القيمة الاستدلالية ومقاييس الثقة.
3. استراتيجية التقليم الرأسي: آلية لتقليم شجرة البحث ديناميكياً بناءً على ثقة المتعلم في تقديرات القيمة الخاصة به، مما يقلل وقت التخطيط بشكل جذري.
4. آلية المعايرة: دمج CRUDE لمعايرة تقديرات الثقة لمتعلم التعلم العميق، مما يضمن أن قرارات التقليم آمنة وليست مبنية على تنبؤات مفرطة في التفاؤل.

4. النتائج التجريبية

قيم المؤلفون HyPlan باستخدام معيار CARLA-CTS2، وهو مجموعة بيانات تضم 23,000 سيناريو مروري حرج تتضمن عبور المشاة.

مقاييس الأداء

• السلامة: حقق HyPlan أعلى مؤشر سلامة بين جميع الطرق المختبرة (بما في ذلك التعلم العميق الصرف، والتخطيط الصريح الصرف، والأساليب الهجينة الأخرى). فقد سجل أدنى معدل اصطدام (12.36%) وأدنى معدل اقتراب خطير (8.04%).
• وقت التنفيذ: كان HyPlan أسرع بشكل ملحوظ (تقليل بنسبة تصل إلى 40%) من مخططات POMDP الهجلة والصريحة الأخرى (مثل IS-DESPOTp، LEADER، HyLEAP). ومع ذلك، ظل أبطأ بـ 3 إلى 4 مرات من نماذج التعلم العميق الصرفة (NavPPO، NavA2C).
• كفاءة التخطيط: تطلب HyPlan تجارب تخطيط أقل، وأعماق بحث أقل ضحالة، وعقد اعتقاد أقل للتقييم مقارنة بالمخططات البديلة.
• المقايضات:
  • أساليب التعلم العميق الصرفة (NavPPO) كانت الأسرع ولكنها سجلت أسوأ سجل سلامة.
  • المخططات الصريحة الصرفة كانت الأبطأ.
  • قدم HyPlan أفضل مقايضة، حيث أعطى الأولوية للسلامة مع تحسين سرعة التخطيط الصريح بشكل كبير.

دراسة الاستئصال (Ablation Study)

• بدون التقليم الرأسي: كان النظام الأكثر سلامة ولكن لديه أطول وقت تنفيذ.
• بدون معايرة الثقة: كان النظام الأسرع ولكن عانى من أسوأ سلامة بسبب التقليم المفرط في التفاؤل.
• HyPlan الكامل: وفر الجمع بين جميع المكونات التوازن الأمثل بين السلامة ووقت التنفيذ.

5. الأهمية والادعاءات

تدعي الورقة أن HyPlan يعالج بنجاح فجوة الأداء بين التعلم العميق والتخطيط الصريح في القيادة الذاتية.

• السلامة أولاً: أثبتت الدراسة أن الأساليب الهجينة يمكنها الملاحة بأمان أكثر من كل من نماذج التعلم العميق الصرفة ونماذج التخطيط الصريح الصرفة في سيناريوهات المشاة الحرجة.
• الكفاءة: أثبتت الدراسة أن التقليم المدعوم بالتعلم يمكن أن يجعل تخطيط POMDP عبر الإنترنت قابلاً للتطبيق في تطبيقات الوقت الفعلي، مما يقلل وقت التنفيذ بشكل كبير دون التضحية بضمانات السلامة المتأصلة في التخطيط الصريح.
• النطاق المحدود: يقر المؤلفون بأن HyPlan أسرع من مخططات POMDP الصريحة الأخرى، ولكنه لم يغلق بعد فجوة السرعة مع طرق التعلم العميق الصرفة. كما يشيرون إلى أن التقييم الحالي محدود بمعيار CARLA-CTS2، مع وجود خطط لعمل مستقبلي ليشمل سيناريوهات أوسع مثل nuPlan.

يُقدم هذا العمل كخطوة نحو التخطيط لاتخاذ إجراءات صحيحة بشكل مثبت تحت عدم اليقين، والتي لا تعاني من التكاليف الحسابية الباهظة المرتبطة تقليدياً بـ POMDP عبر الإنترنت.