Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

لقد كان حلم السيارة التي تقود نفسها ذاتياً سمة ثابتة في الخيال العلمي لعقود من الزمن، واعداً بمستقبل يُرفع فيه عن كاهل البشر عبء التوجيه والكبح والملاحة وسط حركة المرور. وعلى مدار العشرين عاماً الماضية، عمل المهندسون على تحويل هذا الوعد إلى واقع، من خلال بناء أنظمة يمكنها رؤية الطريق، والتنبؤ بما سيفعله السائقون الآخرون، واتخاذ القرار بشأن كيفية التحرك بأمان. وتعتمد هذه الأنظمة على ثلاث ركائز أساسية: القدرة على إدراك العالم من خلال الكاميرات وأجهزة الاستشعار، والقدرة على تخمين أين سيذهب الأشخاص والمركبات الأخرى لاحقاً، والقدرة على تخطيط مسار آمن للأمام. وبينما شهدنا أساطيل تجريبية تعمل في مدن محددة، فإن التكنولوجيا ليست جاهزة بعد للطرق المفتوحة في كل مكان. ولا يزال هناك عقبة رئيسية قائمة: كيف نعرف ما إذا كان برنامج حاسوبي واحد أفضل حقاً من غيره؟ فغالباً ما تختبر فرق البحث المختلفة برمجياتها في عوالم افتراضية مختلفة أو بقواعد مختلفة، مما يجعل من المستحيل مقارنتها بشكل عادل. وبدون أرضية مشتركة، يصعب معرفة ما إذا كانت الطريقة الجديدة تمثل قفزة حقيقية للأمام أم أنها مجرد طريقة تعمل فقط في اختبار معين.

قرر فريق من الباحثين في جامعة جنوب كاليفورنيا حل هذه المشكلة عبر جلب ثمانية من أكثر أنظمة التخطيط المتقدمة للقيادة الذاتية إلى ساحة افتراضية واحدة مشتركة. وقد اختاروا منصة محاكاة شهيرة تسمى "CARLA"، والتي تعيد محاكاة فيزياء القيادة وتعقيدات شوارع المدينة، واستخدموها كحكم محايد. أخذ الباحثون نماذج برمجية كانت قد فازت سابقاً بالمراكز الأولى في ثلاث مسابقات رئيسية مختلفة؛ إحداها استندت إلى بيانات من العالم الحقيقي من شركة "Waymo"، وأخرى من مجموعة بيانات "nuPlan"، والعديد من النماذج من مجتمع "CARLA" نفسه، وأجبروها على العمل على نفس المسارات، ومواجهة نفس حالات الازدحام المروري، والمشاة، ومناطق الإنشاءات. لم يكن الهدف هو إنشاء معيار جديد، بل معرفة كيف ستؤدي هذه الأساليب المختلفة، التي طُورت في عزلة عن بعضها البعض، عند تقييمها وفقاً لنفس المعايير تماماً. وشملت الدراسة مجموعة متنوعة من الأساليب: بعضها يعتمد على قواعد صارمة كتبها البشر، وبعضها يتعلم من خلال مراقبة السائقين البشر، وبعضها يتعلم من خلال التجربة والخطأ مثل شخصية في لعبة فيديو، وبعضها يستخدم نماذج رياضية معقدة للتنبؤ بالمستقبل.

وكشفت نتائج هذه المقارنة المباشرة أنه لا توجد طريقة واحدة "مثلى" لبناء سائق ذاتي القيادة. وبدلاً من ذلك، أظهرت الدراسة أن نقاط القوة والضعف في النظام تعتمد بشكل كبير على مقدار المعلومات المسموح له برؤيتها وكيفية تدريبه. ووجد الباحثون أن المخططات التي مُنحت معلومات "مميزة" — أي التي يمكنها رؤية الموقع والسرعة الدقيقة لكل سيارة ومشاة آخرين، كما لو كان لديها خريطة مثالية للعالم بأكمله — قد أدت أداءً أفضل بكثير في المسارات الطويلة والمتواصلة. هذه الأنظمة، التي تضمنت مخططاً قائماً على القواعد ونموذجاً تدرب على محاكاة القيادة البشرية، تمكنت من إكمال ما يقرب من 97 في المائة من المسارات المخصصة لها دون وقوع حوادث. وفي المقابل، أكمل النظام الأكثر نجاحاً الذي اعتمد فقط على أجهزة الاستشعار القياسية، مثل الكاميرات وماسحات الليزر الضوئية، حوالي 70 في المائة من المسارات. ويشير هذا إلى أنه بينما تعد أجهزة الاستشعار جيدة للتعامل مع التفاعلات المحلية السريعة، فإن امتلاك رؤية مثالية شاملة لوضع حركة المرور أمر بالغ الأهمية للحفاظ على التقدم عبر المسافات الطويلة.

ومع ذلك، فإن امتلاك رؤية مثالية أو معدل إكمال مرتفع لا يضمن القيادة الآمنة أو القانونية. فقد كشفت الدراسة عن مقايضة مفاجئة بين الوصول إلى الوجهة واتباع القواعد. فأحد النماذج الأعلى أداءً، والذي جمع بين محرك تنبؤ قوي ونظام تحكم مصمم لاتباع مسار محدد، كان ممتازاً في البما للبقاء على الطريق والوصول إلى وجهته. ومع ذلك، فقد انتهك قوانين المرور بشكل متكرر، مثل تجاوز الإشارات الحمراء أو تجاهل لوحات التوقف، لأن تعليماته ركزت على البقاء في المسار بدلاً من طاعة القواعد. ومن ناحية أخرى، كان النموذج الذي تم تدريبه باستخدام التعلم التعزيزي، والذي يتعلم من خلال تلقي مكافآت على السلوك الجيد وعقوبات على السلوك السيئ، جيداً جداً في تجنب المخالفات ولكنه واجه صعوبة في إكمال المسارات الطويلة بكفاءة. يسلط هذا الضوء على تحدٍ حاسم: يمكن للسيارة ذاتية القيادة أن تكون جيدة جداً في المضي قدماً أو جيدة جداً في كونها مهذبة، لكن دمج هاتين الصفتين في نظام واحد لا يزال أمراً صعباً.

ولعل النتيجة الأكثر كشفاً هي أنه لا يوجد نهج واحد يمكنه التعامل باستمرار مع المواقف الأكثر فوضوية. فعندما اختبر الباحثون النماذج ضد سيناريوهات محددة تتضمن عوائق، مثل فتح باب سيارة في مسار الطريق، أو منطقة بناء، أو خروج مشاة بشكل غير متوقع، عانت كل طريقة من الطرق. وسواء كان النظام قائماً على القواعد، أو التعلم من البيانات، أو التنبؤات الرياضية المعقدة، لم يتمكن أي منها من التنقل بموثوقية في هذه البيئات المليئة بالعوائق دون ارتكاب أخطاء. ويشير هذا إلى أن القدرة على اتخاذ قرارات دقيقة حول الأشياء غير العادية هي عقبة مشتركة في المجال بأكمله. كما أظهرت الدراسة أن النظر فقط إلى النتيجة النهائية قد يكون مضللاً؛ فقد ينتهي الأمر بنظامين بنفس التقييم الإجمالي، ولكن أحدهما قد فشل لأنه تعرض لحادث، بينما فشل الآخر لأنه خرق القواعد. ومن خلال تفكيك النتائج إلى أنواع محددة من مواقف القيادة، أظهر الباحثون أن الدرجة العالية يمكن أن تخفي أنواعاً مختلفة تماماً من الإخفاقات.

كما قدم الباحثون نهجاً هجيناً جديداً للاختبار، حيث أخذوا نموذجاً مشهوراً بقدرته على التنبؤ بمكان ذهاب السيارات الأخرى وأضافوا إليه وحدة تخطيط. أدى هذا النظام الجديد أداءً جيداً في الحفاظ على مسار السيارة، ولكنه، مثل النماذج المتفوقة الأخرى، لا يزال يعاني مع قواعد المرور. وخلصت الدراسة إلى أنه بينما قطعنا شوطاً كبيراً في محاكاة واختبار تكنولوجيا القيادة الذاتية، إلا أننا لسنا بعد في النقطة التي تجعل هذه الأنظمة جاهزة للنشر الجماعي. إن الفجوة بين سيارة يمكنها القيادة في مضمار اختبار هادئ وسيارة يمكنها التعامل مع الفوضى غير المتوقعة لمدينة حقيقية لا تزال كبيرة. ويعمل هذا العمل كخارطة طريق واضحة للمستقبل، حيث يوضح أن الاختراقات القادمة لن تأتي ببساطة من جعل جزء واحد من النظام أسرع أو أذكى، بل من حل التوازن الصعب بين اتباع المسار، وطاعة القانون، والاستجابة بأمان لما هو غير متوقع. وإلى أن يتم إيجاد هذا التوازن، يظل الوعد بمركبات ذاتية القيادة بالكامل بعيد المنال.