Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

El sueño de un coche que se conduce a sí mismo ha sido un elemento fijo de la ciencia ficción durante décadas, prometiendo un futuro donde la carga de dirigir, frenar y navegar el tráfico sea levantada de los hombros humanos. Durante los últimos veinte años, los ingenieros han trabajado para convertir esa promesa en realidad, construyendo sistemas que puedan ver la carretera, predecir qué harán otros conductores y decidir cómo moverse con seguridad. Estos sistemas se basan en tres pilares principales: la capacidad de percibir el mundo a través de cámaras y sensores, la capacidad de adivinar hacia dónde irán otras personas y vehículos, y la capacidad de planificar un camino seguro hacia adelante. Si bien hemos visto flotas de prueba operar en ciudades específicas, la tecnología aún no está lista para la carretera abierta en todas partes. Un obstáculo importante persiste: ¿cómo sabemos si un programa informático es realmente mejor que otro? Diferentes equipos de investigación suelen probar su software en diferentes mundos virtuales o con diferentes reglas, lo que hace imposible compararlos de manera justa. Sin un terreno común, es difícil saber si un nuevo método es un salto genuino hacia adelante o simplemente un método que funciona solo en una prueba específica.

Un equipo de investigadores de la Universidad del Sur de California decidió resolver este problema llevando ocho de los planificadores autónomos más avanzados a una única arena virtual compartida. Eligieron una plataforma de simulación popular llamada CARLA, que recrea la física de la conducción y la complejidad de las calles de la ciudad, y la utilizaron como un juez neutral. Los investigadores tomaron modelos de software que previamente habían obtenido los primeros puestos en tres grandes competiciones diferentes —una basada en datos del mundo real de Waymo, otra de la base de datos nuPlan, y varias de la propia comunidad de CARLA— y los obligaron a correr en las mismas pistas, enfrentando los mismos atascos, peatones y zonas de construcción. El objetivo no era crear un nuevo estándar de referencia, sino ver cómo estos diferentes enfoques, que habían sido desarrollados de forma aislada, se comportarían al ser juzgados por los mismos estándares exactos. El estudio incluyó una amplia variedad de métodos: algunos que dependen de reglas estrictas escritas por humanos, otros que aprenden observando a conductores humanos, otros que aprenden mediante ensayo y error como un personaje de un videojuego, y otros que utilizan modelos matemáticos complejos para predecir el futuro.

Los resultados de esta comparación directa revelaron que no existe una única "mejor" forma de construir un conductor autónomo. En cambio, el estudio mostró que las fortalezas y debilidades de un sistema dependen en gran medida de cuánta información se le permite ver y cómo es entrenado. Los investigadores encontraron que los planificadores que recibieron información "privilegiada" —es decir, que podían ver la ubicación y velocidad exacta de cada otro coche y peatón, como si tuvieran un mapa perfecto de todo el mundo— funcionaron significativamente mejor en rutas largas y continuas. Estos sistemas, que incluían un planificador basado en reglas y un modelo entrenado para imitar la conducción humana, lograron completar casi el 97 por ciento de sus rutas asignadas sin chocar. En contraste, el sistema más exitoso que dependía únicamente de sensores estándar, como cámaras y escáneres láser, completó alrededor del 70 por ciento de las rutas. Esto sugiere que, si bien los sensores son buenos para manejar interacciones rápidas y locales, tener una visión perfecta y panorámica de la situación del tráfico es crucial para mantener el progreso en distancias largas.

Sin embargo, tener una visión perfecta o una alta tasa de finalización no garantiza una conducción segura o legal. El estudio descubrió un compromiso sorprendente entre llegar al destino y seguir las reglas. Uno de los modelos con mejor desempeño, que combinaba un potente motor de predicción con un sistema de control diseñado para seguir un camino establecido, fue excelente para mantenerse en la carretera y alcanzar su destino. No obstante, violó frecuentemente las leyes de tránsito, como pasarse semáforos en rojo o ignorar señales de alto, porque sus instrucciones se centraban en mantenerse en el camino en lugar de obedecer las reglas. Por otro lado, un modelo entrenado mediante aprendizaje por refuerzo, que aprende recibiendo recompensas por buen comportamiento y penalizaciones por mal comportamiento, fue muy bueno evitando infracciones pero tuvo dificultades para completar rutas largas de manera eficiente. Esto resalta un desafío crítico: un coche autónomo puede ser muy bueno moviéndose hacia adelante o muy bueno siendo cortés, pero combinar ambos rasgos en un solo sistema sigue siendo difícil.

Quizás el hallazgo más revelador fue que ningún enfoque único podía manejar consistentemente las situaciones más caóticas. Cuando los investigadores probaron los modelos contra escenarios específicos que involucraban obstáculos, tales como una puerta de coche abriéndose hacia el carril, una zona de construcción o un peatón cruzando inesperadamente, todos los métodos tuvieron dificultades. Ya fuera que el sistema se basara en reglas, en el aprendizaje de datos o en predicciones matemáticas complejas, ninguno pudo navegar de manera confiable estos entornos complicados y llenos de obstáculos sin cometer errores. Esto sugiere que la capacidad de tomar decisiones detalladas alrededor de objetos inusuales es un cuello de botella compartido para todo el campo. El estudio también demostró que mirar solo una puntuación final puede ser engañoso. Dos sistemas pueden terminar con la misma calificación general, pero uno pudo haber fallado porque chocó, mientras que el otro falló porque rompió las reglas. Al desglosar los resultados en tipos específicos de situaciones de conducción, los investigadores mostraron que una puntuación alta puede ocultar tipos de fallos muy diferentes.

Los investigadores también introdujeron un nuevo enfoque híbrico para la prueba, tomando un modelo famoso por predecir hacia dónde irán los otros coches y añadiéndole un módulo de planificación. Este nuevo sistema funcionó bien manteniendo el coche en su trayectoria, pero, al igual que los otros de alto desempeño, todavía tuvo problemas con las reglas de tráfico. El estudio concluyó que, si bien hemos realizado progresos tremendos en la simulación y prueba de la tecnología de conducción autónoma, aún no estamos en el punto en que estos sistemas estén listos para el despliegue masivo. La brecha entre un coche que puede conducir en una pista de pruebas tranquila y uno que puede manejar el caos impredecible de una ciudad real sigue siendo significativa. El trabajo sirve como una hoja de ruta clara para el futuro, mostrando que los próximos avances no vendrán simplemente de hacer una parte del sistema más rápida o más inteligente, sino de resolver el difícil equilibrio entre seguir un camino, obedecer la ley y reaccionar con seguridad ante lo inesperado. Hasta que se encuentre ese equilibrio, la promesa de los vehículos totalmente autónomos permanece justo fuera de nuestro alcance.