LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving

Los coches autónomos han dependido durante mucho tiempo de sistemas rígidos basados en reglas que siguen un guion estricto, o de marcos de aprendizaje que mapean directamente los datos de los sensores hacia comandos de dirección. Si bien estos enfoques han logrado avances significativos, a menudo luchan contra lo inesperado: situaciones raras y complejas que quedan fuera de sus datos de entrenamiento, como un trabajador de la construcción haciendo un gesto con la mano o un patrón de tráfico repentino y ambiguo. Para cerrar esta brecha, los investigadores se han vuelto hacia los modelos de visión y lenguaje. Estos son potentes sistemas de inteligencia artificial entrenados para comprender tanto imágenes como el lenguaje humano, capaces de razonar sobre una escena de forma muy similar a como lo haría un conductor humano: describiendo lo que ven, interpretando la intención y tomando decisiones basadas en el contexto. La esperanza predominante ha sido que, a medida que estos modelos se vuelquen más avanzados y capaces de un razonamiento general, se vuelvan naturalmente mejores conduciendo, superando eventualmente a los sistemas especializados diseñados únicamente para la carretera.

Un equipo de investigadores de la Universidad de Michigan se propuso probar este supuesto con un examen riguroso y a largo plazo de cómo se desempeñan realmente estos modelos. Introdujeron un nuevo marco de evaluación llamado LightEMMA, diseñado para medir las habilidades de conducción de estos modelos sin darles ningún entrenamiento especial ni retocar sus configuraciones internas. En lugar de enseñar a los modelos cómo conducir, los investigadores simplemente les pidieron que observaran una escena callejera y predijeran hacia dónde debería ir el coche a continuación. Probaron quince modelos diferentes de cinco familias principales, abarcando tres años de rápido desarrollo, utilizando un desafiante conjunto de datos de escenas de conducción urbana del mundo real. El objetivo era ver si los modelos más nuevos y potentes eran realmente mejores conductores que sus predecesores, o si el salto en la inteligencia general no se había traducido en una conducción más segura y precisa.

Los resultados de este estudio longitudinal revelan una desconexión sorprendente. A pesar de que los modelos se han vuelto más grandes, más rápidos en el razonamiento general y más capaces de comprender un lenguaje complejo, no han mejorado consistentemente en la predicción de trayectorias de vehículos. De hecho, algunas de las generaciones más nuevas se desempeñaron peor que versiones anteriores de la misma familia. Cuando los investigadores midieron la precisión de las rutas predichas frente a las rutas reales tomadas por coches reales, encontraron que los modelos más nuevos a menudo cometían errores mayores. Por ejemplo, mientras que uno de los modelos con mejor desempeño de la familia GPT logró un error promedio de poco más de un metro en una ventana de predicción de tres segundos, otros modelos más nuevos de la misma familia o de diferentes familias mostraron tasas de error más altas, superando a veces los dos metros. Esto sugiere que el simple hecho de hacer que un modelo sea más "inteligente" en un sentido general no lo convierte automáticamente en un mejor conductor.

El estudio también descubrió formas específicas en las que estos modelos fallan cuando se enfrentan a escenarios de conducción reales. Un error común involucró una dependencia excesiva del historial reciente del coche. Si un vehículo acababa de girar a la derecha en una intersección, los modelos a menudo continuaban prediciendo una curva hacia la derecha, incluso cuando el coche se había enderezado y el camino frente a él estaba despejado. Lucharon por actualizar su modelo mental basándose en la vista actual, en su lugar, proyectando la acción previa hacia adelante. En otros casos, los modelos no lograron reconciliar señales visuales conflictivas. Cuando un semáforo se puso en verde pero un vehículo estaba detenido directamente delante, algunos modelos predijeron correctamente que el coche debía esperar, mientras que otros ignoraron el obstáculo y predijeron que el coche pasaría a toda velocidad por la intersección. Del mismo modo, al acercarse a una luz roja, algunos modelos predijeron una parada repentina y brusca en lugar de una deceleración suave, mientras que otros no frenaron en absoluto.

Más allá de la precisión, los investigadores examinaron los costos prácticos de usar estos modelos para la conducción. Encontraron que el tiempo de inferencia —el tiempo que tarda el modelo en procesar una imagen y generar una predicción— variaba ampliamente. El modelo más rápido tardó unos 4.5 segundos en procesar un solo fotograma, mientras que el más lento tardó más de 40 segundos. Para un coche que viaja a velocidades de autopista, esperar incluso unos segundos para tomar una decisión es demasiado tiempo; la conducción en tiempo real requiere decisiones en milisegundos. Además, el costo de usar modelos comerciales para esta tarea fue significativo, con algunos costando varios centavos por fotograma, lo que sumaría un gasto prohibitivo para una operación continua. El estudio también señaló que incluso los mejores modelos ocasionalmente fallaban al seguir instrucciones, produciendo salidas que eran difíciles de leer o analizar, aunque los investigadores desarrollaron un método para corregir la mayoría de estos errores de formato.

En última instancia, el trabajo sugiere que el camino hacia una conducción autónoma segura utilizando modelos de visión y lenguaje requiere más que simplemente esperar a la próxima generación de IA de propósito general. Los modelos son capaces de describir una escena y comprender el lenguaje, pero carecen de la intuición específica y entrenada en el dominio necesaria para navegar el mundo físico de manera segura y confiable. Los investigadores concluyen que, para que estos sistemas sean viables, necesitarán una adaptación especializada para aprender las reglas y la dinámica específicas de la conducción, en lugar de depender únicamente de sus capacidades de razonamiento general y amplio. El marco LightEMMA se presenta ahora como una herramienta para que la comunidad continúe probando y refinando estos modelos, asegurando que los futuros avances en la inteligencia artificial se traduzcan en mejoras tangibles en la carretera.