DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

El artículo presenta DrivingGen, el primer benchmark integral para modelos de mundo generativos en conducción autónoma, que aborda las limitaciones actuales mediante un conjunto de datos diverso y nuevas métricas para evaluar de forma rigurosa la realismo visual, la plausibilidad de las trayectorias, la coherencia temporal y el control en la simulación de escenarios de conducción.

Lo esencial

Imagina que quieres enseñar a un robot a conducir un coche por todo el mundo, pero no quieres arriesgar vidas reales ni gastar millones en accidentes. ¿Qué haces? Le das un "sueño" al robot: un video generado por inteligencia artificial que simula cómo sería conducir bajo la lluvia, de noche, en medio de un atasco o con un peatón cruzando de repente.

Este es el corazón de la Inteligencia Artificial Generativa para la Conducción. Pero aquí surge un gran problema: ¿Cómo sabes si el sueño del robot es bueno o si es una alucinación peligrosa?

Hasta ahora, los científicos tenían reglas de examen muy simples, como decir: "¿Se ve bonito el video?". Pero en la conducción, que un video se vea bonito no significa que sea seguro. Podría parecer una película de Hollywood, pero si el coche fantasma atraviesa un muro o desaparece mágicamente, el robot aprendería cosas terribles.

Aquí es donde entra DrivingGen, el nuevo "examen de conducir" definitivo presentado en la conferencia ICLR 2026.

🚗 ¿Qué es DrivingGen? (El "Simulador de Sueños" Realista)

DrivingGen no es solo un conjunto de videos; es un laboratorio de pruebas completo diseñado para poner a prueba a las inteligencias artificiales que crean estos mundos virtuales.

Imagina que DrivingGen es como un entrenador de pilotos de Fórmula 1 que tiene tres herramientas principales:

1. El "Circuito de Entrenamiento" (El Dataset)

Antes, los coches autónomos se entrenaban casi exclusivamente en días soleados y perfectos, como si solo vivieran en un verano eterno. Si llovía o nevaba, el robot se perdía.

• La analogía: DrivingGen es como un entrenador que lleva al robot a conducir en tormentas de arena, niebla densa, amaneceres confusos y ciudades desconocidas.
• Han creado un banco de datos con 400 situaciones reales y variadas (lluvia, nieve, diferentes países) para asegurarse de que el robot no solo aprenda a conducir en "tierra de nadie", sino en el mundo real, con todos sus peligros y sorpresas.

2. El "Juez Estricto" (Las Nuevas Métricas)

Antes, los jueces solo miraban si la imagen era nítida. DrivingGen tiene un panel de jueces mucho más exigente que revisa cuatro cosas:

• Realismo Visual: ¿Se ve como un video real o como un dibujo animado?
• Física del Coche: ¿El coche se mueve como un coche real? Si el video muestra un coche girando en un ángulo imposible o acelerando como un cohete, el juez lo penaliza.
• Consistencia de los Personajes: Si hay un peatón en la pantalla, ¿sigue siendo el mismo peatón en el siguiente segundo? O ¿de repente se convierte en un árbol o desaparece? DrivingGen detecta estos "errores mágicos" que antes pasaban desapercibidos.
• Control: Si le dices al robot "gira a la izquierda", ¿el coche en el video gira a la izquierda o sigue recto? Esto es vital para que el robot obedezca las órdenes.

3. La "Carrera de Pruebas" (Los Resultados)

Los autores probaron 14 modelos de inteligencia artificial (desde los modelos generales de video hasta los especializados en conducción) en este nuevo examen.

¿Qué descubrieron? (La Gran Revelación)
Es como si hubieran hecho una carrera entre dos tipos de corredores:

• Los "Artistas Visuales" (Modelos Generales): Son increíbles creando videos que parecen películas de Hollywood. Todo se ve hermoso, pero... ¡a veces rompen las leyes de la física! Sus coches pueden atravesar paredes o moverse de forma extraña. Son bonitos, pero peligrosos para conducir.
• Los "Ingenieros de Tráfico" (Modelos Específicos de Conducción): Estos modelos entienden perfectamente cómo se mueven los coches y siguen las órdenes de giro. Son muy precisos, pero sus videos a veces se ven un poco borrosos o extraños, como si hubieran sido grabados con una cámara vieja.

El problema: Ningún modelo actual es perfecto en ambas cosas. O son muy bonitos pero poco realistas, o son muy realistas pero feos. DrivingGen nos dice: "¡Oye, aquí es donde tenemos que trabajar!".

🌟 ¿Por qué es importante esto?

DrivingGen es como el primer examen de conducir oficial que no solo pregunta "¿sabes conducir?", sino que también pregunta: "¿Sabes conducir bajo la lluvia, sin chocar con otros coches y obedeciendo las señales?".

Al tener un estándar tan riguroso, los científicos ahora saben exactamente dónde fallan sus robots. Esto acelerará el día en que tengamos coches autónomos que no solo "vean" el mundo, sino que lo entiendan y predigan con seguridad, permitiéndonos viajar sin miedo a que el coche se alucine y se estrelle contra un poste.

En resumen: DrivingGen es la brújula que nos dice si la Inteligencia Artificial está lista para conducirnos de verdad, o si todavía está soñando despierta.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving", presentado en ICLR 2026.

1. El Problema

A pesar del rápido avance en los modelos generativos de video y su aplicación como "modelos del mundo" para la conducción autónoma, el campo carece de un benchmark riguroso y estandarizado. Las evaluaciones actuales presentan limitaciones críticas:

• Métricas Genéricas Insuficientes: Las métricas de video estándar (como FVD) ignoran factores críticos para la seguridad, como artefactos de sensores, deslumbramientos o la plausibilidad física del movimiento.
• Falta de Consistencia Temporal y de Agentes: Se descuida la coherencia a nivel de agentes individuales (ej. cambios abruptos de apariencia o desapariciones no físicas), lo cual es vital para la toma de decisiones.
• Controlabilidad Ignorada: No se evalúa adecuadamente si el video generado sigue fielmente las condiciones de entrada (trayectoria del vehículo ego).
• Diversidad de Datos Limitada: Los conjuntos de datos existentes (como nuScenes) están sesgados hacia condiciones de clima soleado y diurno, subrepresentando escenarios críticos (noche, lluvia, nieve, niebla) y diversas geografías.

2. Metodología

DrivingGen propone un marco de evaluación integral que combina un conjunto de datos diverso con un suite de métricas específicas para la conducción.

A. Conjunto de Datos (DrivingGen Dataset)

El benchmark utiliza un conjunto de datos curado de 400 muestras, dividido en dos pistas para evaluar diferentes capacidades:

1. Pista de Dominio Abierto (Open-Domain): Diseñada para evaluar la generalización en escenarios diversos e inéditos. Utiliza datos de internet que cubren múltiples regiones globales, climas extremos (nieve, inundaciones, tormentas de arena) y horarios (amanecer, atardecer, noche).
2. Pista Condicionada al Ego (Ego-Conditioned): Se centra en la controlabilidad. Evalúa si el modelo puede generar un video que siga una trayectoria específica del vehículo ego proporcionada como entrada. Los datos se agregan de cinco conjuntos de datos de código abierto (Zod, DrivingDojo, COVLA, nuPlan, WOMD).

El dataset equilibra la distribución de clima, hora del día y regiones geográficas para evitar sesgos y asegurar una evaluación robusta.

B. Suite de Métricas (DrivingGen Metrics)

Se introducen cuatro dimensiones de evaluación que van más allá de la calidad visual:

1. Distribución:
   • FVD (Fréchet Video Distance): Mide la similitud visual entre videos generados y reales.
   • FTD (Fréchet Trajectory Distance): Una métrica novel que mide la distancia de distribución de las trayectorias inducidas, utilizando un codificador de movimiento (MTR) para evaluar la plausibilidad física del movimiento.
2. Calidad:
   • Calidad Subjetiva: Utiliza CLIP-IQA+ para alinear la puntuación con la percepción humana.
   • Calidad Objetiva (Driving-Specific): Implementa la Probabilidad de Mitigación de Modulación (MMP) del estándar IEEE P2020 para detectar parpadeos inducidos por PWM en luces, críticos para la percepción de sensores.
   • Calidad de Trayectoria: Evalúa la comodidad (jerk, aceleración lateral), la movilidad y la curvatura para asegurar que el movimiento sea kinemáticamente plausible.
3. Consistencia Temporal:
   • Consistencia de Video y Agentes: Evalúa la estabilidad de la escena y de los agentes individuales (cambios de textura/forma) usando flujos ópticos y seguimiento (SAM2).
   • Desaparición Anormal de Agentes: Utiliza un Modelo de Lenguaje Visual (VLM) para distinguir entre desapariciones naturales (occlusión, salida de campo) y no físicas (desvanecimiento abrupto).
   • Consistencia de Trayectoria: Mide la estabilidad de la velocidad y aceleración a lo largo del tiempo.
4. Alineación de Trayectoria (Trajectory Alignment):
   • ADE (Average Displacement Error): Error medio punto a punto entre la trayectoria generada y la de referencia.
   • DTW (Dynamic Time Warping): Evalúa la discrepancia en la forma y contorno general de la trayectoria, alineando temporalmente las trayectorias.

3. Contribuciones Clave

1. Primer Benchmark Integral: Es la primera evaluación unificada que aborda simultáneamente la realidad visual, la plausibilidad física, la coherencia temporal y la controlabilidad en modelos del mundo para conducción.
2. Datos Diversos y Equilibrados: Un conjunto de datos que supera los sesgos de clima y geografía de los benchmarks anteriores, incluyendo condiciones de "cola larga" (clima extremo, noche).
3. Métricas Específicas para Robótica/Conducción: Introducción de FTD, métricas de calidad de imagen basadas en estándares automotrices (MMP) y evaluaciones de consistencia de agentes que los benchmarks de video general ignoran.
4. Evaluación de 14 Modelos SOTA: Un análisis exhaustivo que incluye modelos de video general (Kling, Gen-3, Wan), modelos físicos (Cosmos) y modelos específicos de conducción (Vista, DrivingDojo).

4. Resultados y Hallazgos

La evaluación de 14 modelos revela compensaciones (trade-offs) claras:

• Modelos de Código Cerrado (Closed-Source): Modelos como Kling y Gen-3 lideran en calidad visual, coherencia de agentes y ranking general. Generan escenas visualmente atractivas pero a veces fallan en la consistencia física estricta de las trayectorias.
• Modelos Específicos de Conducción: Modelos como Vista o DrivingDojo muestran una mejor adherencia a las trayectorias condicionadas (bajo ADE/DTW) y movimiento físicamente plausible, pero a menudo sufren de menor fidelidad visual (artefactos, menor realismo) en comparación con los modelos generales.
• Brecha en Controlabilidad: Ningún modelo actual logra combinar perfectamente un realismo fotográfico alto con una adherencia precisa y físicamente consistente a las trayectorias de control.
• Fallo de Métricas Únicas: Los modelos pueden tener un buen FVD (distribución cercana) pero exhibir comportamientos no físicos (jitter, desapariciones), lo que demuestra que las métricas tradicionales son insuficientes para garantizar la seguridad.

5. Significado e Impacto

DrivingGen establece un marco unificado y reproducible para el desarrollo de modelos del mundo en conducción autónoma. Su importancia radica en:

• Seguridad y Despliegue: Al evaluar explícitamente la plausibilidad física y la consistencia de agentes, el benchmark guía el desarrollo hacia modelos más seguros y fiables para la simulación de casos extremos (corner cases).
• Generación de Datos Sintéticos: Facilita la creación de datos sintéticos de alta calidad para entrenar sistemas de conducción autónoma, reduciendo la dependencia de datos del mundo real.
• Dirección de la Investigación: Identifica las brechas actuales (ej. la dicotomía entre calidad visual y control físico), orientando a la comunidad hacia la creación de modelos que integren ambas capacidades.
• Reproducibilidad: El dataset y el código de evaluación están disponibles públicamente, fomentando la investigación transparente en simulación de conducción.

En resumen, DrivingGen no solo mide el progreso, sino que redefine los criterios de éxito para los modelos generativos en el dominio de la conducción autónoma, priorizando la seguridad física y la controlabilidad sobre el mero realismo visual.