OmniNWM: Omniscient Driving Navigation World Models

OmniNWM introduce un modelo de mundo probabilístico unificado que aborda simultáneamente las dimensiones de estado, acción y recompensa mediante la generación de videos multimodales panorámicos alineados, permitiendo un control de trayectoria zero-shot preciso a través de la codificación geométrica de acciones y derivando recompensas densas intrínsecas a partir de la ocupación 3D para una evaluación robusta de la planificación en bucle cerrado.

Lo esencial

Imagina que estás intentando enseñarle a un robot cómo conducir un coche. Para hacer esto de forma segura, no basta con mostrarle unos cuantos vídeos; necesitas construir un mundo virtual dentro de una computadora donde el robot pueda practicar la conducción, cometer errores y aprender de ellos sin chocar un coche real.

Este artículo presenta OmniNWM, un nuevo tipo de "simulador de conducción virtual" que es mucho más inteligente que las versiones anteriores. Los autores lo llaman un modelo de mundo "Omnisciente" porque no solo adivina cómo es la carretera, sino que entiende la carretera, el movimiento del coche y las consecuencias de sus acciones, todo al mismo tiempo.

Así es como funciona, desglosado en tres partes sencillas utilizando analogías de la vida cotidiana:

1. El "Ojo que todo lo ve" (Estado)

El Problema: Los simuladores antiguos eran como una persona con los ojos vendados que solo ve una cosa a la vez. Podían generar un vídeo de la carretera, pero si intentaban adivinar la distancia a un árbol o el color de una señal, esas suposiciones a menudo no coincidían con el vídeo. Era como ver una película donde el fondo cambia aleatoriamente.

La Solución de OmniNWM: OmniNWM actúa como un maestro pintor que pinta cuatro versiones diferentes de la misma escena simultáneamente sobre un único lienzo:

1. La Foto (RGB): Lo que ve la cámara.
2. El Mapa (Semántica): Lo que las cosas son (por ejemplo, "eso es un coche", "eso es una carretera").
3. La Regla (Profundidad): Qué tan lejos están las cosas.
4. El Bloque 3D (Ocupación): Un modelo sólido en 3D del espacio (¿hay aire o hay una pared?).

Debido a que pinta las cuatro al mismo tiempo, todas coinciden perfectamente. Si el robot piensa que un coche está a 10 metros de distancia en la versión de "profundidad", la versión de la "foto" también mostrará el coche con el tamaño correcto. Esto asegura que el mundo virtual sea físicamente consistente.

2. El "Control Remoto Universal" (Acción)

El Problema: En los simuladores antiguos, enseñar al robot a girar a la izquierda era como intentar enseñarle a conducir usando un control remoto que solo funcionaba con una marca específica de televisor. Si cambiabas la configuración de la cámara (el "televisor"), el control remoto dejaba de funcionar. El robot se confundía porque aprendía la forma de la cámara, no la idea de girar.

La Solución de OmniNWM: Los autores inventaron un "Control Remoto Universal" llamado Mapa de Rayos Panorámico Normalizado.

• Imagina que tienes un mapa de una ciudad. Tanto si miras el mapa desde el Norte, el Sur o boca abajo, el diseño de la ciudad no cambia.
• OmniNWM traduce cada instrucción de conducción (como "girar a la izquierda" o "ir recto") a este lenguaje de mapa universal.
• Esto significa que el robot puede aprender a conducir en una ciudad (con un conjunto de cámaras determinado) y luego conducir inmediatamente en una ciudad completamente diferente con cámaras distintas, sin necesidad de volver a aprender nada. Entiende la geometría del giro, no solo el ángulo de la cámara.

3. La "Conciencia Natural" (Recompensa)

El Problema: Normalmente, para enseñar a un robot, necesitas a un profesor humano que diga: "¡Buen trabajo!" o "¡Mal trabajo!" después de cada movimiento. En una simulación por computadora, este profesor suele ser un programa separado de "caja negra" que puede ser erróneo o inconsistente.

La Solución de OmniNCM: OmniNWM le da al robot una conciencia integrada.

• Debido a que el simulador crea un modelo 3D perfecto del mundo (la "Ocupación" mencionada anteriormente), el robot puede comprobar instantáneamente: "¿Choqué contra una pared?" o "¿Estoy conduciendo por la acera?".
• La computadora calcula una "puntuación" (recompensa) automáticamente basada en la física. Si el robot conduce hacia un árbol virtual, recibe una penalización. Si se mantiene en su carril, recibe un bono.
• Esto crea un bucle cerrado: el robot conduce, el mundo comprueba si fue seguro, otorga una puntuación y el robot utiliza esa puntuación para planificar su siguiente movimiento. Es como jugar a un videojide donde el propio motor del juego te dice si estás ganando o perdiendo, sin necesidad de un árbitro humano.

¿Por qué es esto importante?

El artículo afirma que, debido a que OmniNWM combina estas tres cosas (ver todo con claridad, entender el movimiento de forma universal y juzgar la seguridad automáticamente), puede:

• Conducir durante mucho más tiempo: No se confunde ni se "desvía" de la carretera después de unos segundos como los modelos anteriores.
• Gestionar situaciones nuevas: Puede conducir en ciudades que no ha visto antes (como el conjunto de datos nuPlan) porque entiende las reglas universales de la conducción, no solo los datos específicos con los que fue entrenado.
• Simular interacciones: Si el robot intenta meterse delante de un camión, el simulador hace que el camión "frene" o "ceda el paso" de forma natural, porque aprendió cómo reaccionan los conductores reales, no porque alguien haya programado un guion para ello.

En resumen, OmniNWM es una escuela de conducción de alta fidelidad y autónoma donde el robot puede practicar durante horas, aprender de sus propios errores y convertirse en un conductor seguro, todo sin necesidad de que un humano le lleve de la mano o de que una configuración de cámara específica funcione.

Resumen técnico

Resumen Técnico: OmniNWM – Modelos de Mundo de Navegación de Conducción Omniscientes

1. Declaración del Problema

Los modelos de mundo para la conducción autónoma pretenden aproximar la distribución posterior multimodal conjunta de los entornos del mundo real, unificando la predicción de estados, la evaluación de acciones y la asignación de recompensas dentro de un único marco probabilístico. Sin embargo, los métodos existentes enfrentan tres cuellos de botella fundamentales que impiden la realización de un modelo de mundo verdaderamente "omnisciente":

1. Consistencia Conjunta a Largo Plazo en el Estado: Los enfoques actuales suelen depender de videos RGB de una sola modalidad o tratan la simulación de sensores multimodales (p. ej., profundidad, semántica) como tareas condicionales independientes. Esto conduce a una "falacia de independencia condicional", causando desalineación a nivel de píxel y una rápida degradación de la coherencia temporal durante los despliegues de largo horizonte debido al sesgo de exposición autorregresivo.
2. Desplazamiento de Covariables Geométricas en la Acción: El control preciso de la cámara se ve obstaculizado por el entrelazamiento de la dinámica de movimiento con geometrías de montaje de sensores específicas. Las representaciones dispersas existentes (p. ej., puntos de ruta, poses de cámara puras) se sobreajustan a calibraciones extrínsecas específicas, fallando al generalizar en cero pasos (zero-shot) a través de nuevos conjuntos de datos, configuraciones de cámara o tipos de trayectoria.
3. Falta de Recompensas Intrínsecas: Los modelos de mundo válidos requieren señales de recompensa físicamente fundamentadas para cerrar el bucle entre la generación y la planificación. Los métodos actuales suelen depender de modelos de recompensa externos de caja negra que sufren de desplazamientos de distribución, fallando al evaluar eficazmente a los agentes de planificación dentro del entorno generado.

2. Metodología

OmniNWM (Modelo de Mundo de Navegación Panorámica Omnisciente) aborda estos desafíos unificando el Estado, la Acción y la Recompensa dentro de un marco probabilístico consistente.

2.1 Generación de Estado Integral

OmniNWM emplea un Transformador de Difusión Panorámica (PDiT) para optimizar conjuntamente videos panorámicos de RGB, semántica y profundidad métrica.

• Codificación Latente Conjunta: En lugar de pérdidas de reconstrucción separadas, las multimodalidades se proyectan en un colector (manifold) latente compartido. Los mapas semánticos se colorean y discretizan para preservar la topología, mientras que los latentes de RGB, semántica y profundidad se concatenan por canales.
• Dinámicas de Denotación Unificadas: El PDiT aproxima la difusión inversa condicional en este latente conjunto. La optimización compartida asegura la alineación a nivel de píxel, ya que los gradientes de profundidad y semántica se retropropagan a las variables conjuntas, sincronizando las salidas.
• Elevación Geométrica: Un mapeo geométrico ligero eleva las observaciones 2D a una rejilla de ocupación semántica 3D ($V_{occ}$). Una red U-Net EfficientNet-B7 extrae características, que se agregan mediante convoluciones 3D para computar volúmenes de vóxeles, asegurando que la estructura 3D permanezca fundamentada en las observaciones visuales.

2.2 Codificación de Acción Canónica

Para mitigar el desplazamiento de covariables geométricas, OmniNWM introduce un esquema de codificación de Mapa de Rayos de Plücker Panorámico Normalizado.

• Codificación Libre de Parámetros: Las trayectorias de entrada se mapean en mapas de rayos de alta dimensión utilizando un codificador libre de parámetros, evitando la dependencia de prioris semánticos aprendidos.
• Proyección Canónica: Las incrustaciones (embeddings) de Plücker puras son sensibles a la escala y pose absolutas. OmniNWM desacopla la dinámica de movimiento de la geometría específica del montaje al proyectar todos los rayos de la cámara en un marco de referencia unificado (p. ej., la vista frontal inicial). Esto implica desproyectar los píxeles a vectores de dirección de mundo normalizados unitariamente y aplicar transformaciones rígidas.
• Resultado: Esto crea una representación geométricamente invariante que unifica las trayectorias de múltiples vistas en un espacio de Plücker 3D compartido, permitiendo el control en cero pasos a través de diferentes montajes de cámara y conjuntos de datos no vistos.

2.3 Forzado Panorámico Estructurado

Para estabilizar la generación de largo horizonte y mitigar el sesgo de exposición, el artículo propone una estrategia de Forzado Panorámico Estructurado.

• Inyección de Ruido Estructurado: A diferencia del ruido Gaussiano estándar, el proceso de entrenamiento inyecta ruido jerárquico que simula errores acoplados estructuralmente: deriva temporal ($\epsilon_{temp}$) e inconsistencia espacial ($\epsilon_{spat}$).
• Engrosamiento del Manifold Estocástico: Al entrenar sobre estados perturbados, el modelo aprende un mapeo restaurativo que expande el manifold de datos válidos de una superficie delgada de verdad de campo (ground-truth) a un vecindario tubular. Esto fomenta que el operador de transición exhiba una propiedad de contracción local, amortiguando las perturbaciones en lugar de amplificarlas, lo que permite una generación estable más allá de los horizontes de Verdad de Campo (GT).

2.4 Recompensas Intrínsecas y Simulación de Bucle Cerrado

OmniNWM establece un ciclo de simulación de bucle cerrado donde la ocupación semántica 3D generada sirve como una función de utilidad intrínseca.

• Recompensas Densas: Las recompensas se derivan directamente del volumen de ocupación generado, evaluando la seguridad y el cumplimiento mediante tres componentes: Penalización de Colisión (basada en intersecciones de obstáculos), Restricción de Área Conducible y Eficiencia del Flujo de Tráfico.
• Agente OmniNWM-VLA: Un agente especializado de Visión-Lenguaje-Acción (VLA), construido sobre Qwen-VL con un Intérprete Tri-Modal basado en Mamba (Tri-MMI), procesa el contexto panorámico para razonar y planificar futuras trayectorias a 12Hz. La salida del agente se codifica en el mapa de rayos de Plücker canónico para condicionar el siguiente paso de generación.

3. Contribuciones Clave

1. Marco Unificado de Estado-Acción-Recompensa: OmniNWM es un marco unificado que modela conjuntamente la tríada de la conducción autónoma. Resuelve la deriva de la modalidad optimizando conjuntamente el RGB panorámico, la semántica y la profundidad, asegurando que la ocupación semántica 3D generada sea consistente con las observaciones visuales.
2. Codificación de Acción Geométrica Canónica: La introducción de Mapas de Rayos Panorámicos Normalizados permite un control de acción preciso y generalización en cero pasos a través de distintos montajes de cámara y escenas no vistas, al desacoplar el movimiento de las intrínsecas del sensor.
3. Forzado Panorámico Estructurado: Una novedosa estrategia de entrenamiento que mitiga explícitamente la deriva autorregresiva y la acumulación de errores, permitiendo una previsión robusta y estable de largo plazo (más de 200 fotogramas) que supera el horizonte de entrenamiento.
4. Ciclo de Simulación de Bucle Cerrado: El marco demuestra un ciclo de bucle cerrado completo donde las recompensas densas intrínsecas basadas en la ocupación evalúan a los agentes de planificación, los cuales a su vez razonan y planifican trayectorias futuras, creando un entorno de simulación autoconsistente.

4. Resultados Experimentales

Experimentos extensos en nuScenes, nuPlan y conjuntos de datos propios demuestran lo siguiente:

• Fidelidad de Generación: OmniNWM logra un rendimiento de estado del arte (SOTA) en la calidad de generación de video, con un FID de 5.45 y un FVD de 23.63 en el conjunto de validación de nuScenes, superando a métodos como DriveDreamer-2 y MagicDrive-V2 sin depender de entradas volumétricas pesadas.
• Precisión de Control: El método reduce significativamente la deriva del control de la cámara. En el conjunto de validación de nuScenes, logra un Error de Traslación de 1.18m y un Error de Rotación de 0.16 rad, superando significativamente a los baselines como UniScene (7.56m TransErr) y CameraCtrl.
• Generalización en Cero Pasos: El modelo exhibe una notable robustez en entornos de cero pasos. En el conjunto de datos nuPlan (no visto durante el entrenamiento), mantiene errores bajos (0.28 rad RotErr, 1.65m TransErr) y logra un FVD de 79.24, mientras que los baselines sufren altos errores de trayectoria debido al desplazamiento de la covariable geométrica.
• Estabilidad de Largo Horizonte: Con el forzado panorámico estructurado, el modelo mantiene una calidad de generación estable (FVD ~25.22) durante 201 fotogramas, comparado con el colapso a 386.72 FVD de los baselines puramente autorregresivos.
• Predicción de Ocupación: OmniNWM logra un mIoU de 19.8 SOTA en el conjunto de datos de ocupación de nuScenes usando solo entradas de cámara, superando tanto a los métodos discriminativos basados en cámara como a los basados en LiDAR (p. ej., L-CONet con 15.8 mIoU).
• Evaluación de Planificación: El agente OmniNWM-VLA logra una Tasa de Paso de Escenario (SPR) del 87.3% en evaluaciones de bucle cerrado, superando significativamente a baselines como Impromptu-VLA.

5. Significado

El artículo afirma que OmniNWM cierra la brecha entre la síntesis de video de alta fidelidad y la planificación crítica para la seguridad. Al unificar la tríada estado-acción-recompensa dentro de un único marco probabilístico, aborda la fragmentación prevalente en las arquitecturas modulares actuales. La introducción de la codificación geométrica canónica y las recompensas intrínsecas establece una base estable de bucle cerrado para la próxima generación de simulación de conducción autónoma, permitiendo la evaluación de agentes de planificación en entornos físicamente fundamentados y de largo horizonte sin la necesidad de modelos de recompensa externos o calibraciones de sensores específicas.