💻 computer science

GeoWAM: Visual Geometry World Action Models for Autonomous Driving

Este artículo presenta GeoWAM, un modelo de acción de mundo para la conducción autónoma que reemplaza la predicción futura basada en píxeles por el pronóstico de geometría futura utilizando nubes de puntos para capturar mejor la estructura espacial y el movimiento, lo que resulta en políticas de conducción significativamente más fuertes en comparación con las alternativas basadas en imágenes.

Autores originales: Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen, Liam Merino, Dhruva Dixith Kurra, Min Cai, Tom Lampo, Yu Yin, Danhua Guo, Burhan Yaman

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen, Liam Merino, Dhruva Dixith Kurra, Min Cai, Tom Lampo, Yu Yin, Danhua Guo, Burhan Yaman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La conducción autónoma es, fundamentalmente, un juego de anticipación. Para navegar con seguridad, un vehículo debe hacer más que simplemente ver la carretera frente a él; debe comprender cómo esa carretera y los objetos sobre ella cambiarán en los segundos venideros. Necesita predecir dónde podría dar un paso un peatón, cómo un coche de delante frenará y cómo su propio camino se desplazará a través del entorno. Durante años, los investigadores han intentado enseñar esta habilidad a las computadoras mostrándoles flujos interminables de video, con la esperanza de que las máquinas aprendieran a adivinar el siguiente fotograma de una película. Estos sistemas, conocidos como modelos de mundo, son potentes porque pueden simular el futuro, pero a menudo luchan contra un fallo específico: ven el mundo como una imagen plana. Se centran en colores, texturas e iluminación, lo que puede oscurecer la verdadera forma tridimensional y el movimiento de los objetos. Cuando una computadora intenta determinar cómo está girando un coche basándose únicamente en cambios de píxeles, es como intentar entender la mecánica de un reloj observando las sombras que proyecta en una pared; la información está ahí, pero es indirecta y difícil de desenredar.

Un equipo de investigadores de Uber AV Labs y la Universidad Case Western Reserve ha propuesto un enfoque diferente, uno que omite la imagen plana y mira directamente la forma del mundo. Introdujeron un nuevo sistema llamado GeoWAM, que trata el entorno de conducción no como un video para ser predicho, sino como una colección de puntos 3D que se mueven y se transforman con el tiempo. En lugar de intentar generar una imagen realista del futuro de una calle, el sistema está entrenado para pronosticar la geometría futura de esa calle: la ubicación precisa de cada bordillo, árbol y vehículo en el espacio tridimensional. Al centrarse en esta estructura espacial, los investigadores descubrieron que podían dotar al vehículo autónomo de una comprensión mucho más clara de cómo evoluciona el mundo. Su trabajo sugiere que cuando un agente de conducción aprende a predecir la forma física del futuro en lugar de su apariencia visual, se vuelve significamente mejor en la planificación de trayectorias seguras y suaves.

La idea central detrás de este nuevo método es que los píxeles son un lenguaje deficiente para describir el movimiento. Un modelo de mundo de video estándar aprende a predecir cómo la luz y el color cambiarán de un momento a otro. Aunque esto puede producir resultados visualmente convincentes, los movimientos físicos subyacentes —la rotación real de una rueda o la traslación de un coche a través del espacio— permanecen ocultos dentro de esos colores cambiantes. El nuevo sistema, GeoWAM, evita esta confusión trabajando directamente con nubes de puntos. Imagine un mapa 3D hecho de millones de diminutos puntos, donde cada punto representa un lugar específico de un coche, un edificio o la carretera. Este sistema toma una secuencia de vistas pasadas de las cámaras del vehículo y aprende a predecir dónde estarán esos puntos en el futuro. No le importa si el coche es rojo o si el sol está brillando; solo le importa dónde está el coche y cómo se mueve a través del espacio. Esta representación directa se alinea perfectamente con la tarea de conducir, que es fundamentalmente navegar a través de un mundo tridimensional.

Para construir esta capacidad, los investigadores entrenaron el sistema en dos etapas distintas. Primero, enseñaron al modelo a ser un geómetra. Utilizando una vasta colección de datos de conducción de múltiples cámaras, el sistema aprendió a observar una secuencia de escenas pasadas y a predecir con precisión la estructura 3D de la escena varios segundos hacia el futuro. No se le pidió recrear el aspecto del cielo o la textura del asfalto, solo mapear las posiciones de los objetos. Una vez que el sistema dominó esta habilidad para pronosticar la forma del futuro, los investigadores añadieron una segunda etapa: el planificador de acciones. Este nuevo componente toma el mapa 3D predicho y hace una pregunta simple: dado cómo va a cambiar el mundo, ¿qué debería hacer el coche a continuación? Debido a que el sistema ya está pensando en términos de movimiento 3D, la respuesta surge de forma natural. Infiere el movimiento futuro del coche directamente de la geometría evolutiva, creando un plan que está basado en la realidad física de la carretera en lugar de en los patrones visuales de un video.

Los resultados de este enfoque fueron probados rigurosamente en estándares de referencia de conducción. Al pedirle que predijera la forma futura de una escena, el nuevo sistema superó a los métodos anteriores que dependían de la generación de video. Fue más preciso al colocar los objetos en el espacio 3D correcto, incluso a medida que el horizonte temporal se extendía más hacia el futuro. Más importante aún, cuando esta previsión geométrica se utilizó para controlar un vehículo en un entorno simulado, el rendimiento de la conducción mejoró significativamente. En pruebas de bucle abierto (open-loop), donde el sistema planifica una ruta sin interactuar con el entorno, y en pruebas de bucle cerrado (closed-loop), donde el sistema debe reaccionar a sus propios errores en tiempo real, GeoWAM produjo consistentemente trayectorias más seguras y fiables que sus contrapartes basadas en imágenes. El sistema demostró una fortaleza particular en escenarios complejos, como navegar curvas cerradas o evitar obstáculos, donde la comprensión de la verdadera disposición espacial es crítica.

Los investigadores argumentan que este cambio de la predicción visual a la predicción geométrica representa una forma más natural para que las máquinas aprendan sobre la conducción. Al eliminar la distracción de la apariencia y centrarse en la estructura, el sistema aprende las reglas del movimiento de forma más directa. No necesita adivinar cómo la luz se reflejará en un camino mojado para saber que un coche se está deslizando; simplemente ve la posición del coche cambiando de una manera que indica un deslizamiento. Esta claridad permite que el vehículo tome decisiones que sean robustas y consistentes. El estudio confirma que, si bien la generación de video es una herramienta poderosa para muchas tareas, no es la base ideal para la conducción autónoma. En su lugar, un modelo que comprende el mundo como una estructura dinámica y tridimensional está mejor equipado para navegar por el mundo real, ofreciendo un camino prometedor para el desarrollo de vehículos verdaderamente autónomos.

Resumen Técnico: GeoWAM

Planteamiento del Problema

La conducción autónoma requiere que los agentes anticipen no solo la escena actual, sino también su evolución futura para restringir las acciones de manera efectiva. Aunque recientemente han surgido modelos de Mundo-Acción (WAMs por sus siglas en inglés) para modelar conjuntamente la dinámica de la escena y las acciones del ego, la mayoría de los enfoques existentes dependen de representaciones en el espacio de píxeles (generación de video futuro). Los autores argumentan que los píxeles son una representación de estado indirecta para la dinámica de conducción porque entrelazan la geometría y el movimiento con la apariencia, la textura y la iluminación. En consecuencia, los modelos basados en video deben inferir transformaciones 3D a partir de observaciones 2D, lo que a menudo deja la dinámica física subyacente implícita y difícil de recuperar. Este desalineamiento entre la representación visual y el espacio 3D en el que se ejecutan las acciones de conducción limita la efectividad de las políticas aprendidas.

Metodología: GeoWAM

Los autores introducen GeoWAM, un Modelo de Mundo-Acción de Geometría Visual que desplaza la representación de estado de los píxeles a la geometría métrica (nubes de puntos). El marco de trabajo opera en dos etapas:

1. Preentrenamiento del Modelo de Mundo de Geometría Visual

En lugar de predecir imágenes futuras, GeoWAM es preentrenado para pronosticar la geometría de la escena futura a partir de observaciones multivista históricas.

Codificación: Un codificador de geometría (basado en DVGT-2) procesa una secuencia de imágenes multivista para producir tokens históricos de múltiples niveles, que comprenden tanto tokens de geometría (estructura espacial) como tokens de ego (contexto de movimiento).
Decodificación: Un decodificador de geometría futura utiliza consultas aprendidas para predecir futuros tokens de geometría. Emplea atención de auto-atención temporal causal para modelar la evolución a través de pasos futuros y atención cruzada para recuperar contexto de las observaciones históricas.
Salida: El modelo decodifica estos tokens en mapas de puntos futuros densos y mapas de confianza utilizando un cabezal de geometría compartido (Point DPT).
Supervisión: El entrenamiento implica la alineación de características (distancia de coseno) con las características objetivo derivadas de los fotogramas futuros y la regresión de mapas de puntos densos (pérdida euclidiana, pérdida consciente de la confianza y consistencia de la normal de superficie) contra la geometría de referencia (ground-truth).

2. GeoWAM: El Modelo de Acción

El modelo de geometría preentrenado se extiende en un modelo de mundo-acción mediante una formulación similar a la de la dinámica inversa:

Decodificación de Tokens de Ego Futuros: Una rama dedicada infiere el movimiento futuro del ego a partir de la evolución de la escena predicha. Utiliza semillas de consulta de ego aprendidas que realizan atención cruzada tanto con la memoria histórica como con los tokens de geometría futura predichos. Crucialmente, se aplica una operación de detención de gradiente (stop-gradient) a los tokens de geometría predichos, asegurando que la supervisión de la trayectoria no reforme la señal de condicionamiento geométrico, preservando así las capacidades de preentrenamiento.
Generación de Trayectoria: Un cabezal de acción concatena los tokens de ego históricos y futuros predichos, los refina mediante un transformador temporal causal y regresa una única trayectoria futura (posición y orientación) directamente, sin anclajes de trayectoria ni clasificación de modos.
Objetivo de Entrenamiento: El modelo se ajusta con una función de pérdida combinada que incluye los objetivos de geometría del preentrenamiento, una pérdida de regresión de trayectoria $\ell_1$ y una pérdida auxiliar de predicción de pose.

Contribuciones Clave

Representación de Estado Nativa: El artículo motiva y demuestra que la geometría (nubes de puntos) sirve como un espacio de estado nativo para los modelos de mundo-acción, alineando explícitamente la dinámica de la escena con el espacio de coordenadas 3D de las acciones de conducción.
Preentrenamiento de Geometría Visual: Los autores preentrenan un modelo de mundo de geometría visual para pronosticar la geometría de la escena futura a partir de imágenes multivista, capturando la estructura espacial y la dinámica temporal sin requerir anotaciones de ocupación.
Formulación de Dinámica Inversa: GeoWAM introduce un mecanismo para inferir el movimiento futuro del ego a partir de las dinámicas geométricas predichas, mapeando estas representaciones a trayectorias del ego mediante un cabezal de acción condicionado por la geometría.
Validación Empírica: El modelo se valida mediante la predicción de geometría futura y mediante pruebas comparativas de planificación de lazo abierto y de lazo cerrado, estableciendo el modelado de la geometría visual como un objetivo de preentrenamiento efectivo.

Resultados Experimentales

Los autores evalúan GeoWAM en el conjunto de datos nuScenes para la predicción de geometría y en NAVSIM v2 para la planificación.

Predicción de Geometría Futura (nuScenes): GeoWAM supera a los modelos de referencia, incluyendo modelos basados en video (Epona, Cosmos 3) que reconstruyen la geometría a partir de fotogramas RGB generados, y modelos de pronóstico de geometría directa (VGGT-World). Logra el error relativo absoluto (Abs Rel) más bajo en todos los horizontes (1s–4s) y la mayor precisión de umbral ( $\delta < 1.25$ ).
Planificación de Lazo Abierto (NAVSIM navtest): GeoWAM logra el mejor EPDMS (Puntuación de Modelo de Conductor Predictivo Extendido) general de 90.2, superando a bases sólidas como DVGT-2, EponaV2 y varios planificadores basados en VLA. Iguala las mejores puntuaciones en cumplimiento de dirección de conducción y semáforos.
Planificación de Lazo Cerrado (NAVSIM navhard): En un desafío de evaluación de pseudo-lazo cerrado de dos etapas, GeoWAM logra un EPDMS de 36.6, superando a todos los métodos competidores, incluidos aquellos entrenados con aprendizaje por refuerzo o supervisión directa de la puntuación PDMS.
Análisis Cualitativo: Las visualizaciones muestran que GeoWAM preserva estructuras de escena coherentes (por ejemplo, árboles, postes, marcas viales) y captura la dinámica de los agentes circundantes (por ejemplo, otros vehículos siguiendo al ego) durante el horizonte de predicción.

Significancia y Reivindicaciones

El artículo afirma que la predicción de la geometría futura es un objetivo de preentrenamiento superior para la conducción autónoma en comparación con la generación de imágenes futuras. Al situar el modelado del mundo y la predicción de la acción en un espacio geométrico compartido, GeoWAM proporciona a las políticas de conducción representaciones organizadas explícitamente en torno a la estructura 3D y el movimiento. Los autores argumentan que este enfoque produce políticas de conducción sustancialmente más fuertes que las alternativas basadas en imágenes porque fundamenta directamente la política en el espacio físico donde se ejecutan las acciones de conducción, evitando la ambigüedad de inferir la dinámica 3D a partir de variaciones de píxeles 2D. El trabajo establece que aprender a pronosticar la geometría métrica permite una transferencia efectiva a la planificación de movimiento sin la necesidad de síntesis de imágenes futuras.