Resumen Técnico: Discrete-WAM

Planteamiento del Problema

La conducción autónoma requiere fundamentalmente razonar sobre cómo las acciones del ego moldean la evolución del mundo circundante, en lugar de simplemente reaccionar a observaciones instantáneas. Los sistemas actuales de extremo a extremo (E2E) suelen depender de mapeos directos de estado a acción mediante el aprendizaje por imitación de comportamiento (behavior cloning), capturando correlaciones estadísticas sin modelar explícitamente la dinámica condicionada a la acción. Si bien los modelos de mundo de latencia continua ofrecen una fuerte continuidad, a menudo carecen de la estructura compositiva necesaria para el razonamiento causal a través de futuros contrafácticos. Además, los enfoques existentes suelen tratar el modelado del mundo, el aprendizaje de la política y la toma de decisiones como tareas separadas u objetivos auxiliares, fallando al no establecer correspondencias causales consistentes entre observaciones, acciones y estados futuros inducidos dentro de un proceso generativo unificado.

Metodología: Discrete-WAM

Los autores proponen Discrete-WAM, una política de mundo de visión-acción latente unificada que representa los estados visuales futuros y las acciones del ego como tokens discretos alineados. Este marco permite el razonamiento causal compositivo a través de futuros alternativos mediante una arquitectura de difusión discreta compartida.

1. Representación Discreta Unificada

Discrete-WAM convierte las observaciones continuas y las acciones en un espacio de tokens discretos compartido:

• Tokenización de Visión: Las observaciones de cámara continuas se codifican en tokens semánticos discretos utilizando un tokenizador VQ-VAE preentrenado.
• Tokenización de Acción: El movimiento futuro continuo se convierte en una representación compatible con tokens discretos sobre un vocabulario de aceleración. Los autores emplean una estrategia de interpolación de etiquetas suaves sobre una cuadrícula de aceleración 2D para evitar errores de cuantización dura deterministas, permitiendo que los valores de control continuo se preserven a través de sumas ponderadas de prototipos vecinos.
• Tokens de Decisión: Las condiciones de decisión de alto nivel (por ejemplo, intención de maniobra, carril objetivo) se representan como tokens de decisión ($D_t$) dispersos y de baja frecuencia.

2. Modelado de Política Jerárquica

En lugar de generar acciones futuras densas directamente a partir del contexto de la escena, Discrete-WAM descompone la generación de la política en un proceso jerárquico:

• Alto Nivel: El modelo predice un esqueleto de decisión disperso ($D_t$) que captura la intención de maniobra gruesa y las elecciones de conducción multimodales.
• Bajo Nivel: Un planificador de tokens de acción basado en difusión discreta genera trayectorias suaves y temporalmente consistentes condicionadas a la decisión predicha.
  Esta separación permite que el modelo seleccione decisiones multimodales en el nivel alto mientras realiza trayectorias suaves en el nivel bajo, evitando el colapso de las alternativas de conducción.

3. Marco Generativo Unificado

Discrete-WAM formula la conducción autónoma como el modelado de secuencias sobre un espacio de tokens discretos compartido, soportando tres modos de entrenamiento complementarios bajo una única arquitectura:

• Modelado del Mundo: Predice tokens visuales futuros ($V_{t+1:t+H}$) condicionados por el contexto de la escena ($C_t$) y los tokens de acción futuros ($A_{t+1:t+H}$).
• Modelado de Mundo-Política: Entrena conjuntamente la predicción de visión y acción dentro de una secuencia de tokens entrelazados, fomentando el acoplamiento de la generación de la política con la evolución del mundo.
• Modelado de Política: Predice la decisión de alto nivel ($D_t$) seguida de la secuencia de acción ($A_{t+1:t+H}$) condicionada a la decisión.

4. Preentrenamiento y Post-entrenamiento

• Preentrenamiento Unificado: El modelo se somete a un preentrenamiento multietapa utilizando un objetivo de edición de tokens. Aprende a recuperar tokens corruptos (visuales o de acción) basados en el contexto histórico y las entradas de condicionamiento. La función de pérdida combina la entropía cruzada para la clasificación de tokens con pérdidas de reconstrucción de movimiento continuo (aceleración, trayectoria y posición) para asegurar la consistencia física.
• Post-entrenamiento (RL): Para abordar comportamientos raros o críticos para la seguridad, los autores aplican la Optimización de Política Relativa Agrupada (GRPO). El modelo muestrea trayectorias candidatas, las evalúa con una función de recompensa en línea (que incorpora métricas de seguridad y de reglas críticas) y actualiza la política para refinar las combinaciones de decisión-trayectoria.

5. Inferencia y Edición

Durante la inferencia, Discrete-WAM utiliza la generación e iteración de planificación y edición sobre estados futuros. Una estrategia de programación (por ejemplo, replace_confidence) actualiza selectivamente los tokens basados en la confianza de la predicción y la entropía, permitiendo un razonamiento no causal y globalmente consistente sobre futuros condicionados por la acción sin comprometerse con un único despliegue hacia adelante (forward rollout).

Contribuciones Clave

1. Política de Mundo de Visión-Acción Unificada: La introducción de un marco que representa las observaciones y las acciones del ego en un espacio latente discreto compartido, permitiendo un modelado semántico alineado y un razonamiento estructurado sobre futuros condicionados por la acción.
2. Marco de Difusión Discreta: Un enfoque de preentrenamiento unificado para el modelado de mundo y de acción que captura conjuntamente la dinámica futura condicionada a la acción dentro de un único proceso generativo, yendo más allá de los objetivos separados.
3. Planificación Condicionada por Decisión Jerárquica: Una demostración de que la descomposición de la política en esqueletos de decisión de alto nivel y refinamiento de acción de bajo nivel mejora el rendimiento de la planificación, al tiempo que permite la generación controlable, el razonamiento contrafáctico y la evaluación consciente de la seguridad.

Resultados Experimentales

Los experimentos se realizaron en bancos de pruebas de conducción a gran escala, específicamente NAVSIM-v1 y NAVSIM-v2.

• Rendimiento de Planificación: Discrete-WAM logró un rendimiento de planificación competitivo o superior en comparación con bases end-to-end fuertes. En NAVSIM-v2, alcanzó una puntuación EPDMS de 90.4, superando a métodos como WAM-Flow (87.0) y SparseDriveV2 (90.1). En NAVSIM-v1, alcanzó un PDMS de 92.2, superando a los planificadores de vanguardia.
• Generación del Mundo: En términos de calidad generativa (FID y FVD), Discrete-WAM superó a los modelos de mundo de conducción generativos existentes (por ejemplo, Vista, DrivingWorld), logrando un FID de 6.6 y un FVD de 80.0, a pesar de estar optimizado para la planificación de corto horizonte.
• Estudios de Ablación:
  • Preentrenamiento Unificado: Los modelos inicializados con preentrenamiento unificado y ajustados mediante LoRA (LoRA-SFT) superaron a aquellos entrenados desde cero o con ajuste fino completo, indicando el valor de preservar el conocimiento de mundo-política preentrenado.
  • Modelado de Decisión: La inclusión de tokens de decisión ($D_t$) mejoró significamente las métricas de planificación, confirmando que la guía a nivel de decisión proporciona un prior conductual efectivo.
  • Post-entrenamiento: El post-entrenamiento de RL mejoró aún más el EPDMS de 90.0 a 90.4, demostrando el beneficio de explorar combinaciones de decisión-trayectoria.
  • Razonamiento Contrafáctico: El modelo demostró una fuerte correlación negativa entre la "sorpresa" (divergencia KL entre los despliegues fácticos y contrafácticos) y las métricas de seguridad de la planificación (PDMS), indicando su capacidad para capturar la dinámica de escenas críticas para la seguridad.

Significancia y Reivindicaciones

El artículo afirma que Discrete-WAM ofrece un camino con principios hacia una toma de decisiones más fiable en la conducción autónoma, pasando de la imitación reactiva hacia un razonamiento de mundo-política estructurado. Al unificar el modelado del mundo, el aprendizaje de la política y la toma de decisiones dentro de un espacio de tokens discretos, el marco soporta:

• Generación Controlable: La capacidad de editar aspectos específicos de las observaciones y trayectorias futuras.
• Razonamiento Contrafáctico: La capacidad de razonar sobre futuros alternativos y evaluar riesgos de seguridad antes de la ejecución.
• Predicción Consciente de la Seguridad: La capacidad de identificar escenarios de alta sorpresa que corresponden a colisiones o violaciones de reglas.

Los autores postulan que este enfoque aborda cuellos de botella fundamentales en la formulación de la representación y el modelado generativo, proporcionando una base escalable para la inteligencia encarnada que puede generalizarse a través de diversos escenarios de conducción.