Resumen Técnico: Adaptive-WAM

Planteamiento del Problema

Los grandes modelos de difusión de video ofrecen ricos sesgos espaciotemporales para la planificación de la conducción autónoma, sin embargo, los modelos de mundo-acción (WAMs) existentes suelen incurrir en el costo computacional completo de la generación iterativa de video futuro y la decodificación VAE, incluso cuando el despliegue solo requiere una trayectoria del ego de baja dimensión. Los enfoques actuales suelen acoplar la predicción y la acción mediante una trayectoria de columna vertebral predeterminada o un bucle de eliminación de ruido iterativo, lo que crea una rigidez innecesaria. La pregunta central abordada es: ¿Qué parte de un modelo de difusión de video debe ejecutarse para tomar una decisión de conducción fiable?

Los autores identifican dos ejes que a menudo se confunden:

1. Paso de tiempo de la difusión de video (Video Diffusion Timestep): Controla el nivel de ruido latente.
2. Profundidad del DiT (DiT Depth): Controla el número de bloques de transformador evaluados.

Un análisis preliminar en NAVSIM revela que el rendimiento de la planificación es mayormente insensible a los niveles de ruido del video (pasos de tiempo), pero exhibe una variación significativa dependiente de la profundidad. Además, se pueden decodificar trayectorias sólidas desde las capas intermedias, y diferentes profundidades resuelven conjuntos de escenas parcialmente superpuestos, lo que sugiere que una ejecución de profundidad fija es subóptima.

Metodología: Adaptive-WAM

El artículo propone Adaptive-WAM, un planificador con múltiples salidas consciente de la calidad, construido sobre una base Wan2.2-TI2V-5B. La arquitectura desacopla el proceso de generación de video del proceso de decisión de planificación durante la inferencia.

Arquitectura y Flujo de Inferencia

1. Columna Vertebral (Backbone): El modelo utiliza el DiT de video Wan. Durante la inferencia, procesa la imagen actual de la cámara frontal y una descripción de texto (derivada de metadatos del mapa, velocidad del ego e historial de maniobras) en un índice de ruido de video fijo ($s^* = 17$). No consume videos futuros de verdad fundamental (ground-truth) ni realiza bucles completos de eliminación de ruido iterativo durante el despliegue.
2. Cabezales de Trayectoria de Salida Múltiple (Multi-Exit Trajectory Heads): Seis bloques intermedios de DiT (capas 5, 9, 15, 18, 22 y 30) sirven como puntos de salida. En cada salida $\ell$, una capa de proyección convierte la representación oculta $h_\ell$ en tokens de condicionamiento de trayectoria, que se introducen en un cabezal de difusión de trayectoria de 5 pasos tipo ReCogDrive independiente. Cada cabezal genera una única trayectoria candidata.
3. Enrutamiento Adaptativo Guiado por la Calidad:
   • Un calificador de calidad de trayectoria ligero (basado en un codificador DINOv2-Small ajustado y un MLP) evalúa cada trayectoria decodificada.
   • El calificador predice componentes de la métrica de planificación (NC, DAC, DDC, TTC, EP, Comfort) en lugar de un ordenamiento estricto, reconociendo que las recompensas de planificación suelen estar saturadas y vinculadas.
   • Lógica de Decisión: El sistema mantiene un grupo de trayectorias decodificadas. Si la puntuación de calidad predicha más alta ($\hat{q}$) entre las salidas intentadas supera un umbral $\eta$, la inferencia termina y se devuelve la mejor trayectoria acumulada. De lo contrario, el sistema continúa la ejecución desde el estado oculto cacheado hacia la siguiente salida más profunda.
   • Si ninguna salida cumple con el umbral, el sistema devuelve por defecto la trayectoria con la puntuación más alta de la salida final (capa 30).

Estrategia de Entrenamiento

• Adaptación al Dominio de Video: La columna vertebral Wan se adapta mediante LoRA (Adaptación de Bajo Rango), mientras que las proyecciones y los cabezales de trayectoria se optimizan completamente. El objetivo combina la pérdida nativa de difusión de video con las pérdidas de difusión de trayectoria para todas las salidas.
• Entrenamiento del Calificador: El calificador se ajusta finamente en trayectorias generadas utilizando una entropía cruzada binaria de etiqueta suave contra los objetivos de componentes proporcionados por el evaluador. Opera con aislamiento de gradiente del actor para evitar alterar la distribución de la trayectoria.
• RL Solo para el Planificador (Planner-Only RL): Después del aprendizaje por imitación, la columna vertebral y el calificador se congelan. Los cabezales de trayectoria se refinan utilizando DiffGRPO (un método de aprendizaje por refuerzo solo para planificadores), tratando la cadena completa de eliminación de ruido de 5 pasos como una única acción.

Contribuciones Clave

1. Diagnóstico Sistemático: El artículo demuestra que la planificación de la conducción es robusta a los niveles de ruido de video pero altamente sensible a la profundidad del DiT. Revela que las características intermedias proporcionan un sustrato de planificación sólido y que diferentes profundidades resuelven conjuntos de escenas distintos y no redundantes.
2. Arquitectura de Salida Múltiple Consciente de la Calidad: Adaptive-WAM introduce un mecanismo para asignar dinámicamente la profundidad de la columna vertebral basada en la calidad del plan decodificado actualmente, evitando la necesidad de una generación de video completa o una ejecución de profundidad fija.
3. Compromiso Eficiencia-Rendimiento: El método logra el rendimiento de planificación de vanguardia entre los modelos de mundo comparados, reduiendo significamente la latencia de inferencia al omitir la computación innecesaria para escenas "fáciles".

Resultados Experimentales

NAVSIM v1 y v2

• NAVSIM v1: El planificador de trayectoria única adaptativo logra 90.8 PDMS. Una variante de salida fija con 64 propuestas (usando el bloque 22) alcanza 92.6 PDMS, superando la línea base de DriveVA.
• NAVSIM v2: Adaptive-WAM logra 89.9 EPDMS, obteniendo los mejores resultados reportados entre los planificadores de mundo de video de vista frontal comparados.
• Latencia: En una GPU A100, el planificador adaptativo promedia 170 ms de latencia de extremo a extremo. Esto es aproximadamente un 10% más rápido que un planificador de bloque-15 fijo (190 ms) y un 47% más rápido que un planificador de profundidad completa fijo (320 ms).

Transferencia Zero-Shot

Sin ajuste fino en el dominio objetivo, el modelo se transfiere a nuScenes, logrando un error L2 promedio de 0.88 m y una tasa de colisión de 0.08%. Este rendimiento es competitivo con DriveVA (0.84 m, 0.06%) pero con costos de inferencia sustancialmente menores, ya que Adaptive-WAM evita la generación completa de video.

Estudios de Ablación

• Columna Vertebral (Backbone): El entrenamiento conjunto de LoRA de la columna vertebral Wan es crítico; congelar la columna vertebral o usar cachés por separado recupera solo una fracción del rendimiento.
• Calificador: DINOv2-Small es suficiente para el calificador de calidad; usar las características de la columna vertebral Wan para la calificación ofrece ganancias insignificantes (0.03 puntos) con un costo computacional mucho mayor.
• Profundidad: Aunque el bloque 15 es generalmente la salida fija más fuerte, la política adaptativa supera a este al seleccionar dinámicamente capas más profundas para escenas difíciles.

Significado y Reivindicaciones

El artículo afirma que las características intermedias del video-DiT son representaciones de planificación robustas que no requieren la síntesis completa de imágenes para ser efectivas. Al acoplar cabezales de trayectoria de múltiples profundidades con un controlador de calidad consciente de los empates, Adaptive-WAM demuestra un camino práctico desde los grandes modelos generativos de mundo hacia políticas de conducción eficientes y en tiempo real.

Los autores enfatizan que su enfoque:

• Evita el bucle iterativo de eliminación de ruido libre de clase (classifier-free) y la decodificación VAE requeridos para la síntesis de video futuro.
• Asigna dinámicamente la computación basada en la calidad de la trayectoria en lugar de comprometerse con una única profundidad de lectura.
• Logra resultados de vanguardia en NAVSIM manteniendo una latencia promedio inferior a las líneas base de profundidad fija más fuertes.

El trabajo sugiere que, para la planificación de la conducción autónoma, el "modelo de mundo" no necesita renderizar completamente el futuro; solo necesita computar suficientes características latentes para decodificar una trayectoria fiable.