Resumen Técnico: Compresión de Tokens Alineada con la Planificación para Conducción Autónoma de Contexto Largo

Declaración del Problema

Las políticas monolíticas de Visión-Acción (VA) y Visión-Lenguaje-Acción (VLA) representan un cambio de paradigma en la conducción autónoma, mapeando entradas multimodales directamente a trayectorias del vehículo mediante arquitecturas de transformadores unificados. Sin embargo, escalar estos modelos para manejar interacciones complejas requiere un contexto temporal extendido, lo que infla rápidamente la longitud de la secuencia de tokens visuales más allá de los presupuestos computacionales en tiempo real.

Las soluciones existentes enfrentan un compromiso:

• Transformers Lineales/Memoria Externa: A menudo requieren modificaciones en el backbone o introducen complejidad arquitectónica.
• Compresión de Tokens: El enfoque más práctico, ya que no requiere cambios en el backbone. Sin embargo, los métodos actuales dependen de heurísticas basadas en reglas (por ejemplo, decaimiento temporal), que retienen fotogramas recientes y descartan los antiguos de forma indiscriminada.
• La Limitación Central: La compresión basada en reglas está desacoplada del objetivo de planificación. No logra distinguir entre información redundante y señales históricas críticas para la decisión (por ejemplo, el orden de llegada de los vehículos en una parada de cuatro vías). Como ilustra el artículo, descartar observaciones distantes (por ejemplo, en $t=-3s$) puede conducir a decisiones incorrectas de prioridad de paso, causando violaciones de seguridad como ignorar señales de alto.

Metodología: COMPACT-VA

Los autores proponen COMPACT-VA (Compresión mediante Tokens de Contexto Alineados con la Planificación), un marco de memoria de trabajo diseñado para comprimir el contexto extendido en representaciones acotadas mientras alinea explícitamente la compresión con la intención de conducción.

1. Almacenamiento de Contexto Temporal Jerárquico

En lugar de una ventana de contexto plana, el historial de observaciones ($T$ pasos de tiempo) se organiza en un banco de memoria FIFO jerárquico con $K$ capas de compresión.

• Sesgo Inductivo de Decaimiento Temporal: Los fotogramas recientes retienen una alta resolución de tokens (sin compresión), los fotogramas intermedios experimentan una compresión moderada y los fotogramas distantes experimentan una compresión agresiva.
• Compresión Q-former: En cada capa, tokens de consulta aprendibles se concatenan con tokens de observación crudos, embeddings de paso de tiempo y embeddings de cámara. Un módulo Q-former (basado en MMDiT) procesa esto mediante autoatención para agregar selectivamente características visuales relevantes para la tarea.
• Consistencia Posicional: Los Embeddings Posicionales Rotatorios (RoPE) se escalan según la ratio de compresión para mantener la alineación con la secuencia no comprimida.

2. Acoplamiento Variacional Alineado con la Planificación

La innovación central es un Autoencoder Variacional Condicional (cVAE) con Cuantización de Vectores (VQ) que vincula la calidad de la compresión directamente con la predicción de la trayectoria.

• Latente de Intención de Conducción ($z$): Una variable latente discreta compacta se destila de las trayectorias futuras durante el entrenamiento.
• Codificador Posterior (Q-net): Entrena solo durante la fase de entrenamiento. Toma las observaciones comprimidas ($o_{compressed}$) y la trayectoria futura real ($\tau_{future}$) para extraer el latente de intención de conducción $z_q$.
• Codificador Prior (P-net): Opera tanto durante el entrenamiento como durante la inferencia. Predice el latente de intención $z_p$ utilizando solo las observaciones comprimidas, sin acceso a información futura.
• Cuantización de Vectores: Tanto $z_q$ como $z_p$ se mapean a un libro de códigos (codebook) discreto compartido. Esta discretización obliga al modelo a aprender un conjunto finito de "habilidades" o intenciones de conducción.
• Optimización de Extremo a Extremo: El sistema se optimiza mediante una pérdida compuesta:
  $$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$$
  El término de divergencia KL asegura que la distribución del prior (en inferencia) coincida con la distribución del posterior (en entrenamiento). Si el Q-former descarta la historia crítica, el prior no puede predecir la intención, resultando en una alta divergencia KL y una degradación en la predicción de la trayectoria. Esto crea un bucle cerrado donde el modelo aprende qué conservar.

3. Inferencia

En el tiempo de prueba, solo la vía del prior está activa. El modelo comprime las observaciones, predice el latente $z_p$, lo cuantiza y lo añade como un token especial al registro comprimido. Esta secuencia combinada alimenta el backbone de transformador unificado para la generación autorregresiva de la trayectoria.

Marco de Evaluación

Los autores identifican escenarios dinámicos de alta señal donde el contexto extendido (5–10 segundos) es crítico para la toma de decisiones discretas, distintos de la optimización continua de trayectoria:

1. Paradas de Cuatro Vías: Determinar la prioridad de paso basada en el orden de llegada.
2. Pare/Ceda el Paso con Oclusión Dinámica: Mantener el estado de vehículos ocultos.
3. Giros No Protegidos: Evaluar los huecos del tráfico en sentido contrario a lo largo del tiempo.

Métricas: Las métricas tradicionales como minADE se consideran desalineadas. El artículo introduce métricas de comportamiento:

• Tasa de Éxito de Avance (Go Success Rate - Go SR): Capacidad de proceder tras detenerse.
• Tasa de Éxito de Parada (Stop Success Rate - Stop SR): Capacidad de detenerse completamente cuando es requerido.
• Tasa de Ignorar el Alto (Roll-Through Rate): Frecuencia de fallar al detenerse por completo (crítico para la seguridad).
• Errores de Posición/Duración de Parada: Desviaciones espaciales y temporales.

Resultados Clave

Evaluado en el conjunto de datos Alpamayo (específicamente curado para escenarios dependientes de la memoria) y el simulador Alpasim:

• Ganancias de Rendimiento: Bajo presupuestos de tokens comparables (~1,424 tokens), COMPACT-VA logra una Tasa de Éxito de Avance del 68.3%, superando la línea base de 1 segundo (63.8%) y la línea base densa de 5 segundos sin comprimir (61.9%).
• Mejoras de Seguridad: Reduce la Tasa de Ignorar el Alto en un 22% (7.0% frente al 9.0% de las líneas base) y mejora la Tasa de Éxito de Parada al 89.2%.
• Perspectivas de Ablación:
  • Eliminar la alineación con la planificación reduce el Go SR a 65.6%, confirmando la necesidad de acoplar la compresión con la intención.
  • La compresión ingenua (sin condicionamiento de la historia) produce un 63.5%, mostrando el valor de la compresión condicionada por la trayectoria.
  • La compresión jerárquica es esencial; los fotogramas recientes deben retener la resolución completa.
• Eficiencia: Comparado con el procesamiento de 5 segundos sin comprimir (6,400 tokens), COMPACT-VA logra una aceleración de inferencia de 3.3× y una reducción de memoria de 2.7× (3.95 GB frente a 10.51 GB de memoria GPU pico) mientras mantiene la competencia de conducción general en simulaciones de bucle cerrado.

Significancia y Reivindicaciones

El artículo sostiene que la memoria de trabajo consciente de la tarea es clave para el razonamiento en diversos escenarios de conducción autónoma. Al pasar de heurísticas basadas en reglas a una compresión alineada con la planificación, el modelo descubre y retiene implícitamente la información histórica crítica para la decisión sin necesidad de reglas de retención manuales.

Los autores posicionan este trabajo como un paso hacia una memoria efectiva para políticas de VA/VLA monolíticas, demostiendo que las ventanas de contexto acotadas, cuando se combinan con objetivos variacionales, pueden resolver la tensión entre las restricciones computacionales y la necesidad de un razonamiento de largo horizonte en decisiones de conducción críticas para la seguridad. Señalan que, si bien las ganancias en la conducción general son modestas, el enfoque es particularmente impactante en escenarios de alta señal donde las decisiones discretas (parar/avanzar) dependen de señales conductuales del pasado de 5 a 10 segundos.