ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

1. El Problema

La integración de modelos Visión-Lenguaje-Acción (VLA) en sistemas de conducción autónoma ofrece un marco unificado para interpretar escenas complejas y ejecutar comandos de control. Sin embargo, estos modelos enfrentan un desafío crítico de eficiencia computacional:

• Dependencia Temporal: Para una predicción de trayectoria precisa, es necesario procesar múltiples frames históricos de varias cámaras (visión multi-vista).
• Complejidad Cuadrática: Las arquitecturas estándar concatenan todos los tokens visuales de estos frames con las instrucciones de texto. Dado que los mecanismos de auto-atención en los Grandes Modelos de Lenguaje (LLM) tienen una complejidad cuadrática ($O(L^2)$) respecto a la longitud de la secuencia ($L$), el aumento de frames y vistas provoca una explosión computacional ("token bloat").
• Limitación de Hardware: Esta carga computacional hace que el despliegue en hardware embebido en vehículos sea inviable.
• Limitaciones de Métodos Previos: Las soluciones existentes o bien aglomeran características temporales de manera ineficiente, o realizan podado de tokens sin considerar la semántica del texto o las dependencias temporales multi-frame dentro del LLM.

2. Metodología Propuesta: ETA-VLA

El authors proponen ETA-VLA, un marco de adaptación de tokens eficiente que aborda la redundancia en dos niveles: temporal y espacial. La arquitectura consta de tres componentes principales:

A. Módulo de Fusión Temporal (TFM)

• Función: Opera en el codificador visual antes de entrar al LLM.
• Mecanismo: Utiliza un transformador con embeddings de tiempo aprendibles para fusionar adaptativamente las características de los $n$ frames históricos.
• Resultado: Comprime la dimensión temporal en una representación visual compacta y rica en cues de movimiento, reduciendo la longitud de la secuencia antes de que llegue al LLM.

B. Agregador Esparsificador Intra-LLM (ILSA)

Este es el núcleo de la innovación, integrado directamente dentro de las capas del LLM (basado en LLaMA). ILSA realiza una selección dinámica de tokens inspirada en la asignación de atención humana:

1. Selección Dinámica de Anclas de Texto: Identifica automáticamente qué tokens de texto (instrucciones de conducción) son relevantes para la visión, filtrando ruido o instrucciones irrelevantes.
2. Puntuación Semántica sin RoPE: Propone un mecanismo de puntuación que utiliza las logits de atención crudas sin las distorsiones de los Rotary Position Embeddings (RoPE). Esto permite que los tokens visuales se evalúen puramente por su relevancia semántica con la instrucción, independientemente de su posición en la secuencia.
3. Estrategia de Podado y Reciclaje (Diversidad):
   • Podado Global: Selecciona los tokens más relevantes para la tarea (Top-K).
   • Reciclaje de Diversidad: Para evitar perder información crítica en regiones no prioritarias (como puntos ciegos), calcula una puntuación de diversidad para los tokens descartados y "recicla" los más diversos. Esto asegura que se mantenga la conciencia espacial global.
4. Estrategia de Ejecución Híbrida: Solo las capas donde se aplica ILSA utilizan una implementación de atención "eager" para calcular los pesos; las demás capas usan la atención optimizada estándar (FlashAttention), minimizando la sobrecarga.

C. Decodificador de Acción

• Convierte la secuencia de tokens esparsificados en una trayectoria futura continua.
• Utiliza un módulo de puntuación pre-entrenado (Scorer) para refinar la trayectoria basándose en criterios de seguridad, eficiencia y comodidad (EPDMS).

3. Contribuciones Clave

1. Fusión Temporal Adaptativa: Reducción de la complejidad temporal mediante la compresión de características históricas antes del LLM.
2. ILSA (Intra-LLM Sparse Aggregator): Un mecanismo novedoso que realiza el podado de tokens dentro del LLM, guiado por la semántica del texto y la diversidad espacial, imitando la atención selectiva humana.
3. Puntuación Semántica RoPE-free: Elimina el sesgo posicional de los LLMs modernos para evaluar la relevancia visual de manera más precisa en escenarios de conducción.
4. Estrategia de Reciclaje de Diversidad: Garantiza la seguridad al preservar tokens de regiones críticas que podrían ser descartados por un podado puramente semántico.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark NAVSIM v2 (Navtest y Navhard):

• Rendimiento (NAVTEST): ETA-VLA alcanzó una puntuación EPDMS de 85.0, superando a los métodos más avanzados (SOTA) como DiffusionDrive (84.3) y GTRS w/ SimScale (84.6), acercándose al rendimiento de un conductor humano experto (90.3).
• Rendimiento (NAVHARD): En escenarios de bucle cerrado pseudo-cerrado, logró 48.0 EPDMS, superando significativamente a GTRS w/ SimScale (47.2) y DiffusionDrive (26.0), demostrando mayor robustez.
• Eficiencia Computacional:
  • Reducción de FLOPs de inferencia en un 61% (al podar el 85% de los tokens visuales).
  • Reducción global de FLOPs del 32% manteniendo un rendimiento superior al modelo denso.
  • Retención del 94% de la precisión original con una fracción mínima de tokens.

5. Significado e Impacto

El trabajo demuestra que es posible desplegar modelos VLA de alto razonamiento en hardware de vehículos con recursos limitados sin sacrificar la seguridad o la precisión.

• Paradigma de Atención Humana: Al imitar cómo los humanos asignan atención (focalizándose en lo relevante pero manteniendo conciencia periférica), el modelo logra un equilibrio superior entre eficiencia y rendimiento.
• Viabilidad en Vehículos: La reducción drástica de la complejidad cuadrática hace viable la ejecución de modelos multimodales complejos en tiempo real en sistemas embebidos.
• Generalización: La metodología de podado semántico y preservación de diversidad puede aplicarse a otros dominios de VLA que requieran procesamiento de secuencias largas y multi-vista.

En resumen, ETA-VLA resuelve el cuello de botella computacional de los VLA para conducción autónoma mediante una arquitectura inteligente que filtra la redundancia temporal y espacial, permitiendo una toma de decisiones segura y eficiente.