ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

Título: ETA-VLA: Adaptação Eficiente de Tokens via Fusão Temporal e Esparsificação Intra-LLM para Modelos Visão-Linguagem-Ação

1. O Problema

A integração de Modelos Visão-Linguagem-Ação (VLA) em sistemas de direção autônoma oferece uma estrutura unificada para interpretar cenas complexas e executar comandos de controle. No entanto, a aplicação prática enfrenta um gargalo crítico de eficiência:

• Custo Computacional Quadrático: Para um raciocínio temporal preciso, os modelos precisam processar múltiplas vistas (câmeras) de vários quadros históricos. À medida que o número de quadros ($n$) e de câmeras aumenta, o comprimento da sequência de tokens cresce linearmente. Devido ao mecanismo de self-attention dos Grandes Modelos de Linguagem (LLMs), a complexidade computacional explode quadraticamente ($O(L^2)$).
• Inviabilidade em Hardware Embarcado: O "inchaço de tokens" (token bloat) torna a execução em tempo real em hardware veicular (on-vehicle) inviável.
• Limitações de Métodos Existentes: Abordagens anteriores ou realizam agregação temporal em módulos de percepção separados (ignorando a semântica do LLM) ou realizam poda de tokens baseada apenas em visão ou com viés de posição, falhando em mimetizar a alocação dinâmica de atenção humana necessária para a segurança na direção.

2. Metodologia Proposta (ETA-VLA)

O ETA-VLA propõe um framework de Adaptação Eficiente de Tokens que atua em dois níveis: temporal (antes do LLM) e espacial/semântico (dentro do LLM). A arquitetura é composta por três componentes principais:

A. Módulo de Fusão Temporal (TFM - Temporal Fusion Module)

• Objetivo: Reduzir a redundância temporal antes que os dados entrem no LLM.
• Funcionamento: Opera no encoder visual. Utiliza embeddings temporais aprendíveis e um encoder baseado em Transformer para fundir características de múltiplos quadros históricos em uma representação compacta.
• Mecanismo: Aplica uma agregação ponderada temporalmente (usando pesos aprendíveis) para comprimir a dimensão temporal, preservando pistas de movimento críticas enquanto reduz o número de tokens de entrada para o LLM.

B. Agregador Esparsificado Intra-LLM (ILSA - Intra-LLM Sparse Aggregator)
Este é o núcleo da inovação, integrado diretamente no backbone do LLM (ex: LLaMA).

• Seleção Dinâmica de Âncoras de Texto: Identifica automaticamente quais tokens de texto (instruções de direção) são mais relevantes semanticamente para guiar a poda, filtrando ruídos e instruções irrelevantes.
• Pontuação Semântica sem RoPE (RoPE-free Semantic Scoring):
  • Modelos LLM usam Rotary Position Embeddings (RoPE), que introduzem um viés baseado na distância relativa. Para direção, isso é prejudicial, pois pistas relevantes podem estar distantes na sequência.
  • O ILSA calcula as logits de atenção para poda sem a rotação posicional (RoPE), garantindo que os tokens visuais sejam pontuados puramente com base na sua relevância semântica à instrução de direção.
• Poda e Reciclagem Preservando Diversidade:
  • Poda Global: Seleciona os tokens mais relevantes para a tarefa (Top-K) com base na pontuação semântica.
  • Reciclagem de Diversidade: Para evitar a perda de informações espaciais críticas (ex: pontos cegos), o sistema calcula uma pontuação de diversidade para os tokens descartados e "recicla" os mais diversos dentro de cada vista. Isso simula a atenção humana que foca no objetivo, mas mantém consciência periférica.
• Estratégia de Execução Híbrida: A poda ocorre em camadas específicas do LLM. Apenas essas camadas usam uma implementação de atenção "eager" para calcular os pesos de poda, enquanto as demais mantêm a eficiência do FlashAttention.

C. Decodificador de Ação

• Converte a sequência de tokens esparsificados em trajetórias contínuas futuras, utilizando um decoder Transformer leve e um módulo de pontuação pré-treinado (EPDMS) para refinar a trajetória baseada em critérios de segurança, eficiência e conforto.

3. Contribuições Chave

1. Fusão Temporal Adaptativa: Um módulo que comprime eficientemente a história de múltiplas vistas e quadros antes do LLM, mitigando o crescimento linear de tokens.
2. Mecanismo de Poda Sem Viés Posicional: A introdução de uma pontuação semântica RoPE-free dentro do LLM, permitindo que a relevância visual seja julgada puramente pelo conteúdo semântico, não pela posição na sequência.
3. Estratégia de Reciclagem de Diversidade: Um método que equilibra a eficiência (poda agressiva) com a segurança, garantindo que regiões espaciais críticas e diversas não sejam perdidas, mimetizando a alocação de atenção humana.
4. Integração Intra-LLM: Diferente de métodos que operam apenas no encoder visual, o ETA-VLA realiza a esparsificação dentro do LLM, otimizando o custo computacional das camadas de raciocínio.

4. Resultados Experimentais

Os testes foram realizados no benchmark NAVSIM v2 (Navtest e Navhard).

• Desempenho (Precisão):
  • O ETA-VLA alcançou um escore EPDMS de 85.0 no benchmark Navtest, superando o estado da arte (SOTA) anterior (como DiffusionDrive com 84.3 e GTRS com 84.6) e aproximando-se do desempenho de um agente humano (90.3).
  • No benchmark Navhard (cenários mais difíceis e perturbados), alcançou 48.0, superando significativamente o GTRS w/ SimScale (47.2).
• Eficiência Computacional:
  • Redução de 32% nos FLOPs totais em comparação com a linha de base densa.
  • Com uma taxa de poda de 85% de tokens visuais, o modelo reduziu os FLOPs de inferência em 61%, mantendo 94% da precisão original.
  • A configuração ótima (poda de 35% na camada 4 do LLM) reduziu os GFLOPs de 9.105 para 6.190, com um leve ganho de desempenho (85.0 vs 84.8 da base densa), indicando que a poda remove ruído desnecessário.

5. Significado e Impacto

O trabalho demonstra que é possível alinhar a eficiência computacional com a segurança em direção autônoma ao mimetizar a alocação de atenção humana.

• Viabilidade em Hardware: Ao reduzir drasticamente a complexidade quadrática, o ETA-VLA torna viável a execução de modelos VLA de alto raciocínio em hardware veicular embarcado com recursos limitados.
• Segurança por Design: A estratégia de "reciclagem de diversidade" garante que, mesmo com alta compressão, o modelo não perde a consciência de áreas críticas (pontos cegos), um requisito fundamental para a segurança.
• Paradigma de Eficiência: O estudo estabelece que a esparsificação inteligente e adaptativa dentro do LLM é superior a métodos de compressão estática ou puramente visuais, oferecendo um novo caminho para modelos multimodais escaláveis em robótica e automação.