Resumo Técnico: Compressão de Tokens Alinhada ao Planejamento para Condução Autônoma de Longo Contexto

Declaração do Problema

Políticas monolíticas de Visão-Ação (VA) e Visão-Linguagem-Ação (VLA) representam uma mudança de paradigma na condução autónoma, mapeando entradas multimodais diretamente para trajetórias de veículos através de backbones de transformer unificados. No entanto, escalar estes modelos para lidar com interações complexas requer um contexto temporal estendido, o que infla rapidamente o comprimento da sequência de tokens visuais além dos orçamentos computacionais em tempo real.

As soluções existentes enfrentam um compromisso:

• Transformers Lineares/Memória Externa: Frequentemente requerem modificações no backbone ou introduzem complexidade arquitetural.
• Compressão de Tokens: A abordagem mais prática, pois não requer alterações no backbone. Contudo, os métodos atuais dependem de heurísticas baseadas em regras (ex: decaimento temporal), que retêm frames recentes e descartam os antigos indiscriminadamente.
• A Limitação Central: A compressão baseada em regras é desconectada do objetivo de planejamento. Ela falha em distinguir entre informação redundante e pistas históricas críticas para a decisão (ex: a ordem de chegada de veículos num cruzamento de quatro vias). Como ilustrado no artigo, descartar observações distantes (ex: em $t=-3s$) pode levar a decisões incorretas de preferência de passagem, causando violações de segurança como avançar em sinais de paragem.

Metodologia: COMPACT-VA

Os autores propõem o COMPACT-VA (Compression via Planning-Aligned Context Tokens), um framework de memória de trabalho projetado para comprimir o contexto estendido em representações limitadas enquanto alinha explicitamente a compressão com a intenção de condução.

1. Buffering de Contexto Temporal Hierárquico

Em vez de uma janela de contexto plana, o histórico de observação ($T$ passos temporais) é organizado num banco de memória FIFO hierárquico com $K$ camadas de compressão.

• Viés Indutivo de Decaimento Temporal: Frames recentes retêm alta resolução de tokens (sem compressão), frames intermediários passam por compressão moderada e frames distantes sofrem compressão agressiva.
• Compressão Q-former: Em cada camada, tokens de consulta aprendíveis são concatenados com tokens de observação brutos, embeddings de passo temporal e embeddings de câmera. Um módulo Q-former (baseado em MMDiT) processa isto via auto-atenção para agregar seletivamente características visuais relevantes para a tarefa.
• Consistência Posicional: Embeddings Posicionais Rotativos (RoPE) são escalonados pela razão de compressão para manter o alinhamento com a sequência não comprimida.

2. Acoplamento Variacional Alinhado ao Planejamento

A inovação central é um Auto-Codificador Variacional Condicional (cVAE) com Quantização de Vetores (VQ) que vincula a qualidade da compressão diretamente à previsão de trajetória.

• Latente de Intenção de Condução ($z$): Uma variável latente discreta compacta é destilada das trajetórias futuras durante o treino.
• Encoder de Posterior (Q-net): Treina apenas durante a fase de treino. Recebe as observações comprimidas ($o_{compressed}$) e a trajetória futura real ($\tau_{future}$) para extrair o latente de intenção de condução $z_q$.
• Encoder de Prior (P-net): Opera tanto durante o treino quanto durante a inferência. Prediz o latente de intenção $z_p$ utilizando apenas as observações comprimidas, sem acesso a informações futuras.
• Quantização de Vetores: Tanto $z_q$ quanto $z_p$ são mapeados para um codebook discreto partilhado. Esta discretização força o modelo a aprender um conjunto finito de "habilidades" ou intenções de condução.
• Otimização de Ponta a Ponta: O sistema é otimizado através de uma perda composta:
  $$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$$
  O termo de divergência KL garante que a distribuição do prior (tempo de inferência) corresponda à distribuição do posterior (tempo de treino). Se o Q-former descartar um histórico crítico, o prior não conseguirá prever a intenção, resultando numa alta divergência KL e degradação da previsão da trajetória. Isto cria um ciclo fechado onde o modelo aprende o que deve reter.

3. Inferência

No tempo de teste, apenas o caminho do prior está ativo. O modelo comprime as observações, prevê o latente $z_p$, quantiza-o e anexa-o como um token especial à memória comprimida. Esta sequência combinada alimenta o backbone transformer unificado para a geração de trajetória autorregressiva.

Framework de Avaliação

Os autores identificam cenários dinâmicos de alto sinal onde o contexto estendido (5–10 segundos) é crítico para decisões discretas, distinguindo-se da otimização de trajetória contínua:

1. Cruzamentos de Quatro Vias: Determinar a preferência de passagem com base na ordem de chegada.
2. Paragem/Cessão com Oclusão Dinâmica: Manter o estado de veículos ocluídos.
3. Conversões Não Protegidas: Avaliar as lacunas de tráfego vindo no sentido oposto ao longo do tempo.

Métricas: Métricas tradicionais como minADE são consideradas desalinhadas. O artigo introduz métricas comportamentais:

• Taxa de Sucesso de Avanço (Go SR): Capacidade de prosseguir após parar.
• Taxa de Sucesso de Paragem (Stop SR): Capacidade de parar completamente quando necessário.
• Taxa de Avanço Indevido (Roll-Through Rate): Frequência de falha em parar completamente (crítico para a segurança).
• Erros de Posição/Duração de Paragem: Desvios espaciais e temporais.

Principais Resultados

Avaliado no dataset Alpamayo (especificamente curado para cenários dependentes de memória) e no simulador Alpasim:

• Ganhos de Desempenho: Sob orçamentos de tokens comparáveis (~1.424 tokens), o COMPACT-VA atinge uma Taxa de Sucesso de Avanço de 68,3%, superando a baseline de 1 segundo (63,8%) e a baseline densa de 5 segundos não comprimida (61,9%).
• Melhorias de Segurança: Reduz a Taxa de Avanço Indevido em 22% (7,0% vs. 9,0% para as baselines) e melhora a Taxa de Sucesso de Paragem para 89,2%.
• Insights de Ablação:
  • Remover o alinhamento de planejamento reduz o Go SR para 65,6%, confirmando a necessidade de acoplar a compressão com a intenção.
  • A compressão ingénua (sem condicionamento de histórico) resulta em 63,5%, mostrando o valor da compressão condicionada à trajetória.
  • A compressão hierárquica é essencial; frames recentes devem reter a resolução total.
• Eficiência: Comparado ao processamento de 5 segundos não comprimido (6.400 tokens), o COMPACT-VA alcança uma aceleração de inferência de 3,3× e uma redução de memória de 2,7× (3,95 GB vs. 10,51 GB de pico de memória GPU) mantendo a competência geral de condução em simulações de malha fechada.

Significância e Alegações

O artigo afirma que a memória de trabalho consciente da tarefa é a chave para o raciocínio em diversos cenários de condução autónoma. Ao passar de heurísticas baseadas em regras para uma compressão alinhada ao planejamento, o modelo descobre e retém implicitamente informações históricas críticas para a decisão sem regras de retenção manuais.

Os autores posicionam este trabalho como um passo em direção a uma memória eficaz para políticas VA/VLA monolíticas, demonstrando que janelas de contexto limitadas, quando acopladas a objetivos variacionais, podem resolver a tensão entre restrições computacionais e a necessidade de raciocínio de longo horizonte em decisões de condução críticas para a segurança. Eles observam que, embora os ganhos na condução geral sejam modestos, a abordagem é particularmente impactante em cenários de alto sinal onde decisões discretas (parar/avançar) dependem de pistas comportamentais do passado de 5 a 10 segundos.