Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

Resumo Técnico: Inferência de Visão-Linguagem-Ação Assíncrona Rápida-Lenta para Direção em Malha Fechada

Problema

Grandes Modelos de Visão-Linguagem (VLMs) introduziram o seguimento de instruções e o raciocínio de cena na condução autônoma de ponta a ponta. No entanto, a sua latência de inferência elevada cria um conflito fundamental com as taxas de controle exigidas para a condução em malha fechada (tipicamente 20 Hz, ou ciclos de 50 ms). Os agentes existentes, como o LMDrive, resolvem isto saltando ciclos de simulação: o modelo executa em ciclos alternados, e o comando anterior é reproduzido entre eles. Esta abordagem de "salto de frames" significa que o veículo atua com base em decisões obsoletas durante 50–100 ms, ignorando as observações mais recentes. Os autores argumentam que isto é uma limitação arquitetural e não fundamental, uma vez que a compreensão da instrução e a agregação temporal mudam lentamente, enquanto o mapeamento do frame atual para uma trajetória deve ser rápido.

Metodologia

O artigo propõe uma Arquitetura Assíncrona Rápida-Lenta que desacopla o raciocínio pesado do VLM do ciclo de controle de alta frequência.

1. Decomposição do Sistema:

   • Sistema Lento (O Backbone): Um backbone LLaMA de 7B congelado (baseado no LMDrive) atua como o sistema lento. Ele processa instruções de navegação e o histórico visual a uma frequência baixa (por exemplo, a cada $K=4$ ciclos). Crucialmente, ele expõe o seu cache de Chave-Valor (KV) por camada como uma representação estática da cena. O backbone anexa novos tokens visuais a este cache através de uma passagem progressiva (incremental forward pass) e apenas reconstrói o cache inteiramente após eventos específicos de invalidação (mudança de instrução, fim de episódio ou limite de janela).
   • Sistema Rápido (O Especialista de Ação): Um transformer leve, de 337M de parâmetros, atua como o sistema rápido. Ele executa em cada ciclo de simulação (20 Hz). Ele realiza atenção cruzada (cross-attention) nos estados de cache KV do backbone em cada camada, enquanto processa o frame da câmara atual e um token de estado do ego (contendo previsões anteriores e velocidade). Ele regride cinco waypoints num único forward pass. O backbone nunca atende aos tokens do especialista, garantindo que o cache permaneça idêntico quer o especialista execute ou não.

2. Treino com Aumento de Obsolecência (Staleness-Augmented Training):
   Como o cache no deployment fica atrasado em relação ao estado atual do mundo por até $K$ ciclos, o especialista deve aprender a operar com contexto obsoleto. Os autores introduzem a obsolescência aleatória durante o treino: para cada amostra, aplica-se um atraso $\delta$ aleatório, mascarando o prefixo do backbone visível para o especialista de modo que este termine num frame anterior ($j - \delta$). Isto força o especialista a fundir um resumo da cena desatualizado com evidências frescas por ciclo, alinhando a distribuição de treino com a realidade assíncrona do deployment.

3. Deployment Assíncrono:
   O agente mantém o cache do backbone como um estado mutável. A cada $K$ ciclos, o sistema lento atualiza o cache. A cada ciclo, o sistema rápido lê o cache existente e o frame atual para gerar o controle. Isto permite que o sistema emita um controle fresco a 20 Hz com um custo por ciclo independente do comprimento do histórico.

Principais Contribuições

1. Esquema de Inferência Rápida-Lenta Assíncrona: Uma arquitetura inovadora que transforma o backbone do VLM num provedor de contexto com cache e atualização incremental, movendo toda a computação por ciclo para um especialista leve.
2. Treino com Aumento de Obsolecência: Uma estratégia de treino que simula explicitamente o atraso de cache encontrado no deployment assíncrono, permitindo que o especialista compense o contexto desatualizado.
3. Primeira Avaliação em Malha Fechada com Latência Medida: A primeira demonstração de um paradigma VLA rápido-lento que alcança taxas de controle total em hardware de consumo (RTX 3090 Ti) com latência medida, indo além dos benchmarks de malha aberta onde a latência é meramente registada.

Resultados Experimentais

Avaliado no benchmark LangAuto-Short no CARLA (Town 05) e transferência zero-shot para cidades não vistas:

• Conclusão de Rota: O sistema aumentou a conclusão de rota de 37.0% para 94.0% em comparação com a baseline de salto de frames.
• Pontuação de Condução (Driving Score): A pontuação de condução melhorou de 28.8 para 32.9.
• Ablação de Fatores:
  • Qualidade do Especialista: Executar o mesmo especialista à taxa de 10 Hz da baseline (salto de frames) melhorou a pontuação de condução para 34.0, indicando que o próprio especialista melhora a qualidade da decisão.
  • Frescura do Controle: Mudar de 10 Hz para 20 Hz (controle fresco a cada ciclo) aumentou a conclusão de rota de 82.1% para 94.0%, reduziu os desvios de rota em mais do que metade e cortou as violações de sinal vermelho em um terço.
• Latência: A abordagem legada (recomputação total) leva 89–169 ms por passo, excedendo o orçamento de 50 ms. O método proposto mantém um custo fixo de 32 ms por ciclo (32.4 ms de computação do modelo), independentemente do comprimento do histórico, encaixando-se confortavelmente no orçamento de 50 ms.
• Precisão em Malha Aberta: O especialista reduziu o erro L1 de waypoint de 0.123 (cabeça do backbone congelado) para 0.031, uma melhoria de quase quatro vezes.
• Transferência Zero-Shot: Treinado apenas na Town 05, o especialista alcançou 84.3% de conclusão na Town 01 e 94.4% na Town 02, superando significativamente a baseline (40.5% e 30.7%, respetivamente).
• Limitações: Em rotas longas na Town 03 (não vista durante o treino), o sistema completou 85.4% da rota, mas sofreu problemas de segurança (colisões, violações de sinal vermelho) devido à falta de dados de treino para tráfego denso e negociação de longo horizonte de perigos.

Significado e Alegações

O artigo afirma que o problema da latência nos VLMs de condução é arquitetural, não fundamental. Ao separar os componentes de raciocínio pesado e lento dos componentes reativos e rápidos, o sistema alcança:

• Controle Fresco: A capacidade de reagir a cada ciclo de simulação sem sacrificar as capacidades de raciocínio de um modelo grande.
• Escalabilidade: O custo por ciclo é independente do comprimento do histórico, permitindo o raciocínio de longo horizonte sem aumentar o tempo de inferência.
• Ganhos de Desempenho: A combinação de um melhor especialista de ação e frescura por ciclo melhora drasticamente a conclusão de rotas e a segurança (menos desvios e violações) em comparação com as baselines de salto de frames de última geração.

Os autores enfatizam que, embora o sistema demonstre melhorias significativas em simulação, continua a ser um estudo de simulação treinado em rotas curtas. Eles alertam que o sucesso da arquitetura na negociação de perigos de longo horizonte é limitado pelos dados de treino, não pela arquitetura em si, e que o sistema ainda não está pronto para implementação rodoviária no mundo real.