Resumo Técnico: MAPLE – Jogo Latente Multiagente para Direção Autônoma de Ponta a Ponta

1. Declaração do Problema

A direção autônoma de ponta a ponta (E2E) visa unificar percepção, previsão e planejamento em um único modelo aprendido. Embora modelos recentes Visão-Linguagem-Ação (VLA) tenham melhorado a robustez ao fundamentar o comportamento de direção na linguagem, eles sofrem de uma limitação crítica: são treinados principalmente de forma em malha aberta usando ajuste fino supervisionado (SFT) em dados de direção registrados.

Essa abordagem trata os agentes de tráfego ao redor como não reativos, falhando em modelar as interações em malha fechada inerentes à direção no mundo real. Consequentemente, esses modelos lutam com:

• Desvio de Covariância: Pequenos desvios das trajetórias demonstradas se acumulam ao longo do tempo, levando a falhas de planejamento.
• Rótulos Esparsos: As trajetórias de verdade absoluta capturam apenas uma pequena fração do espaço de ações possível, limitando a aprendizagem de políticas robustas para cenários de cauda longa.
• Limitações de Simulação: Os métodos existentes de treinamento em malha fechada dependem de simuladores externos (por exemplo, CARLA) operando em representações simbólicas (caixas delimitadoras, mapas). Embora escaláveis, esses simuladores são computacionalmente caros para executar no nível de pixel para modelos E2E e frequentemente sofrem de incompatibilidades de fidelidade visual com dados do mundo real.

O desafio central é habilitar treinamento escalável, em malha fechada e multiagente para planejadores E2E sem depender de simuladores de nível de pixel custosos e de baixa fidelidade.

2. Metodologia: Framework MAPLE

Os autores propõem o MAPLE (Jogo Latente Multiagente), um framework que simula o comportamento do veículo ego e de múltiplos agentes reativos inteiramente dentro do espaço latente de um modelo VLA. Isso evita o ônus computacional da simulação em nível de pixel enquanto suporta interações em malha fechada e multi-etapa.

Arquitetura

O MAPLE é construído sobre uma espinha dorsal de LLM multimodal (Qwen2.5-1.5B-VL) e inclui:

• Codificadores: Codificadores de visão e de mapa para processar imagens de múltiplas visões e características de mapa.
• Tokens Latentes: Agentes são representados como tokens latentes compactos que codificam dinâmica (posição, velocidade, aceleração), tipo, segmento de mapa e status de tráfego.
• Cabeças:
  • Cabeça de Planejamento de Ação: Um Codificador-Decoder Variacional (VAE) que decodifica tokens do ego e de agentes reativos em pontos de referência de trajetória.
  • Cabeça de Previsão de Movimento: Um MLP que regressa trajetórias futuras para agentes de fundo (não reativos).
  • Previsão de Estado Futuro: Uma cabeça treinada para prever o próximo estado dos agentes para estabilizar o espaço de tokens.

Pipeline de Treinamento

O framework opera em três estágios distintos:

Estágio 1: Pré-treinamento

A espinha dorsal VLA é pré-treinada em tarefas auxiliares para aprender representações estáveis de tokens latentes:

• Detecção de objetos 3D, segmentação de mapa, previsão de movimento de agentes e segmentação de semáforos.
• Previsão de Estado Futuro: O modelo prevê o próximo estado ($S_{t+1}$) dado o estado atual ($S_t$), minimizando uma função de perda que combina entropia cruzada para rótulos discretos (tipo, segmento de mapa, status de tráfego) e regressão $\ell_1$ para dinâmicas contínuas.

Estágio 2: Ajuste Fino Supervisionado (SFT) com Rolagem Multiagente

Este estágio introduz rolagens de cenário autoregressivas no espaço latente:

• Rolagem Multiagente: O veículo ego e um subconjunto de agentes reativos (aqueles propensos a interagir) são rolados conjuntamente sobre um horizonte $T$. Agentes de fundo são previstos via regressão, mas não controlados pelas cabeças de planejamento.
• Processo: Em cada etapa, o modelo prevê tokens futuros condicionados aos tokens atuais e descrições do cenário. Esses tokens são decodificados em trajetórias e alimentados de volta como entrada para a próxima etapa.
• Objetivo: O modelo é supervisionado usando trajetórias de verdade absoluta para o ego e agentes reativos, minimizando as perdas de planejamento e previsão de movimento sobre o horizonte de rolagem.

Estágio 3: Aprendizado por Reforço Pós-treinamento (RL)

Para lidar com eventos de cauda longa e encorajar comportamentos diversos, o modelo SFT é ajustado finamente usando Otimização de Política Relativa em Grupo (GRPO). A estrutura de recompensa é projetada para promover segurança, progresso e diversidade:

1. Recompensa Global ($G_t$): Encoraja rolagens livres de colisões e penaliza infrações no nível do cenário.
2. Recompensa Específica do Veículo ($r_t$): Promove a conclusão da rota e penaliza comportamentos inseguros (por exemplo, baixo Tempo até Colisão).
3. Recompensa de Diversidade ($D_t$): Um componente inovador que encoraja comportamentos de direção heterogêneos (por exemplo, fusões conservadoras vs. assertivas). Calcula a distância $\ell_1$ par a par entre descritores de comportamento (aceleração, jerk, TTC, centralização na faixa, etc.) entre diferentes planejadores. Isso previne o colapso da política e encoraja a geração de cenários distintos e críticos para a segurança não presentes nos dados registrados.

3. Principais Contribuições

1. Rolagem Multiagente sem Simulador: Os autores introduzem um mecanismo para evoluir conjuntamente o veículo ego e agentes reativos no espaço latente de um VLA. Isso habilita interações em malha fechada e multi-etapa durante o treinamento sem simuladores externos ou renderização em nível de pixel, reduzindo significativamente os custos computacionais.
2. RL Consciente de Diversidade: O artigo propõe uma recompensa de diversidade dentro do estágio de RL que promove explicitamente comportamentos distintos dos agentes. Isso leva a interações multiagente mais ricas e políticas em malha fechada mais robustas, abordando o colapso de modo frequentemente observado no ajuste fino de RL.
3. Desempenho de Última Geração: O framework alcança novos resultados de última geração no benchmark Bench2Drive, demonstrando melhorias significativas em pontuações de direção e robustez em cenários complexos de múltiplas capacidades.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark Bench2Drive (baseado em CARLA), utilizando 950 clipes para treinamento e 50 para validação, com avaliação em malha fechada sobre 220 rotas.

• Desempenho: O MAPLE alcançou uma Pontuação de Direção (DS) de 85,2 (e 88,3 com supervisão de caminho geométrico), superando todos os métodos existentes, incluindo SimLingo (85,1), DiffRefiner (87,1) e ORION (77,7).
• Múltiplas Capacidades: O modelo mostrou melhorias consistentes em comportamentos urbanos complexos, como fusão, ultrapassagem, frenagem de emergência, dar passagem e manuseio de sinais de trânsito, alcançando uma pontuação média de Múltiplas Capacidades de 70,6% (73,2% com supervisão).
• Estudos de Ablação:
  • Estratégia de Rolagem: Rolagem completa em todos os estágios de pré-treinamento, SFT e RL melhorou a Pontuação de Direção em 12,3 pontos sobre a linha de base.
  • Múltiplos Planejadores vs. Único Planejador: O uso de múltiplos planejadores distintos para agentes reativos (Jogo Multiagente) superou as linhas de base de único planejador, melhorando a DS em 4,8 pontos e a Taxa de Sucesso em 7,7 pontos.
  • Recompensa de Diversidade: Habilitar a recompensa de diversidade foi crucial para alcançar os melhores resultados, prevenindo o colapso da política e aprimorando o realismo da interação.

5. Significado e Alegações

O artigo alega que o MAPLE representa uma abordagem escalável e eficaz para avançar a direção autônoma de ponta a ponta, resolvendo a lacuna do "ambiente reativo". Seu significado reside em:

• Escalabilidade: Ao operar no espaço latente, evita os custos computacionais proibitivos e os problemas de fidelidade visual de simuladores em nível de pixel, tornando o treinamento multiagente em malha fechada viável para grandes modelos VLA.
• Robustez: O mecanismo de RL consciente de diversidade permite que o modelo aprenda comportamentos além da distribuição dos dados registrados, melhorando a segurança em cenários de cauda longa e interativos.
• Praticidade: O framework é "removível no momento da inferência", o que significa que a rolagem complexa multiagente é usada apenas durante o treinamento, não incorrendo em sobrecarga adicional durante a implantação.

Os autores reconhecem limitações, observando que as rolagens latentes podem carecer da dinâmica de alta precisão da simulação física e que os experimentos atuais estão confinados ao benchmark Bench2Drive. No entanto, eles postulam que este framework fornece um passo crítico em direção a sistemas autônomos E2E robustos, eficientes em dados e seguros.