CorrectionPlanner: Self-Correction Planner with Reinforcement Learning in Autonomous Driving

1. O Problema

O planejamento de direção autônoma exige decisões que equilibrem eficiência e segurança. A maioria dos planejadores baseados em aprendizado (learning-based planners) atuais opera de forma autoregressiva, prevendo a próxima ação ou trajetória com base no contexto da cena. No entanto, esses modelos carecem de um mecanismo explícito de autocorreção. Uma vez que uma ação insegura é proposta, não há um mecanismo interno para avaliá-la e corrigi-la antes da execução, o que pode levar a colisões. Diferente dos Grandes Modelos de Linguagem (LLMs), que utilizam raciocínio e autorreflexão em espaço de linguagem para evitar saídas perigosas, os planejadores de direção autônoma tradicionais não possuem essa capacidade de "pensar" e revisar suas ações no espaço de movimento.

2. Metodologia: CorrectionPlanner

O artigo propõe o CorrectionPlanner, um planejador autoregressivo que modela o planejamento como a geração de "tokens de movimento" dentro de um loop de propor, avaliar e corrigir.

Arquitetura e Mecanismo de Autocorreção

• Geração de Tokens de Movimento: A trajetória é discretizada em tokens de movimento (intervalos de 0,5s). O planejador gera um token de movimento para o veículo ego.
• Crítico de Colisão (Collision Critic): Um modelo aprendido avalia se o token proposto causará uma colisão em um horizonte curto (ex: 2,5s).
• Rastreamento de Correção (Correction Trace): Se o token for classificado como inseguro, ele não é executado. Em vez disso, ele é retido em uma sequência chamada "rastro de correção" (correction trace), que contém todos os tokens de movimento inseguros propostos anteriormente.
• Loop Iterativo: O planejador gera um novo token condicionado não apenas ao histórico da cena, mas também a esse rastro de correção (codificado via um bloco de autoatenção). Esse processo se repete até que um token seguro seja proposto ou um limite de iterações seja atingido.
• Analogia com LLMs: O rastro de correção atua como um "processo de raciocínio" no espaço de tokens de movimento, permitindo que o modelo revise suas previsões inseguras antes de agir.

Treinamento em Duas Etapas

O modelo é treinado através de uma abordagem híbrida:

1. Aprendizado por Imitação (IL): O modelo é pré-treinado para prever o próximo token em trajetórias de especialistas. Nesta fase, o modelo é exposto a cenários de colisão e treinado para gerar tokens corrigidos condicionados ao rastro de tokens inseguros, aprendendo a evitar colisões imediatas.
2. Aprendizado por Reforço (RL) Baseado em Modelo: Para ensinar o modelo a corrigir ações com antecedência (antes que a colisão seja inevitável), utiliza-se RL.
   • Mundo Reativo: Emprega um "Mundo Modelo" (World Model) pré-treinado e congelado (baseado em SMART) que simula o comportamento reativo de outros agentes em resposta às ações do veículo ego. Isso permite simulações realistas onde as correções do ego alteram o comportamento dos outros agentes.
   • Função de Recompensa: Utiliza uma recompensa baseada em regras que penaliza colisões e recompensa o progresso em relação à trajetória do especialista.
   • Otimização: Otimiza-se a política usando o algoritmo REINFORCE com regularização KL (para manter a proximidade com a política de imitação), focando apenas no token final executado, mas utilizando todo o rastro de correção para condicionar a geração.

3. Principais Contribuições

1. CorrectionPlanner: Um planejador autoregressivo com um loop explícito de correção que utiliza um rastro de tokens inseguros para refinar ações antes da execução, análogo ao raciocínio em LLMs, mas no espaço de movimento.
2. Esquema de Treinamento Híbrido: Combinação de Aprendizado por Imitação com RL baseado em modelo, utilizando um mundo modelo reativo para gerar trajetórias de simulação realistas que incluem tanto os tokens executados quanto os tokens de correção descartados.
3. Desempenho Superior: Demonstração de que a autocorreção reduz significativamente as taxas de colisão, superando planejadores baseados em aprendizado de máquina existentes.

4. Resultados Experimentais

Os resultados foram avaliados nos simuladores Waymax (com dados do WOMD) e no conjunto de dados nuPlan.

• Waymax (Simulação Reativa e Não Reativa):
  • O CorrectionPlanner reduziu a taxa de colisão em mais de 20% em comparação com a melhor linha de base (baseline) existente.
  • Mantém um desempenho competitivo em termos de progresso (progression) e saída da via (off-road), demonstrando um bom equilíbrio entre segurança e eficiência.
• nuPlan:
  • Alcançou pontuações de planejamento (planning scores) State-of-the-Art (SOTA) em várias divisões (Val14, Test-Hard, Test-Random), superando métodos como DiffusionPlanner, PlanTF e SMART.
  • Na configuração reativa, o método mostrou-se superior, indicando que a modelagem reativa dos agentes é crucial para cenários de tráfego real.
• Análise de Ablação:
  • Comparação com Amostragem por Rejeição: A simples rejeição e reamostragem de tokens (Rejection Sampling) não foi eficaz, pois tende a gerar tokens próximos ao original inseguro. A autocorreção do CorrectionPlanner altera a distribuição condicional baseada no histórico de falhas, permitindo escapar de regiões de colisão.
  • Importância do RL: O treinamento apenas com IL (mesmo com correção) não foi suficiente para reduzir colisões drasticamente; o RL foi essencial para aprender a corrigir ações com antecedência.
  • Parâmetros: Ajustes no limiar de detecção de colisão e no comprimento máximo da correção mostraram que um equilíbrio (threshold ~0.75, comprimento 5) oferece a melhor troca entre segurança e progresso.

5. Significado e Impacto

O trabalho representa um avanço significativo na segurança da direção autônoma ao introduzir um mecanismo de raciocínio e correção explícito no nível de tokens de movimento.

• Segurança: A capacidade de identificar e rejeitar ações inseguras antes da execução, aprendendo com os próprios erros de tentativa durante a simulação, reduz drasticamente a probabilidade de acidentes.
• Generalização: A abordagem demonstra capacidade de generalização zero-shot e é escalável para outros cenários de robótica onde a segurança é crítica.
• Ponte entre LLMs e Robótica: O trabalho estabelece uma conexão metodológica entre a autorreflexão em modelos de linguagem e o planejamento de movimento em robótica, sugerindo que a "pensar antes de agir" via rastros de correção é uma direção promissora para sistemas autônomos complexos.

Em resumo, o CorrectionPlanner supera a limitação fundamental dos planejadores atuais de "agir e depois corrigir" (ou não corrigir), permitindo que o sistema "pense, avalie e corrija" internamente antes de qualquer ação física ser tomada, resultando em um comportamento de direção mais seguro e robusto.