ProDrive: Proactive Planning for Autonomous Driving via Ego-Environment Co-Evolution

1. Declaração do Problema

Os planejadores de condução autônoma de ponta a ponta atuais são predominantemente reativos. Eles geram trajetórias baseadas exclusivamente em observações de sensores atuais (imagens, LiDAR, estado) sem modelar explicitamente como o ambiente evoluirá em resposta às ações do veículo ego.

• Limitações: Esta abordagem míope falha em antecipar dinâmicas futuras da cena, levando a decisões subótimas, falhas críticas de segurança e incapacidade de lidar efetivamente com interações complexas de múltiplos agentes.
• Lacuna na Pesquisa Existente: Embora "modelos de mundo" existam para prever estados futuros, eles são frequentemente utilizados como ferramentas auxiliares (por exemplo, para geração de dados, simulação ou reclassificação post-hoc) em vez de serem integrados de forma rigorosa ao processo de tomada de decisão do planejador. Consequentemente, o planejador não recebe feedback de gradiente direto das previsões futuras para moldar sua lógica interna de decisão.

2. Metodologia: Framework ProDrive

O ProDrive propõe um framework de planejamento proativo que alcança Co-evolução Ego-Ambiente. Ele treina conjuntamente um planejador de trajetória centrado em consultas e um modelo de mundo em Visão de Pássaro (BEV) de maneira end-to-end.

Arquitetura Central

O sistema consiste em dois módulos acoplados de forma rigorosa:

A. Módulo Ego (Planejador Centrado em Consultas)

• Entrada: Imagens multiview, LiDAR e estado do ego.
• Mecanismo: Baseado em uma arquitetura BEVFormer, utiliza consultas ego aprendíveis para gerar diversas trajetórias candidatas.
• Refinamento Iterativo: Os tokens ego passam por $L$ estágios de refinamento. Em cada estágio:
  1. Decodificação: Um MLP decodifica tokens em pontos de passagem da trajetória.
  2. Refinamento: Uma atenção cruzada deformável atualiza os tokens ego ao atender características da imagem nas localizações espaciais específicas dos pontos de passagem propostos.
• Saída: Um conjunto de $K$ trajetórias candidatas e tokens ego refinados ($Q^{(L)}$) que codificam semânticas conscientes de planejamento.

B. Módulo Ambiente (Modelo de Mundo BEV)

• Entrada: Estado BEV atual, estado do ego e Tokens Ego (injetados a partir do planejador).
• Mecanismo: Um modelo baseado em Transformer recorrente que prevê a evolução futura da cena BEV ao longo de $N$ iterações.
• Inovação Chave: Diferentemente de modelos de mundo padrão que condicionam em coordenadas brutas ou características latentes genéricas, o ProDrive injeta os tokens ego refinados diretamente no modelo de mundo. Isso permite que a previsão futura dependa não apenas de onde o carro irá, mas por que o planejador escolheu aquele movimento (contexto consciente de planejamento).
• Saída: Estados BEV futuros previstos e pontuações de recompensa para cada trajetória candidata com base em segurança, conforto e eficiência.

C. Acoplamento Ego-Ambiente (O Mecanismo de "Co-evolução")

• Fluxo Bidirecional:
  1. Frente: O planejador fornece tokens ego para guiar a previsão futura do modelo de mundo.
  2. Trás: O modelo de mundo avalia todos os candidatos em paralelo e propaga gradientes conscientes do futuro de volta para o planejador.
• Resultado: O planejador não é mais otimizado apenas em observações atuais, mas é explicitamente moldado pela evolução futura antecipada da cena.

Objetivos de Treinamento

O sistema é treinado end-to-end com uma função de perda multi-tarefa:

1. Perda de Trajetória: Perda de regressão para geração precisa de caminhos e regularização de diversidade.
2. Perda de Recompensa: Supervisiona o modelo de mundo a prever recompensas de imitação (proximidade ao especialista) e recompensas de simulação (evitação de colisão, área transitável, progresso).
3. Perda de Alinhamento: Alinha a pontuação interna do planejador com as recompensas previstas pelo modelo de mundo.
4. Perda Semântica: Garante que o modelo de mundo preveja com precisão mapas semânticos BEV futuros (por exemplo, ocupação de outros agentes).

3. Contribuições Principais

1. Framework de Planejamento Proativo: Introdução do ProDrive, o primeiro framework a acoplar rigidamente um planejador de trajetória e um modelo de mundo via co-evolução ego-ambiente, indo além do planejamento reativo e orientado por observação.
2. Injeção de Token Ego Consciente de Planejamento: Um mecanismo inovador onde os tokens de decisão refinados do planejador são injetados no modelo de mundo. Isso preserva as semânticas internas de decisão do planejador, permitindo que o modelo de mundo realize raciocínio "e se" condicionado a intenções de planejamento específicas.
3. Feedback de Gradiente End-to-End: Estabelecimento de um fluxo de gradiente bidirecional onde previsões futuras da cena moldam diretamente a otimização do planejador, permitindo que o sistema aprenda comportamentos proativos que antecipam interações.
4. Desempenho de Estado da Arte: Demonstrou melhorias significativas em segurança e eficiência de planejamento no desafiador benchmark NAVSIM.

4. Resultados Experimentais

O método foi avaliado no NAVSIM v1, um benchmark projetado para cenários de condução interativos e desafiadores.

• Métrica Primária: Pontuação do Modelo de Motorista Preditivo (PDMS), que agrega segurança (Sem Colisão por Culpa, Tempo até Colisão), conformidade com regras (Conformidade com Área Transitável) e eficiência/conforto.
• Desempenho: O ProDrive alcançou um PDMS de 86,6, superando todas as bases fortes (incluindo modelos reativos end-to-end como UniAD, VADv2, e bases proativas como LAW e FSDrive).
  • Segurança: 98,0% Sem Colisão por Culpa (NC), 93,7% Tempo até Colisão (TTC).
  • Eficiência: 80,7% Progresso do Ego (EP).
• Estudos de Ablação:
  • Sem Modelo de Mundo: O PDMS caiu para 83,5, provando que a modelagem futura explícita é crítica para a segurança.
  • Sem Injeção de Token Ego: O PDMS caiu para 85,5, confirmando que injetar semânticas de planejamento melhora a capacidade do modelo de mundo de prever estados futuros relevantes.
  • Sem Gradiente Proativo: O PDMS caiu para 85,8, validando que o fluxo de retorno de gradientes conscientes do futuro é essencial para moldar o planejador.

5. Significado

O ProDrive representa uma mudança de paradigma na pesquisa de condução autônoma:

• De Reativo para Proativo: Demonstra que agentes autônomos podem aprender a antecipar interações futuras em vez de meramente reagir ao presente.
• Arquitetura Unificada: Preenche a lacuna entre previsão de trajetória (frequentemente tratada como módulo separado) e planejamento, criando um sistema unificado onde o raciocínio futuro é um sinal de treinamento de primeira classe.
• Segurança e Eficiência: Ao modelar explicitamente a co-evolução do veículo ego e do ambiente, o ProDrive produz comportamentos de condução mais previdentes, seguros e eficientes, particularmente em cenários complexos de múltiplos agentes onde regras reativas simples falham.

Este trabalho sugere uma direção futura onde sistemas de condução autônoma são guiados por previsões aprendidas da evolução futura da cena, permitindo um nível de "previsão" comparável ao de motoristas humanos experientes.