Resumo Técnico: Otimização de Trajetória em Tempo de Teste para Condução Autônoma (TOAD)

1. Definição do Problema

Os planejadores de condução autônoma de ponta a ponta (E2E) tipicamente seguem um paradigma de "gerar e selecionar": eles produzem um conjunto finito de trajetórias candidatas (seja a partir de um vocabulário pré-computado ou geradas em tempo real) e utilizam um classificador (scorer) aprendido para ranqueá-las, retornando a opção com a maior pontuação.

Os autores identificam um gargalo crítico neste pipeline: o classificador é aplicado apenas após a geração e não consegue influenciar o conjunto de candidatos. Se o conjunto inicial de propostas for subótimo (por exemplo, se todos os candidatos forem inseguros ou ineficientes), o planejador é forçado a retornar o "melhor de um conjunto ruim", independentemente da qualidade do classificador. Os métodos atuais tratam o classificador meramente como um mecanismo de ranqueamento para um conjunto fixo, perdendo a oportunidade de utilizá-lo como uma função objetivo para buscar ativamente trajetórias melhores.

Além disso, o artigo destaca uma fraqueza oculta em muitos classificadores existentes: aqueles treinados para avaliar vocabulários fixos frequentemente falham ao generalizar para trajetórias fora de sua distribuição de treinamento. Quando usados como função de recompensa para busca, esses classificadores podem levar ao "hack de recompensa" (reward hacking) ou à degradação do desempenho, pois são imprecisos em trajetórias novas e livremente decodificadas.

2. Metodologia: TOAD

Os autores propõem o TOAD (Test-time Optimization for Autonomous Driving), um procedimento plug-and-play que reformula o classificador E2E congelado como uma função de recompensa aprendida e realiza uma busca sobre o espaço de trajetórias durante a inferência.

Algoritmo Central: Método da Entropia Cruzada (CEM)

O TOAD envolve um planejador base congelado em um loop de inferência baseado no Método da Entropia Cruzada (CEM):

1. Inicialização (Warm-Start) e Região de Confiança: A busca é inicializada usando a trajetória selecionada pelo planejador base ($\tau_{base}$) e seu conjunto de candidatos. Isso confina a busca a uma "região de confiança" ao redor das propostas do planejador, garantindo que a busca permaneça dentro da distribuição onde o classificador é confiável.
2. Busca no Espaço de Controle: Em vez de amostrar diretamente no espaço de pose (o que gera trajetórias dinamicamente inviáveis), o TOAD amostra no espaço de controle. As trajetórias são mapeadas para sequências de aceleração longitudinal ($a_t$) e taxa de guinada ($\omega_t$) usando um modelo de bicicleta cinemática inversa. Isso garante que todas as trajetórias amostradas sejam suaves e cinematicamente viáveis.
3. Função Objetivo: O CEM maximiza uma função objetivo composta $J(u)$:
   $$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$$
   • $S$ (Classificador): A recompensa aprendida do planejador congelado.
   • $C_{anchor}$: Um regularizador que penaliza o desvio da trajetória âncora do planejador base para manter a região de confiança.
   • $C_{comf}$: Um regularizador de conforto de forma fechada (penalizando aceleração, jerk, etc.) para fornecer um sinal que o classificador aprendido pode estimar de forma grosseira.
4. Refinamento Iterativo: Em cada iteração, $M$ sequências de controle são amostradas de uma distribuição Gaussiana, projetadas em trajetórias, pontuadas, e as $E$ sequências "elites" superiores são usadas para reajustar os parâmetros Gaussianos ($\mu, \sigma$).
5. Seleção Final: Após $K$ iterações, a trajetória induzida pela média convergente é comparada com a proposta base original. Aquela com a maior pontuação final (incluindo penalidades de conforto) é selecionada.

Decisão de Design Crucial: O Classificador

Uma descoberta crítica é que nem todos os classificadores funcionam para o TOAD.

• Classificadores de Vocabulário Fixo: Classificadores treinados apenas para ranquear trajetórias pré-computadas (ex: Hydra-MDP, GTRS) falham quando usados como recompensas para busca. Eles degradam drasticamente em trajetórias fora de seu vocabulário específico.
• Classificadores Desvinculados (Disentangled): O TOAD requer um classificador treinado para avaliar trajetórias livremente decodificadas (ex: o classificador do DrivoR). Este classificador permanece preciso fora da distribuição de proposta, tornando-o uma função de recompensa válida para o loop CEM.

3. Principais Contribuições

1. Reformulação do Classificador: Os autores propõem visualizar o classificador de trajetória E2E não apenas como uma ferramenta de ranqueamento para um conjunto fixo, mas como uma função de recompensa aprendida capaz de guiar uma busca por trajetórias ideais.
2. Framework TOAD: Um algoritmo de busca em tempo de teste que se integra a qualquer planejador base existente sem necessidade de retreinamento. Ele utiliza o CEM para otimizar trajetórias no espaço de controle, com inicialização (warm-start) a partir das propostas do planejador.
3. Identificação de Limitações do Classificador: O trabalho expõe que a avaliação de ranqueamento padrão não revela a incapacidade de generalização de um classificador. O TOAD demonstra que a otimização de tempo de teste bem-sucedida exige um classificador que generalize além de suas propostas de treinamento, uma propriedade ausente em abordagens de vocabulário fixo.
4. Desempenho Plug-and-Play: O TOAD melhora o desempenho de seis planejadores base diversos (tanto de vocabulário quanto geradores em tempo real) em múltiplos benchmarks com overhead computacional negligenciável e sem atualizações de modelo.

4. Resultados Experimentais

O método foi avaliado nos simuladores NAVSIM-v1, NAVSIM-v2 e no simulador de malha fechada (closed-loop) HUGSIM.

• NAVSIM-v2 (Novo Estado da Arte):

  • O TOAD aplicado ao DrivoR alcançou 56.3 EPDMS, um novo estado da arte que quase iguala o baseline PDM-Closed privilegiado (56.6), que utiliza percepção de verdade fundamental (ground-truth).
  • Ganhos significativos foram observados em todos os planejadores. Por exemplo, o iPad melhorou em +43.6% (de 34.7 para 49.8 EPDMS), enquanto o DrivoR melhorou em +3.1%.
  • A busca efetivamente comprimiu a lacuna de desempenho entre planejadores fracos e fortes, sendo que os planejadores mais fracos obtiveram os maiores ganhos.

• NAVSIM-v1:

  • Melhorias consistentes foram vistas, com o DrivoR + TOAD atingindo 94.7 PDMS, apenas 0.1 pontos abaixo do baseline do motorista humano (94.8).

• HUGSIM (Malha Fechada):

  • O TOAD melhorou métricas de segurança (Sem Colisão, Área Dirigível, Tempo para Colisão) e conforto em cenas fotorrealistas.
  • Embora a Conclusão de Rota (Route Completion - RC) às vezes tenha diminuído (indicando uma condução mais cautelosa), o Driving Score (HDS) geral melhorou, particularmente em nuScenes e KITTI360.

• Estudos de Ablação:

  • Busca vs. Re-ranqueamento: Simplesmente re-ranquear as propostas do planejador base com o classificador resultou em resultados inconsistentes (às vezes prejudicando o desempenho). Os ganhos vieram especificamente da busca ao descobrir novas trajetórias fora do conjunto original.
  • Necessidade do Classificador: Usar classificadores não generalistas (ex: GTRS) como recompensas causou uma queda de desempenho abaixo do baseline, confirmando a necessidade de um classificador desvinculado e generalista.
  • Espaço de Controle: A otimização no espaço de controle superou a amostragem direta no espaço de trajetória.

• Custo Computacional:

  • O overhead é mínimo. A busca adiciona apenas de 1.9 ms a 20.4 ms por amostra (dependendo do número de iterações $K$).
  • Quando o classificador faz parte do planejador base (compartilhando o backbone de percepção), o custo é quase nulo. Quando é externo, o custo é dominado pelo backbone de percepção redundante (~100 ms), mas a busca em si permanece leve.

5. Significância e Alegações

O artigo alega que o principal gargalo na condução E2E atual é frequentemente o conjunto de candidatos, e não o classificador. Ao tratar o classificador como uma função de recompensa otimizável, o TOAD desbloqueia um desempenho que era anteriormente inacessível ao planejador.

Os autores enfatizam que o TOAD é uma melhoria modesta e plug-and-play que não requer retreinamento. Seu sucesso depende da disponibilidade de um classificador generalista. O trabalho sugere uma direção clara para o design de futuros planejadores: construir classificadores que sejam desvinculados do gerador de trajetórias e treinados para avaliar trajetórias livremente decodificadas. Isso permitiria que a busca de tempo de teste forte viesse "de graça", aumentando significativamente a segurança e o conforto sem mudanças arquiteturais na rede de geração.

O artigo conclui que, embora o TOAD atualmente dependa de um planejador base para inicialização, um classificador suficientemente preciso e generalista poderia eventualmente permitir a busca a partir do zero, potencialmente removendo a necessidade de um gerador base inteiramente. No entanto, isso permanece uma direção futura dependente da escala da capacidade do classificador.