Resumo Técnico: CLOVER

Declaração do Problema

Planejadores de direção autônoma ponta a ponta são tipicamente treinados via aprendizado por imitação em uma única trajetória humana registrada. No entanto, eles são avaliados usando métricas de planejamento baseadas em regras (por exemplo, NAVSIM PDMS/EPDMS) que avaliam segurança, viabilidade, progresso e conforto. Isso cria uma incompatibilidade fundamental entre treinamento e avaliação:

1. Trajetórias próximas ao caminho registrado podem ainda violar regras de segurança ou induzir interações inseguras.
2. Trajetórias alternativas que se desviam da demonstração podem ser válidas e de alta pontuação, mas nunca são vistas durante o treinamento.

Essa incompatibilidade é particularmente limitante para planejadores de seleção de propostas, que geram múltiplas trajetórias candidatas e selecionam a melhor delas. Seu desempenho é limitado por dois fatores acoplados: a capacidade do gerador de cobrir alternativas de alta qualidade (cobertura) e a capacidade do avaliador de classificá-las corretamente (qualidade de classificação). A supervisão de trajetória única frequentemente colapsa o conjunto de candidatos em torno de um comportamento realizado, falhando em capturar a natureza multimodal da direção (por exemplo, manter a velocidade vs. frear vs. mudar de faixa).

Metodologia: Framework CLOVER

CLOVER (Estimativa de Valor em Malha Fechada e Classificação) é um framework projetado para fechar o laço entre a geração de propostas e a classificação de trajetórias. Ele emprega uma arquitetura leve de gerador–avaliador e opera em duas etapas distintas de treinamento.

Arquitetura

• Gerador: Produz $K$ trajeturas futuras candidatas do ego ($\tau_i$) com base em imagens de câmeras multiview e no estado do ego.
• Avaliador: Um módulo em nível de trajetória que prevê sub-pontuações de métricas de planejamento (colisão, área drivável, progresso, conforto, etc.) para cada candidato.
• Inferência: Candidatos são classificados pela pontuação prevista composta (usando a regra oficial PDMS $\Gamma_{PDMS}$), e a trajetória de maior classificação é selecionada. O avaliador baseado em regras não é necessário na implantação.

Etapa 1: Cobertura de Propostas Filtrada pelo Avaliador

Para abordar a falta de diversidade na imitação de trajetória única, o CLOVER constrói um conjunto pseudo-experto $\mathcal{E}(o)$ para cada cena durante o treinamento.

• Geração: Em vez de perturbar a trajetória registrada, candidatos são gerados a partir de famílias de ações interpretáveis (por exemplo, variando deslocamentos laterais, perfis de aceleração, comportamentos parar-ir, casos limite) usando informações privilegiadas de cache de métricas (linhas centrais da rota, ocupação futura de obstáculos) disponíveis apenas no treinamento.
• Filtragem: Candidatos são pré-filtrados quanto à área drivável e ocupação, pontuados pelo verdadeiro avaliador baseado em regras, e selecionados via uma estratégia consciente de cobertura para garantir padrões de sub-pontuação e faixas de pontuação diversos.
• Objetivo de Treinamento: O gerador é treinado para cobrir esses pseudo-expertos enquanto retém a trajetória registrada como prior. O avaliador é pré-treinado para prever as sub-pontuações do verdadeiro avaliador.
  • Perda: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$, onde $L_{pe}$ incentiva a cobertura do conjunto pseudo-experto.

Etapa 2: Auto-Distilação Conservadora em Malha Fechada

Esta etapa refina a distribuição expandida de propostas usando um procedimento conservador e alternado para evitar a instabilidade de maximizar diretamente uma recompensa aprendida imperfeita.

1. Fase do Avaliador: O avaliador é ajustado às sub-pontuações do verdadeiro avaliador no conjunto atual de propostas geradas.
2. Fase do Gerador: Um "professor" congelado (o gerador atual) produz propostas. O avaliador as avalia para selecionar dois conjuntos-alvo:
   • Conjunto Top-k: Selecionado pela pontuação prevista composta.
   • Conjunto Pareto Vetorial: Consistindo em propostas não dominadas no espaço de sub-pontuação (preservando trade-offs segurança-progresso-conforto).
   • O gerador estudante é treinado para cobrir esses alvos usando um termo de regularização de estabilidade que desencoraja o desvio da distribuição do professor.
   • Perda: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$.

Justificativa Teórica

O artigo analisa quando um avaliador imperfeito pode melhorar confiavelmente o gerador. Ele postula uma condição de enriquecimento do conjunto selecionado: se os alvos selecionados pelo avaliador (Top-k ou Pareto) estiverem estatisticamente enriquecidos com trajetórias verdadeiramente de alta qualidade em comparação com a distribuição atual de propostas, então a distilação conservadora em nível de conjunto aumenta a massa de probabilidade em trajetórias de alta pontuação. Os autores mostram que o CLOVER satisfaz essa condição empiricamente, pois os alvos selecionados pelo avaliador têm pontuações verdadeiras significativamente mais altas do que o pool médio de propostas.

Contribuições Principais

1. Framework CLOVER: Um framework de estimativa de valor e classificação em malha fechada que acopla a geração de propostas e a pontuação de trajetórias para abordar a incompatibilidade entre treinamento e avaliação.
2. Supervisão Pseudo-Experta Filtrada pelo Avaliador: Um método para estender a imitação de trajetória única para treinamento multimodal em nível de conjunto, construindo conjuntos de candidatos diversos e de alta qualidade usando informações privilegiadas do tempo de treinamento.
3. Auto-Distilação Conservadora em Malha Fechada: Uma estratégia de treinamento alternada que ajusta o avaliador às sub-pontuações verdadeiras e refina o gerador usando alvos Top-k e Pareto Vetorial selecionados pelo professor com regularização de estabilidade, evitando as armadilhas da maximização irrestrita de recompensa.
4. Análise Teórica e Empírica: Uma demonstração de que avaliadores imperfeitos podem guiar efetivamente o refinamento se os alvos selecionados estiverem estatisticamente enriquecidos sob o verdadeiro avaliador, validado por dados empíricos mostrando lacunas significativas de enriquecimento em conjuntos selecionados pelo avaliador.

Resultados Experimentais

O CLOVER foi avaliado em NAVSIM v1, NAVSIM v2 (EPDMS), NavHard e benchmarks de malha aberta do nuScenes.

• NAVSIM v1: Alcançou 94,5 PDMS, superando a forte linha de base DrivoR (93,7) e ficando em primeiro ou segundo lugar em todas as sub-pontuações.
• NAVSIM v2 (navtest): Alcançou 90,4 EPDMS (implementação oficial atualizada) e 87,2 EPDMS (código original), igualando ou superando os resultados mais fortes relatados.
• NavHard: Alcançou 48,3 EPDMS na divisão desafiadora navhard-two-stage, igualando o resultado mais forte relatado.
• nuScenes Malha Aberta: Alcançou o menor erro de deslocamento L2 (0,31m sob o protocolo ST-P3) e a melhor/empate-melhor taxa de colisão (0,10%) entre os métodos comparados.
• Ablação e Análise:
  • A Etapa 1 expandiu significativamente o espaço de propostas (Oracle@64 aumentou de 0,9933 para 0,9976), mas introduziu uma cauda de baixa pontuação.
  • A Etapa 2 refinou essa distribuição, melhorando o PDMS selecionado para 0,9448 enquanto preservava alta diversidade (ADE Pareado de 5,20 vs. linha de base 1,80).
  • Os ganhos foram atribuídos a uma distribuição de candidatos mais forte, e não apenas à seleção de uma melhor trajetória top-1.

Significado e Alegações

O artigo alega que o CLOVER estabelece um novo estado da arte de desempenho em principais benchmarks de planejamento de direção autônoma. Seu significado reside em:

• Resolução da Incompatibilidade: Usar explicitamente feedback fornecido pelo avaliador para treinar um estimador de valor em nível de trajetória e refinar a distribuição de candidatos, em vez de depender exclusivamente da imitação de trajetória única.
• Refinamento Confiável: Demonstrar que um avaliador aprendido imperfeito pode servir como um mediador útil para o refinamento de propostas, desde que os alvos selecionados estejam estatisticamente enriquecidos sob o verdadeiro avaliador e as atualizações permaneçam conservadoras.
• Melhoria Centrada em Propostas: Mostrar que melhorias nas métricas finais de planejamento derivam do aprimoramento tanto da qualidade quanto da diversidade de todo o conjunto de candidatos, e não apenas da seleção final.

Os autores observam que, embora o CLOVER se assemelhe ao aprendizado por reforço ator-crítico, ele é distinto porque opera inteiramente offline em cenas registradas com um avaliador baseado em regras, sem interação com o ambiente online ou exploração por tentativa e erro. Sugere-se trabalho futuro para integrar avaliadores conscientes de histórico ou em nível de sequência para modelar melhor a consistência temporal para métricas como Conforto Estendido (EC).