Resumo Técnico: FlowR2A

Definição do Problema

O planejamento de condução multimodal enfrenta uma tensão fundamental entre dois paradigmas existentes: métodos baseados em pontuação (scoring-based) e métodos baseados em âncoras (anchor-based).

• Métodos baseados em pontuação utilizam um vocabulário de ações grande e fixo e treinam um pontuador para avaliar candidatos usando rótulos de recompensa densos, baseados em simulação. Embora isso forneça uma supervisão rica sobre a relação entre ações e resultados, esses métodos são fundamentalmente discriminativos ($p(r|a)$). Eles não conseguem gerar novas propostas fora de seu vocabulário fixo, o que limita a adaptabilidade a cenários do mundo real dinâmicos.
• Métodos baseados em âncoras decodificam dinamicamente propostas a partir de um conjunto de âncoras de ação, permitindo a geração adaptável à cena. No entanto, eles geralmente dependem de supervisão esparsa, frequentemente utilizando uma perda de "vencedor leva tudo" (winner-takes-all) que supervisiona apenas a proposta mais próxima de uma única trajetória de referência (ground-truth - GT). Isso leva a propostas de baixa qualidade ou degeneradas para âncoras que não recebem sinais de treinamento e herda patologias de aprendizado por imitação, como o aprendizado de atalhos (shortcut learning) a partir do status do ego e a falta de consciência sobre as consequências das ações.

O desafio central é que a supervisão de recompensa densa e a modelagem generativa de propostas têm sido historicamente mutuamente exclusivas.

Metodologia: FlowR2A

Os autores propõem o FlowR2A, um framework que reformula as recompensas baseadas em simulação de alvos discriminativos para condições generativas. Em vez de aprender a prever recompensas dadas as ações, o FlowR2A aprende a distribuição de ação condicionada à recompensa $p(a|r)$ usando um decodificador de correspondência de fluxo (flow-matching).

1. Formulação Central

• Pares Ação-Recompensa Densos: O método constrói um vocabulário de ação denso ($V_a$) de 8.192 trajetórias agrupadas a partir de dados do nuPlan. Para cada cena de treinamento, cada trajetória é simulada para gerar um rótulo de recompensa, criando pares $(a, r)$ densos que abrangem o espaço de ação.
• Modelagem Generativa: O modelo trata essas recompensas como condições para aprender a distribuição generativa $p(a|r)$. Isso força o modelo a internalizar a correlação entre uma ação e seus resultados (segurança, progresso, conforto, conformidade com regras) em vez de apenas classificá-los.
• Correspondência de Fluxo (Flow Matching): Um decodificador de ação baseado em fluxo é treinado para recuperar trajetórias limpas a partir de ruído sob condicionamento de recompensa, utilizando uma perda de correspondência de velocidade.

2. Construção de Recompensa e Condicionamento

Para equilibrar restrições rígidas de segurança com objetivos suaves de progresso, os autores introduzem uma engenharia de recompensa específica:

• Sinais Granulares: Em vez de um único escalar de pontuação, o sistema expõe submétricas incluindo: Não Colisões Culposas (NC), Conformidade com Área Dirigível (DAC), Conformidade com Direção de Condução (DDC), Conformidade com Semáforo (TLC), Progresso do Ego (EP), Tempo para Colisão (TTC), Manutenção de Faixa (LK) e Conforto Histórico (HC).
• Condicionamento por Passo de Tempo (Per-Timestep): Rótulos binários para segurança (TTC) e conformidade (DAC) são substituídos por arrays por passo de tempo (ex: tempo de colisão projetado, flags de estar na via/na rota). Isso fornece uma resolução temporal mais alta para restrições rígidas.
• Aumento de Ruído de Recompensa: Recompensas contínuas (EP e pontuação PDM) são corrompidas com ruído Gaussiano menor durante o treinamento. Isso atua como um suavizamento de rótulo (label smoothing), impedindo que o decodificador dependa excessivamente de valores de recompensa precisos como identificadores de trajetória e ajudando-o a generalizar para regiões de alta recompensa sem cruzar para estados inviáveis.

3. Arquitetura

• Codificador de Percepção: Utiliza Transfuser para codificar imagens multi-visão e características de LiDAR em BEV para contexto de cena e tokens de agentes.
• Codificador de Recompensa: Mapeia sinais de recompensa heterogêneos em um embedding de condição. Ele suporta orientação livre de classificador (classifier-free guidance) ao descartar aleatoriamente embeddings de recompensa durante o treinamento (substituindo-os por tokens nulos).
• Decodificador de Ação Baseado em Fluxo: Um decodificador transformer que prevê trajetórias limpas a partir de entradas ruidosas. Ele utiliza normalização de camada adaptativa (AdaLN) para injetar a condição de recompensa e os embeddings de tempo.
• Seletor de Modo: Um transformer leve que classifica as propostas geradas com base em sub-pontuações previstas, selecionando a saída final.

4. Estratégia de Inferência

O FlowR2A suporta amostragem controlável em tempo de teste:

• Orientação por Recompensa (Reward Guidance): Utiliza Orientação Livre de Classificador (CFG) para direcionar o decodificador para regiões de alta recompensa da distribuição.
• Amostragem Ancorada: Permite a amostragem zero-shot de qualquer trajetória de referência (ex: uma saída de aprendizado por imitação) ao inicializar o processo de denoising em um passo de tempo intermediário $t_{init}$, preservando a estrutura bruta da âncora enquanto a refina sob condições de recompensa.

Principais Contribuições

1. Novo Paradigma: Um framework de planejamento multimodal que unifica a supervisão densa dos métodos baseados em pontuação com a capacidade generativa dos métodos baseados em âncoras, aprendendo $p(a|r)$.
2. Receita de Construção de Recompensa: Um método para equilibrar objetivos conflitantes usando condicionamento de recompensa granular por passo de tempo e aumento de ruído de recompensa, lidando efetivamente com a tensão entre restrições rígidas de segurança e objetivos suaves de progresso.
3. Desempenho de Estado da Arte: Alcançou resultados de topo nos benchmarks NAVSIM v1 e v2, produzindo propostas multimodais de qualidade substancialmente superior aos métodos anteriores.

Resultados Experimentais

Avaliado nos benchmarks NAVSIM v1 e v2:

• NAVSIM v1: O FlowR2A alcançou um 92.8 PDMS de estado da arte, superando o melhor anterior (Hydra-MDP++) em $\ge 1.1$ pontos. Mostrou margens significativas em métricas de segurança (TTC) e progresso (EP).
• NAVSIM v2: Alcançou 88.9 EPDMS, liderando em submétricas de segurança e progresso.
• Qualidade das Propostas: Ao avaliar a qualidade de todas as propostas geradas (não apenas a selecionada), o FlowR2A demonstrou um PDMS médio significativamente maior e um desvio padrão menor em comparação com baselines baseados em âncoras como iPad e DiffusionDrive. Isso indica que o FlowR2A gera propostas consistentes e dentro da distribuição, em vez de candidatos dispersos.
• Eficiência: O modelo suporta trocas entre velocidade e qualidade ao ajustar o número de passos de denoising e o nível de ruído inicial, permitindo tempos de inferência de apenas 44ms por quadro com degradação mínima de desempenho.

Significância e Alegações

O artigo afirma que o FlowR2A resolve o longo equilíbrio entre supervisão densa e modelagem generativa. Ao reformular as recompensas como condições generativas, o modelo aprende uma distribuição onde cada proposta amostrada é provavelmente viável, em vez de depender de um pontuador para filtrar candidatos ruins de um conjunto fixo.

Os autores enfatizam que a alta qualidade das propostas decorre do fato de o modelo internalizar a correlação entre ações e seus resultados em todo o espaço de ação. Embora a implementação atual dependa de simulação baseada em regras para a geração de recompensas, a formulação generativa foi desenhada para ser compatível com modelos de recompensa aprendidos ou outros mecanismos de pontuação no futuro. O trabalho sugere que modelar a distribuição completa de ação condicional é uma abordagem superior para o planejamento multimodal em comparação com a seleção de vocabulários fixos ou a regressão para trajetórias únicas de referência.