Resumo Técnico: Unindo Observação Local e Simulação Global em Modelagem de Tráfego de Ciclo Fechado (CRAFT)

1. Formulação do Problema

O artigo aborda um descompasso fundamental de contexto entre o local e o global em simuladores de tráfego autorregressivos. A maioria dos simuladores de última geração é treinada em logs de condução de grande escala e egocêntricos (ex: Waymo, nuPlan) sob um paradigma de aprendizado por imitação. Nesses logs, o veículo ego possui observações locais ricas, mas os agentes circundantes são apenas parcialmente observados devido a limites de sensores, oclusões e fronteiras de percepção.

Consequentemente, os simuladores aprendem mapeamentos contexto-ação incompletos. Uma manobra válida em um log (ex: um veículo freando) pode ser registrada sem o contexto a jusante que a justifica (ex: um obstáculo ocluído). Quando tais modelos são implantados em ambientes de ciclo fechado globalmente observáveis, eles reproduzem essas ações mesmo quando o contexto causal real está ausente. Isso leva a comportamentos irreais durante rollouts de longo horizonte, incluindo paradas anormais, interações inseguras e violações de regras de trânsito, o que degrada a racionalidade comportamental da simulação.

Soluções existentes frequentemente dependem do retreinamento do simulador base via ajuste fino supervisionado ou aprendizado por reforço, o que pode sofrer com feedback esparso, dificuldades de atribuição de crédito e altos custos computacionais. Os autores propõem uma estratégia de alinhamento em tempo de teste que corrige esses vieses sem retreinar o gerador base.

2. Metodologia: CRAFT

Os autores propõem o CRAFT (Contextual pReference Alignment Framework for Traffic Simulation), um framework que desacopla a geração de comportamentos de sua avaliação. Ele consiste em três etapas principais:

A. Simulação "What-If" de Contexto Completo Agrupada

Em vez de depender apenas de logs estáticos, o CRAFT utiliza o simulador base ($\pi_\theta$) congelado como um "sandbox globalmente observável".

• Processo: Partindo de estados iniciais registrados, o simulador base gera $N$ rollouts estocásticos diversos (what-if scenarios) usando diferentes sementes aleatórias.
• Resultado: Esses rollouts evoluem para futuros diversos onde todos os agentes interagem sob o contexto completo do mapa. Este processo expõe falhas induzidas pelo simulador que estão ocultas nos logs originais, mas que emergem durante a geração em ciclo fechado.
• Anotação: Um avaliador baseado em regras automatizadas atribui rótulos binários ($0$ para anormal, $1$ para razoável) a cada token agente-tempo com base em prioridades de condução alinhadas com humanos (segurança, conformidade com regras, viabilidade cinemática). Isso cria um conjunto de dados de preferência agrupado ($D_{pref}$) contendo futuros alternativos para a mesma cena inicial.

B. Treinamento do Avaliador de Preferência Contextual (CPE)

Um Avaliador de Preferência Contextual (Contextual Preference Evaluator - $\pi_\phi$) leve é treinado em $D_{pref}$ para prever a racionalidade dos tokens de movimento sob o contexto completo da cena.

• Arquitetura: O CPE reutiliza o codificador de cena congelado do simulador base e emprega um decodificador convolucional temporal para produzir uma matriz densa de pontuação de preferência ($R \in [0, 1]^{N_a \times T_f}$).
• Funções de Perda: O objetivo de treinamento combina três componentes:
  1. Supervisão de Token Absoluto ($L_{bce}$): Entropia Cruzada Binária ponderada contra a verdade fundamental binária auto-rotulada.
  2. Preferência Intra-Trajetória ($L_{intra}$): Uma perda de ranking de margem que incentiva o modelo a distinguir entre segmentos de comportamento normal e subsequentes segmentos de falha dentro de um único rollout.
  3. Preferência Inter-Rollout ($L_{inter}$): Um objetivo de Bradley-Terry que compara futuros alternativos gerados a partir da mesma cena inicial, ensinando o avaliador a preferir trajetórias globalmente coerentes sobre outras localmente plausíveis, mas inconsistentes.

C. Alinhamento de Preferência em Tempo de Teste

Durante a inferência, o CPE atua como um módulo de orientação plug-in que repondera a distribuição de decodificação do simulador base congelado.

• Busca de Lookahead: Em cada etapa $t$, o simulador base propõe $K$ tokens de ação candidatos.
• Aproximação Marginal Independente: Para evitar a complexidade intratável de $K^{N_a}$ ao avaliar todas as combinações de ações conjuntas, o CRAFT amostra $K$ cenários de ação conjunta paralelos. Ele avalia a pontuação de preferência de cada ação candidata contra um tráfego de fundo plausível amostrado (aproximando a expectativa conjunta).
• Reponderação: As probabilidades de decodificação originais são calibradas usando as pontuações de preferência ($R$) via um softmax com uma escala de orientação $\beta$:
  $$P_{post} \propto P_{prior} \cdot \exp(\beta \cdot R)$$
  Isso direciona a decodificação autorregressiva para comportamentos consistentes com o cenário de tráfego completo antes da execução.

3. Principais Contribuições

1. Identificação do Descompasso: O artigo identifica e analisa explicitamente a degradação do comportamento em ciclo fechado causada pelo treinamento em logs egocêntricos com contexto incompleto, mostrando que o aprendizado por imitação leva a associações contexto-ação espúrias.
2. Avaliador Desacoplado (CPE): Um novo avaliador treinado em rollouts "what-if" autogerados e fundamentados por prioridades alinhadas com humanos. Ele aprende a distinguir comportamentos globalmente coerentes de comportamentos localmente plausíveis, mas contextualmente inconsistentes, sem modificar os pesos do simulador base.
3. Alinhamento Plug-in em Tempo de Teste: Uma estratégia para implantar o CPE como um módulo de orientação leve em tempo de inferência que guia a decodificação autorregressiva. Esta abordagem melhora a racionalidade comportamental em diferentes simuladores base (demonstrado em CAT-K e SMART) sem a instabilidade ou o custo do retreinamento.

4. Resultados Experimentais

O framework foi avaliado no Waymo Open Motion Dataset (WOMD) usando o benchmark WOSAC e métricas adicionais de racionalidade comportamental.

• Segurança e Conformidade: O CRAFT reduziu significativamente os comportamentos anormais em comparação com os baselines (incluindo amostragem Top-K, auto-rotuladores e modelos ajustados por RL).
  • Colisões: Reduzidas em 31,2%.
  • Violações de Trânsito: Reduzidas em 33,2%.
  • Fora da Pista (Offroad): Reduzido em 16,6% (ao nível da cena).
• Racionalidade Comportamental: O CRAFT alcançou a menor Distância de Jensen-Shannon (JSD) para as distribuições de velocidade, velocidade angular e distância ao agente mais próximo, indicando melhor alinhamento com as distribuições de condução do mundo real.
• Troca de Realismo (Trade-off): O artigo observa uma leve degradação na métrica de "Realismo" do WOSAC (que mede a similaridade um-para-um com as trajetórias registradas). Os autores argumentam que esta é uma troca necessária: o alto escore de realismo do modelo base reflete um ajuste próximo aos logs locais incompletos, enquanto o CRAFT prioriza a racionalidade comportamental global, corrigindo comportamentos que são estatisticamente prováveis nos logs, mas irracionais no contexto total.
• Eficiência: O CRAFT adiciona um overhead moderado de tempo de execução (76ms por etapa) em comparação com a amostragem Top-K (2ms), mas é significativamente mais rápido que os auto-rotuladores baseados em regras (~491ms), ao mesmo tempo em que oferece desempenho superior.

5. Significância e Alegações

O artigo afirma que o CRAFT oferece um caminho leve e complementar para melhorar a simulação de tráfego em ciclo fechado.

• Mudança do Passivo para o Ativo: Ele muda o paradigma da imitação passiva de logs para o alinhamento ativo com o contexto global da cena.
• Descoberta de Falhas: Ao usar o próprio simulador para gerar casos de falha (rollouts "what-if"), o método cria um sinal autossupervisionado para corrigir justamente os vieses que o simulador introduz.
• Generalização: A natureza plug-in do CPE permite melhorar a racionalidade comportamental de diferentes simuladores base sem retreiná-los, tornando-o aplicável a modelos de mundo e simuladores existentes onde o retreinamento é caro ou instável.
• Limitações: Os autores reconhecem modestamente que o método é limitado pela qualidade do conjunto de candidatos proposto pelo simulador base. Se a ação ideal não estiver incluída nos candidatos Top-K (devido ao prior do modelo base ser muito fraco), o CPE não pode recuperá-la, apenas reclassificar as escolhas subótimas disponíveis.

Em resumo, o CRAFT preenche a lacuna entre a observação local e os requisitos de simulação global, demonstrando que o alinhamento de preferência em tempo de teste pode aumentar significamente a segurança e a racionalidade das simulações de condução autônoma sem comprometer a estrutura do modelo generativo subjacente.