Resumo Técnico: ReactSim-Bench

1. Definição do Problema

Na simulação de direção autônoma (AD), os modelos de mundo de comportamento são críticos para gerar comportamentos futuros realistas de agentes de tráfego ao redor. Embora os benchmarks existentes (por exemplo, Waymo Open Sim Agents Challenge - WOSAC) avaliem o realismo desses modelos medindo o quão proximamente as trajetórias simuladas correspondem aos registros de condução (logs), eles falham em avaliar a capacidade reativa.

Os protocolos de avaliação atuais tipicamente acoplam o controle do Veículo Autônomo (AV) e dos agentes ao redor dentro do simulador. O simulador prevê ambos, visando minimizar a distância em relação à trajetória registrada. Esta configuração não testa se os agentes ao redor podem responder de forma razoável quando o AV se comporta de maneira diferente do registro original — um cenário comum em testes de malha fechada (closed-loop) e aprendizado por reforço, onde a política de planejamento do AV pode desviar da demonstração do especialista. Sem capacidade reativa, as simulações não podem modelar interações com precisão quando o AV toma ações inesperadas, levando a uma lacuna entre a simulação e a implantação no mundo real.

2. Metodologia

2.1 Protocolo ReactSim-Bench

A inovação central deste trabalho é o Protocolo de Simulação Reativa, que desacopla o controle do AV e dos agentes ao redor:

• Controle Desacoplado: O AV é tratado como uma entrada independente para a simulação. Sua trajetória é fixa em um caminho "desviado" que difere do log original.
• Reação do Agente: O modelo de mundo de comportamento (simulador) é responsável apenas por gerar os estados futuros dos agentes ao redor ($S'_{agents}$) com base no mapa, estados históricos e a trajetória desviada do AV realizada ($S'_{AV}$).
• Objetivo: O simulador deve gerar reações viáveis, seguras e em conformidade com as regras a partir dos agentes ao redor diante do novo comportamento do AV, em vez de simplesmente reproduzir o log.

2.2 Pipeline de Coleta de Dados

Para avaliar essa capacidade, os autores construíram um conjunto de dados de 2.636 cenários de teste utilizando o dataset nuPlan. O pipeline envolve:

1. Pré-seleção de Cenários: Identificação de cenários com potenciais interações AV-agente.
2. Geração de Candidatos: Uso de um planejador multimodal pré-treinado (Diffusion Planner) para gerar trajetórias candidatas de AV que desviem do log.
3. Filtragem: Aplicação de regras para remover trajetórias cinemática mente inviáveis, que saiam da área dirigível ou que não induzam "pressão reativa" suficiente (ou seja, que não criem uma situação onde a reprodução do log causaria uma colisão ou quase-colisão).
4. Verificação Manual: Verificação humana para garantir que as trajetórias desviadas sejam válidas e induzam os conflitos necessários.

Taxonomia de Desvio: Os comportamentos desviados de AV coletados são categorizados em três tipos com base na origem do desvio:

• Direcional: Diferente direção de curva ou conector de faixa.
• Lateral: Posição lateral deslocada (ex: mudança de faixa) mantendo uma direção similar.
• Longitudinal: Perfil de velocidade diferente (mais rápido, mais lento, parando) ao longo de um caminho espacial similar.

2.3 Métricas de Avaliação

O benchmark avalia segurança e viabilidade usando seis métricas:

1. Contagem de Colisões Agente-AV: Número médio de colisões onde o agente ao redor é o culpado.
2. Contagem de Riscos de TTC Agente-AV: Número médio de agentes envolvidos em um Tempo de Colisão (TTC) < 0,5s com o AV.
3. Taxa de Colisão Agente-Agente: Fração de agentes colidindo com outros agentes.
4. Taxa de Fora da Pista (Off-road): Fração de timestamps em que veículos deixam a área dirigível.
5. Taxa de Violação de Direção de Condução: Fração de veículos dirigindo contra o tráfego.
6. Taxa de Inviabilidade Cinemática: Taxas de aceleração e curvatura de direção inviáveis.

3. Principais Contribuições

1. ReactSim-Bench: O primeiro benchmark especificamente projetado para avaliar a capacidade reativa de modelos de simulação de mundo de comportamento, medindo quão bem eles lidam com comportamentos de AV que desviam dos logs registrados.
2. Pipeline de Dados: Um pipeline sistemático para coletar e verificar comportamentos desviados de AV que impõem pressão reativa realista sobre os agentes ao redor, mantendo a viabilidade cinemática.
3. Avaliação Sistemática: Uma avaliação abrangente de modelos de Estado da Arte (SOTA) através de três paradigmas arquiteturais:
   • Baseados em Transformer: MTR.
   • Baseados em Difusão: VBD, CTG.
   • Baseados em Predição de Próximo Token (NTP): SMART, CATK, TrajTok.
4. Análise de Frequência de Replanejamento: Uma investigação sobre como a frequência de replanejamento (atualização da simulação com base nos estados realizados do AV) afeta o desempenho reativo.

4. Resultados Experimentais

Os autores avaliaram os modelos supracitados nos 2.636 cenários de teste. As principais descobertas incluem:

• A Capacidade Reativa Existe, mas Varia: Todos os modelos aprendidos superam significativamente a simples "Reprodução de Log" (Log Replay) em termos de prevenção de colisões e métricas de segurança, indicando que os modelos atuais possuem alguma capacidade reativa inerente.
• Realismo $\neq$ Reatividade: O alto desempenho em benchmarks de realismo (ex: baixo ADE, alta probabilidade cinemática no WOSAC) não garante um bom desempenho reativo. Por exemplo, o MTR (baseado em Transformer) mostrou métricas de realismo piores que o CTG (baseado em Difusão), mas alcançou significativamente menos contagens de colisões sob o protocolo reativo. Por outro lado, o CATK melhorou o realismo em relação ao SMART, mas apresentou métricas reativas ligeiramente piores.
• Limitações do Aprendizado por Imitação: Modelos que dependem fortemente do ajuste às trajetórias registradas (como modelos baseados em NTP) enfrentam um desafio de fora da distribuição (OOD) quando o AV desvia. Embora eles se ajustem bem ao log, suas contagens de colisões aumentam marcadamente quando o comportamento do AV muda, sugerindo que apenas ajustar o log é insuficiente para uma simulação reativa robusta.
• Impacto da Frequência de Replanejamento: Aumentar a frequência de replanejamento (ex: de 1 Hz para taxas mais altas) geralmente melhora a capacidade reativa. Isso permite que o simulador observe o comportamento realizado do AV com mais frequência e ajuste as respostas dos agentes adequadamente. Isso contrasta com os benchmarks de realismo (como o WOSAC), onde o replanejamento de alta frequência pode degradar o desempenho devido ao acúmulo de erros em um cenário de controle acoplado.

5. Significância e Alegações

O artigo afirma que o ReactSim-Bench fornece um ponto de referência necessário e prático para o desenvolvimento de futuros simuladores de direção autônoma. Ao mudar o foco de "similaridade de log" para "capacidade reativa", o benchmark aborda uma lacuna crítica nos protocolos de avaliação atuais.

Os autores enfatizam que, embora o realismo seja importante, ele não pode representar todos os aspectos do desempenho do modelo. Um simulador deve ser capaz de lidar com o desvio de distribuição causado por um AV agindo de forma diferente do log do especialista. O benchmark e a análise associada de estratégias de replanejamento oferecem insights para o design de modelos de mundo de comportamento mais robustos, que possam simular interações de forma segura e realista em ambientes dinâmicos de malha fechada. O trabalho incentiva estudos futuros a focarem na simulação de comportamento reativo em vez de apenas na precisão da predição de trajetória.