EvoQRE: Modeling Bounded Rationality in Safety-Critical Traffic Simulation via Evolutionary Quantal Response Equilibrium

Resumo Técnico: EvoQRE: Modelagem da Racionalidade Limitada em Simulação de Tráfego Crítica para Segurança via Equilíbrio Quantal Evolutivo

Declaração do Problema
As estruturas existentes de simulação de tráfego para Veículos Autônomos (AVs) dependem predominantemente de abordagens baseadas na teoria dos jogos que resolvem o Equilíbrio de Nash (NE) ou o Equilíbrio Correlacionado Grosso (CCE). Esses conceitos assumem fundamentalmente que os agentes são maximizadores de utilidade perfeitamente racionais. No entanto, o comportamento humano ao dirigir viola sistematicamente essa suposição, exibindo racionalidade limitada caracterizada por ruído perceptual, limitações cognitivas e tomada de decisão estocástica. Modelar essas desvios meramente como "erros" falha em capturar sua natureza estrutural. Além disso, o cálculo do Equilíbrio Quantal de Resposta (QRE) — uma estrutura que parametriza a racionalidade limitada — permanece desafiador em jogos de Markov de alta dimensionalidade e contínuos, particularmente no que diz respeito a garantias de convergência e espaços de ação contínuos.

Metodologia
Os autores propõem o EvoQRE, uma estrutura que modela o tráfego como um Jogo de Markov de Soma Geral resolvido via Equilíbrio Quantal de Resposta (QRE) e Teoria dos Jogos Evolutiva (EGT).

1. Formulação Teórica: O artigo define formalmente o Logit-QRE em jogos de Markov, estendendo o conceito para espaços de estado-ação contínuos via representações de densidade de kernel. Estabelece-se que os pontos fixos da Dinâmica Replicadora Regularizada por Entropia (ER-RD) correspondem precisamente ao Logit-QRE.
2. Dinâmica Evolutiva: O mecanismo central utiliza a ER-RD, que amplia a dinâmica replicadora padrão com regularização por entropia. Isso é matematicamente equivalente ao Aprendizado por Reforço de Máxima Entropia (especificamente Soft Actor-Critic), mas enquadrado dentro da seleção evolutiva. As dinâmicas permitem que estratégias com maior aptidão proliferem, mantendo uma distribuição de probabilidade sobre as ações em vez de convergir para um único ótimo determinístico.
3. Estrutura Algorítmica:
   • Atualizações em Duas Escalas de Tempo: O algoritmo emprega uma escala de tempo lenta para atualizações da função Q e uma escala de tempo rápida para adaptação da política (pesos multiplicativos).
   • Tratamento de Ação Contínua: Para abordar a intratabilidade dos integrais de função de partição em espaços contínuos, o EvoQRE utiliza três estratégias de aproximação: (a) Mistura de kernels Gaussianos para representação da política, (b) Descida de Gradiente Variacional de Stein (SVGD), e (c) Políticas baseadas em energia com dinâmica de Langevin. Os autores selecionam o modelo de mistura pelo seu compromisso entre velocidade e precisão.
   • Melhorias de Estabilidade: A estrutura incorpora retrace(λ) para redução de variância na estimativa de valores Q e agendamento adaptativo de temperatura para ajustar o parâmetro de racionalidade $\lambda$ durante o treinamento.
4. Análise de Convergência: Sob as suposições de decomposição temporal, ergodicidade geométrica uniforme e monotonicidade fraca local, os autores provam que as dinâmicas acopladas convergem para um $\epsilon$-QRE a uma taxa de $O(\log k / k^{1/3})$.

Principais Contribuições

1. Formulação Rigorosa: Definições formais de Logit-QRE em jogos de Markov com condições de regularidade explícitas e provas de existência via o teorema do ponto fixo de Glicksberg.
2. Teoria de Convergência: Uma garantia teórica mostrando que a Dinâmica Replicadora Regularizada por Entropia converge para QRE com uma taxa explícita dependente dos parâmetros do problema, abordando uma lacuna na literatura existente para jogos de Markov de soma geral.
3. Extensão para Ação Contínua: Diretrizes práticas e algoritmos para estender o QRE ao controle contínuo via representações baseadas em energia e misturas.
4. Validação Empírica: Experimentos abrangentes demonstrando desempenho de última geração em realismo, segurança e controlabilidade.

Resultados Experimentais
O EvoQRE foi avaliado no Waymo Open Motion Dataset (WOMD) e no benchmark nuPlan.

• Realismo: O EvoQRE alcançou uma Log-verossimilhança Negativa (NLL) de 2,83 bits/ação, superando a linha de base do Equilíbrio Correlacionado Grosso (CCE-MASAC) em 18% e igualando modelos generativos baseados em difusão (VBD). Também alcançou a menor divergência Jensen-Shannon nas distribuições cinemáticas.
• Segurança: A estrutura manteve uma baixa taxa de colisão de 1,2% enquanto gerava comportamentos diversos, demonstrando que modelar a racionalidade limitada não compromete a segurança.
• Controlabilidade: Ao ajustar o parâmetro de racionalidade $\lambda$, o sistema pôde gerar controlavelmente cenários críticos para a segurança. Por exemplo, reduzir $\lambda$ (aumentando a racionalidade limitada) aumentou a frequência de eventos críticos para a segurança (TTC < 3s) de 8,1% para 34,2%, mantendo alto realismo.
• Qualidade do Equilíbrio: O sistema convergiu para um $\epsilon$-QRE com uma lacuna de 0,023. Testes de explorabilidade confirmaram que as políticas estavam próximas do equilíbrio, com um valor de explorabilidade de 0,031, comparável ao CCE-MASAC.
• Estudos de Ablação: Os resultados confirmaram a necessidade de atualizações em duas escalas de tempo (15% de melhoria na lacuna do QRE), a eficácia do retrace(λ) para redução de variância e o benefício de parâmetros de racionalidade heterogêneos entre agentes para capturar a diversidade humana.

Significado e Alegações
O artigo alega que o EvoQRE fornece uma fundação principiante para gerar cenários de direção realistas e críticos para a segurança, substituindo a suposição de racionalidade perfeita por um modelo estatisticamente fundamentado da racionalidade limitada humana.

• Avanço Teórico: Oferece a primeira taxa de convergência explícita para o cálculo de QRE em jogos de Markov de soma geral sob suposições realistas, preenchendo a lacuna entre a Teoria dos Jogos Evolutiva e o Aprendizado por Reforço.
• Utilidade Prática: A estrutura permite a geração de diversos cenários críticos para a segurança sem a necessidade de redes de orientação heurística (diferentemente de métodos baseados em difusão), pois o parâmetro de racionalidade $\lambda$ é diretamente interpretável e calibrável a partir de dados via Estimativa de Máxima Verossimilhança.
• Limitações Reconhecidas: Os autores notam que o QRE induz equilíbrios na forma de produto (independentes), que não podem modelar explicitamente comportamentos correlacionados (por exemplo, turnos) tão bem quanto os Equilíbrios Correlacionados Grossos (CCE). Eles sugerem que, embora a coordenação implícita surja através de dinâmicas ambientais compartilhadas, trabalhos futuros devem explorar o Equilíbrio Quantal Correlacionado (QCE). Adicionalmente, a taxa de convergência é mais lenta do que em jogos fortemente monotônicos, refletindo a complexidade das interações no tráfego.

Em resumo, o EvoQRE demonstra que modelar a racionalidade limitada via dinâmicas evolutivas não apenas melhora o ajuste distribucional aos dados de direção humana, mas também mantém propriedades robustas de segurança, oferecendo uma nova direção para validação de AVs e geração de cenários adversariais.