EvoQRE: Modeling Bounded Rationality in Safety-Critical Traffic Simulation via Evolutionary Quantal Response Equilibrium

Resumen Técnico: EvoQRE: Modelado de la Racionalidad Limitada en Simulación de Tráfico Crítico para la Seguridad mediante Equilibrio de Respuesta Cuantitativa Evolutiva

Enunciado del Problema
Los marcos existentes de simulación de tráfico para Vehículos Autónomos (VA) dependen predominantemente de enfoques basados en la teoría de juegos que resuelven el Equilibrio de Nash (NE) o el Equilibrio Correlacionado Grosero (CCE). Estos conceptos asumen fundamentalmente que los agentes son maximizadores de utilidad perfectamente racionales. Sin embargo, el comportamiento de conducción humana viola sistemáticamente esta suposición, exhibiendo racionalidad limitada caracterizada por ruido perceptual, limitaciones cognitivas y toma de decisiones estocástica. Modelar estas desviaciones meramente como "errores" no logra capturar su naturaleza estructural. Además, calcular el Equilibrio de Respuesta Cuantitativa (QRE)—un marco que parametriza la racionalidad limitada—sigue siendo un desafío en juegos de Markov de alta dimensión y continuos, particularmente en lo que respecta a las garantías de convergencia y los espacios de acción continuos.

Metodología
Los autores proponen EvoQRE, un marco que modela el tráfico como un Juego de Markov de Suma General resuelto mediante Equilibrio de Respuesta Cuantitativa (QRE) y Teoría de Juegos Evolutiva (EGT).

1. Formulación Teórica: El artículo define formalmente el Logit-QRE en juegos de Markov, extendiendo el concepto a espacios de estado-acción continuos mediante representaciones de densidad de núcleo. Establece que los puntos fijos de la Dinámica Replicadora Regularizada por Entropía (ER-RD) corresponden precisamente al Logit-QRE.
2. Dinámicas Evolutivas: El mecanismo central utiliza ER-RD, que augmenta las dinámicas replicadoras estándar con regularización por entropía. Esto es matemáticamente equivalente al Aprendizaje por Refuerzo de Máxima Entropía (específicamente Soft Actor-Critic), pero enmarcado dentro de la selección evolutiva. Las dinámicas permiten que las estrategias con mayor aptitud proliferen mientras mantienen una distribución de probabilidad sobre las acciones en lugar de converger a un único óptimo determinista.
3. Marco Algorítmico:
   • Actualizaciones a Dos Escalas de Tiempo: El algoritmo emplea una escala de tiempo lenta para las actualizaciones de la función Q y una escala de tiempo rápida para la adaptación de la política (pesos multiplicativos).
   • Manejo de Acción Continua: Para abordar la intratabilidad de las integrales de la función de partición en espacios continuos, EvoQRE utiliza tres estrategias de aproximación: (a) Mezcla de núcleos Gaussianos para la representación de la política, (b) Descenso de Gradiente Variacional de Stein (SVGD), y (c) Políticas basadas en energía con dinámica de Langevin. Los autores seleccionan el modelo de mezcla por su equilibrio entre velocidad y precisión.
   • Mejoras de Estabilidad: El marco incorpora retrace(λ) para la reducción de varianza en la estimación del valor Q y una programación adaptativa de temperatura para ajustar el parámetro de racionalidad $\lambda$ durante el entrenamiento.
4. Análisis de Convergencia: Bajo suposiciones de descomposición temporal, ergodicidad geométrica uniforme y monotonía local débil, los autores demuestran que las dinámicas acopladas convergen a un $\epsilon$-QRE a una tasa de $O(\log k / k^{1/3})$.

Contribuciones Clave

1. Formulación Rigurosa: Definiciones formales de Logit-QRE en juegos de Markov con condiciones de regularidad explícitas y pruebas de existencia mediante el teorema del punto fijo de Glicksberg.
2. Teoría de Convergencia: Una garantía teórica que muestra que las Dinámicas Replicadoras Regularizadas por Entropía convergen a QRE con una tasa explícita dependiente de los parámetros del problema, abordando una brecha en la literatura existente para juegos de Markov de suma general.
3. Extensión a Acción Continua: Pautas prácticas y algoritmos para extender QRE al control continuo mediante representaciones basadas en energía y de mezcla.
4. Validación Empírica: Experimentos exhaustivos que demuestran un rendimiento de vanguardia en realismo, seguridad y controlabilidad.

Resultados Experimentales
EvoQRE fue evaluado en el Conjunto de Datos de Movimiento Abierto de Waymo (WOMD) y en la prueba de referencia nuPlan.

• Realismo: EvoQRE logró una Negativa de Verosimilitud (NLL) de 2.83 bits/acción, superando la línea base de Equilibrio Correlacionado Grosero (CCE-MASAC) en un 18% y igualando a los modelos generativos basados en difusión (VBD). También logró la menor divergencia Jensen-Shannon en distribuciones cinemáticas.
• Seguridad: El marco mantuvo una tasa de colisión baja de 1.2% mientras generaba comportamientos diversos, demostrando que modelar la racionalidad limitada no compromete la seguridad.
• Controlabilidad: Mediante el ajuste del parámetro de racionalidad $\lambda$, el sistema pudo generar de manera controlable escenarios críticos para la seguridad. Por ejemplo, reducir $\lambda$ (aumentando la racionalidad limitada) incrementó la frecuencia de eventos críticos para la seguridad (TTC < 3s) del 8.1% al 34.2%, manteniendo un alto realismo.
• Calidad del Equilibrio: El sistema convergió a un $\epsilon$-QRE con una brecha de 0.023. Las pruebas de explotabilidad confirmaron que las políticas estaban cerca del equilibrio, con un valor de explotabilidad de 0.031, comparable al CCE-MASAC.
• Estudios de Ablación: Los resultados confirmaron la necesidad de actualizaciones a dos escalas de tiempo (15% de mejora en la brecha QRE), la eficacia de retrace(λ) para la reducción de varianza y el beneficio de parámetros de racionalidad heterogéneos entre agentes para capturar la diversidad humana.

Significado y Afirmaciones
El artículo afirma que EvoQRE proporciona una base principista para generar escenarios de conducción realistas y críticos para la seguridad, reemplazando la suposición de racionalidad perfecta con un modelo estadísticamente fundamentado de la racionalidad limitada humana.

• Avance Teórico: Ofrece la primera tasa de convergencia explícita para el cálculo de QRE en juegos de Markov de suma general bajo suposiciones realistas, cerrando la brecha entre la Teoría de Juegos Evolutiva y el Aprendizaje por Refuerzo.
• Utilidad Práctica: El marco permite la generación de diversos escenarios críticos para la seguridad sin necesidad de redes de guía heurísticas (a diferencia de los métodos basados en difusión), ya que el parámetro de racionalidad $\lambda$ es directamente interpretable y calibrable a partir de datos mediante Estimación de Máxima Verosimilitud.
• Limitaciones Reconocidas: Los autores señalan que QRE induce equilibrios de forma producto (independientes), los cuales no pueden modelar explícitamente comportamientos correlacionados (por ejemplo, turnos) tan bien como los Equilibrios Correlacionados Groseros (CCE). Sugieren que, aunque emerge una coordinación implícita a través de dinámicas ambientales compartidas, el trabajo futuro debería explorar el Equilibrio Correlacionado Cuantitativo (QCE). Además, la tasa de convergencia es más lenta que en juegos fuertemente monótonos, lo que refleja la complejidad de las interacciones del tráfico.

En resumen, EvoQRE demuestra que modelar la racionalidad limitada mediante dinámicas evolutivas no solo mejora el ajuste distribucional a los datos de conducción humana, sino que también mantiene propiedades de seguridad robustas, ofreciendo una nueva dirección para la validación de VA y la generación de escenarios adversarios.