Robust Mean-Field Games with Risk Aversion and Bounded Rationality

1. Planteamiento del Problema

Los Juegos de Campo Medio (MFGs) tradicionales ofrecen un marco para aproximar problemas de toma de decisiones multiagente a gran escala, reduciendo la complejidad a la interacción entre un agente representativo y la distribución de la población (campo medio). Sin embargo, los enfoques existentes presentan dos limitaciones críticas que afectan su robustez en escenarios del mundo real:

1. Distribución Inicial Fija: Los MFGs clásicos asumen una distribución inicial de la población conocida y fija. En la práctica, existe incertidumbre sobre el estado inicial (debido a errores de sensores, datos incompletos o perturbaciones adversarias). Optimizar una política para una única distribución inicial puede llevar a un rendimiento catastrófico si la distribución realizada difiere.
2. Racionalidad Perfecta: Se asume que los agentes son perfectamente racionales y calculan estrategias óptimas sin errores. En la realidad, los agentes exhiben sesgos, errores sistemáticos y limitaciones cognitivas, comportándose de manera "racional limitada".

El problema central es diseñar un marco de MFG que sea robusto frente a la incertidumbre en la distribución inicial y que modele explícitamente la racionalidad limitada de los agentes, evitando la maldición de la dimensionalidad que afecta a los juegos de Markov con un número finito de agentes.

2. Metodología

Los autores proponen un nuevo marco teórico y algorítmico que integra dos conceptos clave:

A. Aversión al Riesgo respecto a la Distribución Inicial

En lugar de maximizar la recompensa esperada bajo una única distribución inicial, el objetivo se formula como un problema de optimización convexa de riesgo.

• Se considera un conjunto finito de distribuciones iniciales posibles $\mathcal{M}$ con una distribución de probabilidad subyacente $\Gamma^*_\mathcal{M}$.
• Se utiliza una medida de riesgo convexa $\rho$ (basada en el teorema de representación dual) para evaluar el rendimiento. Esto permite a los agentes "hacerse a la idea" de un escenario adverso donde la distribución inicial podría ser la peor de las posibles dentro de un conjunto, penalizado por desviarse demasiado de la distribución nominal.
• Matemáticamente, esto se traduce en un término de costo que es una combinación log-sum-exp de los valores esperados bajo diferentes distribuciones iniciales, ponderados por una penalización de divergencia (ej. KL-divergencia).

B. Racionalidad Limitada (Respuesta Cuántica)

Para modelar la desviación de la racionalidad perfecta, se incorpora un regularizador convexo $\nu$ (como la entropía o barreras logarítmicas) en la función de objetivo.

• Esto da lugar a políticas de Respuesta Cuántica (Quantal Response), donde los agentes no eligen siempre la acción óptima, sino que asignan probabilidades a las acciones basadas en su valor esperado y un parámetro de "temperatura" ($\alpha$) que controla el grado de racionalidad.
• La combinación de riesgo y racionalidad limitada genera un nuevo concepto de equilibrio: el Equilibrio de Respuesta Cuántica Averso al Riesgo en Campo Medio (MF-RQE).

C. Formulación del Problema

El problema se define como un juego donde el agente representativo busca minimizar el costo riesgo-aversionado (ecuación 8 en el texto):
$$c^{\pi, \alpha}_t(x; S_\mathcal{M}) = \rho_{\Gamma^*_\mathcal{M}}(V^\pi_{\mu,t}(x)) + \alpha \nu(\pi_t(\cdot|x))$$
Donde $S_\mathcal{M}$ es el conjunto de flujos de campo medio inducidos por las distribuciones iniciales en $\mathcal{M}$.

3. Contribuciones Clave

1. Nueva Formulación MFG (MF-RQE): Introducción de un concepto de equilibrio que integra simultáneamente la aversión al riesgo sobre la distribución inicial y la racionalidad limitada, superando las limitaciones de los MFGs clásicos y los juegos de Markov finitos.
2. Garantías Teóricas:
   • Existencia: Se demuestra la existencia de un MF-RQE utilizando el teorema del punto fijo de Kakutani.
   • Convergencia: Se prueba que los algoritmos de Iteración de Punto Fijo (FPI) y Juego Ficticio (Fictitious Play) convergen al MF-RQE bajo condiciones de convexidad fuerte del regularizador.
   • Aproximación de Población Finita: Se establece que el equilibrio en el límite de población infinita (MF-RQE) es una aproximación $\epsilon$-óptima para el juego de población finita con $N$ agentes, donde $\epsilon = O(1/\sqrt{N})$. Esto resuelve la maldición de la dimensionalidad.
3. Algoritmos Escalables:
   • Desarrollo de variantes de FPI y Juego Ficticio para calcular el MF-RQE.
   • Propuesta de un algoritmo de Aprendizaje por Refuerzo Profundo (D-RQ-FPI) basado en actor-crítico, que es libre de modelo (model-free) y utiliza aproximación de funciones, permitiendo su aplicación en espacios de estado-acción grandes y entornos desconocidos.

4. Resultados Experimentales

Los autores evaluaron sus métodos en varios entornos de referencia (MFGLib), incluyendo:

• Juego SIS (Epidemiológico): Donde los agentes deciden si cuarentenarse o no basándose en la prevalencia de una enfermedad.
• Juego de Congestión: Agentes moviéndose en una cuadrícula para evitar la concentración en un solo estado.
• Otros entornos: Búsqueda de tesoros, juegos lineales-cuadráticos y "Piedra, Papel o Tijera".

Hallazgos principales:

• Robustez Superior: Las políticas MF-RQE mostraron una explotabilidad (exploitability) significativamente menor (cerca de 0) bajo incertidumbre de la distribución inicial en comparación con políticas de equilibrio de Nash regularizadas por entropía o políticas que maximizan la recompensa esperada promedio.
• Trade-off Rendimiento-Riesgo: Aunque las políticas MF-RQE pueden tener una recompensa esperada ligeramente menor que las políticas optimizadas para una sola distribución nominal, ofrecen una protección mucho mayor contra escenarios adversos.
• Convergencia: Los algoritmos propuestos (RQ-FPI, RQ-Fictitious Play y D-RQ-FPI) convergieron consistentemente. En el caso de aprendizaje profundo, la distancia entre los flujos de campo medio analíticos y empíricos fue muy pequeña ($< 10^{-3}$), validando la eficacia del enfoque basado en datos.
• Generalidad: Los resultados se mantuvieron válidos tanto para regularizadores de entropía como para regularizadores de barrera logarítmica, demostrando que el marco no está atado a una forma específica de racionalidad limitada.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Puente entre Teoría y Práctica: Cierra la brecha entre los modelos teóricos de MFG (que asumen racionalidad perfecta y conocimiento exacto) y el comportamiento real de los agentes en sistemas descentralizados (como tráfico, enjambres de robots o sistemas epidemiológicos), donde la incertidumbre y los errores cognitivos son la norma.
• Robustez Operativa: Proporciona un marco para diseñar sistemas multiagente que no colapsan ante errores en la estimación inicial de la población, un problema crítico en aplicaciones de seguridad y control.
• Escalabilidad: Al combinar la teoría de campo medio con técnicas de aprendizaje por refuerzo profundo, ofrece una solución viable para problemas de gran escala donde los métodos de optimización exacta son computacionalmente intratables.
• Fundamento para Futuras Investigaciones: Establece las bases para extender estos conceptos a juegos de equipo y entornos heterogéneos, conectando la teoría de juegos con la economía conductual en sistemas multiagente.

En resumen, el artículo introduce un marco matemático riguroso y algoritmos prácticos para gestionar la incertidumbre y la irracionalidad en sistemas multiagente masivos, logrando políticas más robustas y realistas que las soluciones tradicionales de equilibrio de Nash.