Robust Mean-Field Games with Risk Aversion and Bounded Rationality

1. Problema e Contesto

Il lavoro affronta le limitazioni delle attuali teorie dei Giochi a Campo Medio (Mean-Field Games, MFG) applicate a sistemi multi-agente su larga scala. Sebbene gli MFG permettano di ridurre la complessità computazionale di problemi con un numero elevato di agenti interagendo tra loro, le approcci esistenti si basano su assunzioni spesso irrealistiche:

• Distribuzione iniziale fissa: Si assume che la distribuzione iniziale della popolazione sia nota e costante. In scenari reali (es. controllo del traffico, epidemie), questa distribuzione è incerta o soggetta a errori di stima.
• Razionalità perfetta: Si assume che gli agenti siano perfettamente razionali e ottimizzino sempre il reward atteso. In pratica, gli agenti mostrano errori, bias e limitazioni cognitive (razionalità limitata).
• Neutralità al rischio: Gli agenti massimizzano il reward atteso, ignorando la variabilità e il rischio associato a distribuzioni iniziali diverse.

Queste assunzioni portano a politiche che, sebbene ottimali per una specifica condizione iniziale, falliscono o diventano subottimali quando il sistema viene implementato in condizioni reali diverse (mancanza di robustezza).

2. Metodologia e Formulazione

Gli autori propongono un nuovo framework che integra due elementi fondamentali: avversione al rischio rispetto alla distribuzione iniziale e razionalità limitata.

A. Avversione al Rischio (Risk Aversion)

Invece di ottimizzare il reward atteso per una singola distribuzione iniziale $\mu_0$, il modello considera un insieme finito di possibili distribuzioni iniziali $\mathcal{M}$ con una distribuzione di probabilità associata $\Gamma^*_\mathcal{M}$.
L'obiettivo non è massimizzare la media, ma minimizzare una misura di rischio convessa $\rho$ (basata sulla teoria delle misure di rischio convesso di Föllmer e Schied). Utilizzando la rappresentazione duale, l'obiettivo diventa un problema di ottimizzazione minimax:
$$c_t^\pi(x; \mathcal{S}_\mathcal{M}) = \sup_{\hat{\Gamma}_\mathcal{M} \in \mathcal{P}(\mathcal{M})} \left( -\mathbb{E}_{\mu_0 \sim \hat{\Gamma}_\mathcal{M}} [\dots] - \frac{1}{\tau} D(\hat{\Gamma}_\mathcal{M}, \Gamma^*_\mathcal{M}) \right)$$
Dove $\tau$ è un parametro di avversione al rischio. Quando $\tau \to \infty$, il sistema diventa estremamente avverso al rischio, trattando la selezione della distribuzione iniziale come un avversario che massimizza il costo. La soluzione assume una forma chiusa di tipo log-sum-exp.

B. Razionalità Limitata (Bounded Rationality)

Per modellare la deviazione dalla razionalità perfetta, gli autori introducono un regolarizzatore convesso $\nu$ nell'obiettivo dell'agente. Questo approccio generalizza la regolarizzazione basata sull'entropia (usata comunemente per approssimare equilibri di Nash) permettendo una rappresentazione comportamentale più ricca. L'obiettivo combinato per un agente diventa:
$$c_t^{\pi, \alpha}(x; \mathcal{S}_\mathcal{M}) = \rho_{\Gamma^*_\mathcal{M}}(V_t^\pi(x)) + \alpha \nu(\pi_t(\cdot|x))$$
Dove $\alpha$ controlla il grado di razionalità limitata.

C. Il Nuovo Concetto di Equilibrio: MF-RQE

La combinazione di questi elementi porta alla definizione di un nuovo equilibrio: il Mean-Field Risk-Averse Quantal Response Equilibrium (MF-RQE).
Un MF-RQE è una coppia consistente $(\pi^*_{RQE}, \mathcal{S}^*_\mathcal{M})$ dove:

1. La politica $\pi^*_{RQE}$ è la migliore risposta (minimizzando il costo rischio-avverso regolarizzato) rispetto all'insieme di flussi di campo medio $\mathcal{S}^*_\mathcal{M}$.
2. L'insieme $\mathcal{S}^*_\mathcal{M}$ è generato dalla propagazione della politica $\pi^*_{RQE}$ partendo da tutte le distribuzioni iniziali in $\mathcal{M}$.

3. Contributi Chiave

1. Nuova Formulazione MFG: Introduzione di un framework MFG che gestisce esplicitamente l'incertezza sulla distribuzione iniziale e la razionalità limitata, superando i limiti degli MFG classici.
2. Teoremi di Esistenza e Convergenza:
   • Dimostrazione dell'esistenza di un MF-RQE utilizzando il teorema del punto fisso di Kakutani.
   • Prova che la politica MF-RQE per una popolazione infinita costituisce un'approssimazione $\epsilon$-ottimale (dove $\epsilon = O(1/\sqrt{N})$) per il gioco finito con $N$ agenti, risolvendo il "curse of dimensionality" associato ai giochi a rischio avverso finiti.
3. Algoritmi di Apprendimento:
   • Sviluppo di algoritmi basati su Fixed-Point Iteration (FPI) e Fictitious Play (FP) adattati per calcolare l'MF-RQE.
   • Proposta di un algoritmo di Reinforcement Learning (RL) profondo (D-RQ-FPI) basato su attori-critici per ambienti su larga scala o con dinamiche sconosciute, utilizzando approssimazione di funzioni.
4. Analisi di Robustezza: Dimostrazione teorica e sperimentale che le politiche MF-RQE sono robuste rispetto a variazioni nella distribuzione iniziale, a differenza delle politiche che massimizzano il reward atteso.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ambienti benchmark (tra cui un gioco epidemico SIS e un gioco di congestione) utilizzando la libreria MFGLib.

• Robustezza: Le politiche MF-RQE mostrano un exploitability (misura di quanto una politica può essere sfruttata da un avversario o da condizioni avverse) vicino a zero, anche quando la distribuzione iniziale reale devia da quella nominale. Al contrario, le politiche ottimali per una singola distribuzione o basate sulla media ($\pi^*_{avg}$) mostrano un exploitability significativamente più alto.
• Trade-off: C'è un lieve trade-off tra robustezza e reward atteso. Le politiche MF-RQE ottengono un reward atteso leggermente inferiore rispetto alle politiche ottimizzate per una specifica distribuzione, ma offrono una protezione molto superiore contro scenari avversi imprevisti.
• Convergenza: Gli algoritmi proposti (RQ-FPI, RQ-Fictitious Play e D-RQ-FPI) convergono efficacemente. I risultati del Deep RL sono comparabili alle soluzioni analitiche, con un exploitability empirico che scende sotto $10^{-2}$ o $10^{-4}$ a seconda dell'ambiente.
• Generalità: Il framework funziona bene con diversi regolarizzatori (entropia e log-barrier), dimostrando che non è vincolato alla sola regolarizzazione entropica.

5. Significato e Impatto

Questo lavoro colma un divario fondamentale tra la teoria dei giochi a campo medio e le applicazioni reali, dove l'incertezza e i limiti cognitivi sono la norma.

• Impatto Teorico: Estende la teoria degli MFG introducendo concetti di economia comportamentale (avversione al rischio e razionalità limitata) in un contesto di popolazione infinita, fornendo garanzie di convergenza e ottimalità approssimata.
• Impatto Pratico: Offre un metodo scalabile per progettare sistemi multi-agente (come sciami di robot, gestione del traffico o controllo di epidemie) che rimangono stabili e sicuri anche quando le condizioni iniziali o le informazioni sono imperfette. Questo è cruciale per la sicurezza e l'affidabilità dei sistemi autonomi in ambienti dinamici e incerti.

In sintesi, il paper propone un cambio di paradigma: invece di cercare l'ottimo teorico per un mondo ideale e fisso, si cerca un equilibrio robusto e realistico che tenga conto dell'incertezza e dei limiti umani/machine.