Robust Mean-Field Games with Risk Aversion and Bounded Rationality

Titel: Robuuste Mean-Field Spellen met Risico-aversie en Beperkte Rationaliteit

Auteurs: Bhavini Jeloka, Yue Guan, Panagiotis Tsiotras (Georgia Institute of Technology)

---

1. Probleemstelling

Mean-Field Games (MFG's) bieden een krachtige benadering om grote schaal multi-agent systemen te modelleren door interacties te reduceren tot die tussen een representatieve agent en de populatieverdeling (de "mean-field"). Echter, bestaande MFG-methoden lijden onder twee fundamentele beperkingen die hun robuustheid in realistische scenario's ondermijnen:

1. Aannames over de initiële verdeling: Klassieke MFG's veronderstellen een vaste, bekende initiële populatieverdeling. In de praktijk is deze verdeling echter vaak onzeker (bijv. door meetfouten, biased data of veranderende omstandigheden). Een beleid dat is geoptimaliseerd voor één specifieke initiële verdeling kan catastrofaal presteren als de werkelijke verdeling afwijkt.
2. Volledige rationaliteit: Bestaande modellen veronderstellen dat agents volledig rationeel zijn en altijd de optimale strategie kiezen. In werkelijkheid vertonen agents cognitieve beperkingen, fouten en systematische afwijkingen van optimale gedrag (beperkte rationaliteit).

Het huidige onderzoek mist een raamwerk dat zowel risico-aversie ten opzichte van onzekerheid in de initiële verdeling als beperkte rationaliteit integreert. Bestaande werken behandelen deze aspecten vaak geïsoleerd of falen in schaalbaarheid bij grote populaties.

2. Methodologie

De auteurs introduceren een nieuw raamwerk: de Risk-Averse Quantal Response Mean-Field Game (RQ-MFG). Dit leidt tot een nieuw evenwichtconcept: de Mean-Field Risk-Averse Quantal Response Equilibrium (MF-RQE).

Kerncomponenten:

• Risico-aversie (Convex Risk Measures):
  In plaats van de verwachte cumulatieve beloning te maximaliseren onder een enkele initiële verdeling, minimaliseren agents een convex risicomaatstap ($\rho$) over een set van mogelijke initiële verdelingen $\mathcal{M}$.
  De doelstelling wordt geformuleerd als:
  $$c_t^\pi(x; \mathcal{S}_\mathcal{M}) = \rho_{\Gamma^*_\mathcal{M}}(V^\pi_{\mu,t}(x))$$
  Waarbij $\rho$ vaak wordt gemodelleerd via een log-sum-exp aggregatie (gebaseerd op KL-divergentie als strafterm), wat resulteert in een "log-sum-exp" vorm die rekening houdt met de ergste scenario's binnen een straal van de verwachte verdeling.

• Beperkte Rationaliteit (Quantal Response):
  Agents worden niet als perfect rationeel beschouwd. Hun beslissingen worden gemodelleerd als een "quantal response" door een convex regularisatieterm $\nu(\pi)$ toe te voegen aan de kostenfunctie. Dit introduceert een temperatuurparameter $\alpha$ die de mate van rationaliteit bepaalt.
  De gecombineerde kostenfunctie wordt:
  $$c_t^{\pi, \alpha}(x; \mathcal{S}_\mathcal{M}) = \rho_{\Gamma^*_\mathcal{M}}(V^\pi_{\mu,t}(x)) + \alpha \nu(\pi_t(\cdot|x))$$
  Dit zorgt ervoor dat agents niet alleen rekening houden met risico, maar ook met de realiteit dat ze niet altijd de absolute optimum kunnen berekenen.

• MF-RQE Definitie:
  Een MF-RQE is een consistent paar $(\pi^*_{RQE}, \mathcal{S}^*_\mathcal{M})$ waarbij:

  1. $\pi^*_{RQE}$ de optimale reactie is op de set van mean-field stromen $\mathcal{S}^*_\mathcal{M}$ die voortvloeien uit de onzekerheid in de initiële verdeling.
  2. De set $\mathcal{S}^*_\mathcal{M}$ de stromen zijn die worden gegenereerd wanneer alle agents $\pi^*_{RQE}$ volgen.

Algoritmen:

De auteurs ontwikkelen drie methoden om MF-RQE te berekenen:

1. Fixed-Point Iteration (FPI): Een iteratief algoritme dat de operator $\mathcal{B}^{RQE}_{opt} \circ \mathcal{B}^{RQE}_{prop}$ toepast tot convergentie.
2. Risk-Averse Quantal Fictitious Play (RQ-Fictitious Play): Een methode die gebruikmaakt van het middelen van beleidsstrategieën over iteraties om convergentie te garanderen.
3. Deep Reinforcement Learning (D-RQ-FPI): Een modelvrije, schaalbare aanpak voor grote toestands- en actie-ruimtes. Dit gebruikt Actor-Critic netwerken met meerdere "critics" (één per mogelijke initiële verdeling) om de risicogevoelige waardefuncties te leren zonder het model volledig te kennen.

3. Belangrijkste Bijdragen

1. Nieuw Formulier: De eerste integratie van risico-aversie (t.o.v. initiële verdelingen) en beperkte rationaliteit binnen een Mean-Field Game raamwerk.
2. Theoretische Garanties: Bewijzen voor het bestaan van een MF-RQE en convergentie van zowel FPI als Fictitious Play naar dit evenwicht, onder aannames van sterke convexiteit van de regularisator.
3. Schaalbaarheid: Een bewijs dat de oplossing van het oneindige populatie-probleem (MF-RQE) een $\epsilon$-benadering is van het eindige $N$-agent spel, waarbij de fout afneemt met $O(1/\sqrt{N})$. Dit overwint de "curse of dimensionality" van eerdere risicobewuste Markov-spel methoden.
4. Schaalbare RL: Een diepe RL-algoritme (D-RQ-FPI) dat toepasbaar is op complexe, onbekende omgevingen.

4. Resultaten

De auteurs evalueren hun methode op diverse benchmarks, waaronder een epidemiologisch SIS-spel (SIS Game) en een congestiespel (Congestion Game).

• Robuustheid: MF-RQE-beleidsstrategieën vertonen aanzienlijk minder "exploitability" (kwetsbaarheid voor ongunstige realisaties van de initiële verdeling) vergeleken met:
  • Risico-neutrale beleidsstrategieën geoptimaliseerd voor een enkele initiële verdeling.
  • Beleidsstrategieën die de verwachte beloning maximaliseren over alle verdelingen (risk-neutral average).
• Trade-off: Er is een kleine afname in de verwachte cumulatieve beloning (return) voor MF-RQE vergeleken met de beste risico-neutrale beleidsstrategie voor een specifieke verdeling. Echter, deze "kosten" worden ruimschoots gecompenseerd door de drastische verbetering in robuustheid tegen onzekerheid.
• Convergentie: De experimenten tonen aan dat zowel RQ-FPI als RQ-Fictitious Play convergeren naar hetzelfde evenwicht. De Deep RL-versie (D-RQ-FPI) bereikt vergelijkbare prestaties met een exploitability van $< 10^{-2}$, wat aantoont dat de methode effectief is in modelvrije settings.
• Regularisatie: De resultaten zijn robuust voor verschillende regularisatoren (bijv. entropie en log-barrier), wat aangeeft dat het raamwerk niet beperkt is tot specifieke vormen van beperkte rationaliteit.

5. Significantie

Dit werk is significant omdat het de kloof tussen theoretische Mean-Field Game modellen en de realiteit van gedecentraliseerde besluitvorming dicht.

• Praktische Toepassingen: Het raamwerk is direct toepasbaar op kritieke systemen zoals verkeersregeling, zwermen van robots en epidemiebestrijding, waar initiële data vaak onvolledig is en agents niet perfect rationeel handelen.
• Veiligheid en Betrouwbaarheid: Door expliciet risico-aversie in te bouwen, biedt het systeem garanties tegen "black swan" gebeurtenissen of fouten in de initiële schattingen, wat essentieel is voor veilige AI-deployments.
• Theoretische Vooruitgang: Het koppelt de concepten van "Quantal Response Equilibrium" (uit de gedragswetenschap) en "Convex Risk Measures" (uit de financiën) aan MFG's, creërend een nieuw, meer realistisch evenwichtconcept dat beter past bij menselijk en biologisch gedrag dan het klassieke Nash-evenwicht.

Samenvattend biedt dit artikel een robuust, schaalbaar en theoretisch onderbouwd raamwerk voor het ontwerpen van multi-agent systemen die bestand zijn tegen onzekerheid en beperkingen in de besluitvorming.