Alleviating Community Fear in Disasters via Multi-Agent Actor-Critic Reinforcement Learning

1. Problématique et Motivation

Lors de catastrophes majeures, les défaillances en cascade entre les infrastructures physiques (réseaux électriques), les systèmes cybernétiques (médias, réseaux sociaux) et les comportements humains (peur, coopération) créent des boucles de rétroaction complexes qui amplifient la peur communautaire et réduisent la conformité aux ordres d'évacuation.

Les modèles existants de résilience cyber-physique-sociale (CPS) simulent ces dynamiques couplées mais restent descriptifs : ils ne proposent pas de mécanismes d'intervention active. Le défi principal est de concevoir un cadre unifié capable de :

1. Capturer les rétroactions inter-domaines en temps réel.
2. Prescrire comment les agences de réponse doivent déployer leurs ressources pour minimiser la peur et maximiser la résilience.

2. Méthodologie Proposée

Les auteurs proposent une extension du modèle CPS de Valinejad et Mili (2023) en y ajoutant une couche de contrôle actif, formulée comme un jeu différentiel non à somme nulle (NZS) à trois joueurs, résolu via l'apprentissage par renforcement (RL) acteur-critique en ligne.

A. Modélisation du Système (CPS)

Le système est décrit par un vecteur d'état $x(t) \in \mathbb{R}^{10}$ normalisé, représentant dix indicateurs de résilience communautaire :

• Couche Sociale : Peur ($x_1$), recherche d'information, flexibilité, santé physique, perception du risque, coopération, apprentissage.
• Couche Physique : Disponibilité de l'électricité ($x_8$), disponibilité des services médicaux d'urgence (EMS) ($x_9$).
• Couche Cyber : Intensité des fausses nouvelles ($x_{10}$).

La dynamique suit une forme affine en contrôle :
$$\dot{x} = f(x, d(t)) + \sum_{j=1}^{3} g_j u_j$$
Où $f(x, d(t))$ représente la dynamique non contrôlée (validée par des données historiques) et $u_j$ sont les contrôles des trois agences.

B. Formulation du Jeu (Trois Joueurs)

Trois agences interagissent de manière décentralisée :

1. Agence de Communication (Joueur 1) : Déploie des contre-messages ($u_1$) pour réduire la peur et les fausses nouvelles.
2. Compagnie Électrique (Joueur 2) : Déploie des équipes pour restaurer le réseau ($u_2$).
3. Agence EMS (Joueur 3) : Déploie des abris et des fournitures ($u_3$).

Chaque joueur minimise sa propre fonction de coût infinie :
$$J_i = \int_0^\infty \left( Q_i(x) + R_{ii} u_i^2 + \sum_{j \neq i} R_{ij} u_j^2 \right) dt$$
Tous les joueurs pénalisent la peur ($x_1$), mais chaque agence a des pénalités spécifiques (ex: l'électricité pénalise la perte de réseau, les EMS pénalisent les déficits de santé). Cela forme un jeu non à somme nulle où les objectifs sont partiellement alignés mais distincts.

C. Solution par Apprentissage par Renforcement (Acteur-Critique)

Les équations de Hamilton-Jacobi (HJ) couplées, qui définissent l'équilibre de Nash, sont intraitables analytiquement pour ces dynamiques non linéaires. Les auteurs utilisent donc une architecture Acteur-Critique en ligne (basée sur la programmation dynamique adaptative) :

• Critique : Approxime la fonction de valeur $V_i(x)$ via une base de fonctions (monômes constants, linéaires et quadratiques).
• Acteur : Approxime la politique de contrôle optimale $u_i(x)$.
• Mise à jour : Les poids sont mis à jour continuellement via une descente de gradient normalisée pour minimiser l'erreur de Bellman.
• Initialisation : Le système démarre avec un contrôle nul (admissible car le système ouvert est stable) et utilise une phase d'exploration avec un signal de sondage borné pour assurer l'excitation persistante.

3. Contributions Clés

1. Extension du modèle CPS : Ajout de canaux de contrôle additifs pour trois agences spécifiques, transformant un modèle descriptif en un système de contrôle en boucle fermée.
2. Formulation de Jeu Différentiel : Création d'un jeu à trois joueurs avec des fonctions de coût par agence et des pénalités de couplage, résolu en ligne via une architecture acteur-critique basée sur un modèle.
3. Validation Empirique : Évaluation sur les données réelles des ouragans Harvey et Irma, démontrant la généralisation du modèle sans recalibrage des paramètres pour le second cas.

4. Résultats Expérimentaux

Les simulations ont été menées sur les données de l'ouragan Harvey (17 étapes) et validées sur Irma (12 étapes).

• Réduction de la Peur :
  • Harvey : Réduction moyenne de la peur d'environ 70 % par rapport à la ligne de base (simulation sans contrôle).
  • Irma : Réduction moyenne de la peur d'environ 50 %, démontrant une bonne généralisation avec les paramètres calibrés sur Harvey.
• Récupération des Infrastructures : Le contrôle améliore la disponibilité de l'électricité et la santé physique. Cependant, une analyse de sensibilité révèle que la disponibilité des EMS est limitée par la capacité physique du canal de contrôle (défaut structurel) plutôt que par l'optimisation des coûts.
• Efficacité des Ressources :
  • La politique décentralisée (NZS) atteint un équilibre de Nash empirique avec un effort de contrôle minimal (0,97) par rapport à un contrôleur centralisé (1,27) ou des heuristiques proportionnelles.
  • Le contrôleur « Constant Maximum » réduit davantage la peur (92 %) mais à un coût prohibitif (gaspillage de ressources).
• Analyse de Sensibilité : La réduction de la peur est robuste aux variations des poids de coût, mais très sensible au gain de contrôle de l'agence de communication ($\beta_1$), confirmant que la communication est l'intervention à plus fort levier.

5. Signification et Conclusion

Cet article démontre que la structure de couplage CPS elle-même détermine l'efficacité des interventions. Les résultats clés sont :

1. Le levier de la communication : L'agence de communication est l'intervention la plus efficace car elle agit simultanément sur la peur et les fausses nouvelles (couplage dual).
2. Limites physiques : L'amélioration des services médicaux d'urgence (EMS) est contrainte par la capacité physique de déploiement, peu importe l'optimisation mathématique.
3. Avantage du Jeu Décentralisé : La formulation en jeu non à somme nulle produit des politiques plus efficaces en termes d'effort que les approches centralisées, car elle respecte les mandats et les structures de coûts distincts de chaque agence sans nécessiter de coordination centrale parfaite.

En conclusion, ce travail fournit le premier contrôleur de résilience aux catastrophes en boucle fermée, motivé par la théorie des jeux, capable d'atténuer activement la peur communautaire et d'optimiser le déploiement des ressources lors de catastrophes complexes.