Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

Résumé Technique : Élaboration de Trajectoires Climatiques Souhaitables par RL

Énoncé du Problème
La dérivation des politiques de changement climatique est un problème de prise de décision complexe impliquant des entités conflictuelles, des preuves incertaines et de vastes espaces de solutions. Bien que les Modèles d'Évaluation Intégrée (IAM) constituent le cadre standard pour simuler les dynamiques socio-environnementales afin de guider les politiques (par exemple, pour les rapports du GIEC), les IAM traditionnels reposent sur des solveurs d'équations récursives ou des problèmes de contrôle optimal. Ces méthodes traditionnelles peinent à gérer la prise de décision dans l'incertitude et échouent souvent à représenter adéquatement l'hétérogénéité, la compétition et les dynamiques de communication entre les nations ou les parties prenantes. De plus, les Modèles Basés sur les Agents (ABM) existants nécessitent souvent des politiques comportementales prédéfinies plutôt que de les apprendre, limitant ainsi leur robustesse dans des scénarios climatiques hautement changeants. Bien que l'Apprentissage par Renforcement (RL) ait montré des promesses dans des contextes IAM à agent unique, l'application de l'Apprentissage par Renforcement Multi-Agents (MARL) pour modéliser les interactions inter-nationales conduisant au changement climatique anthropique reste sous-exploitée. En outre, la nature de "boîte noire" des algorithmes de RL soulève des préoccupations concernant leur fiabilité pour éclairer les politiques réelles sans mécanismes d'interprétabilité.

Méthodologie
Les auteurs étendent un IAM de faible complexité connu sous le nom de modèle AYS (Kittel et al., 2021), qui simule l'interdépendance entre le carbone atmosphérique ($A$), la production économique ($Y$) et le stock de connaissances renouvelables ($S$) via des équations différentielles ordinaires (EDO). L'étude reformule cet environnement comme un Jeu Stochastique Partiellement Observable (POSG) pour accommoder plusieurs agents interagissants.

• Extension de l'Environnement : Le modèle AYS à agent unique est adapté à un cadre multi-agents où une variable globale (excès de carbone atmosphérique, $A$) est partagée, tandis que la production économique ($Y$) et les connaissances renouvelables ($S$) sont spécifiques à chaque agent. Les agents influencent le niveau global de carbone par leurs émissions individuelles.
• Algorithme : L'étude emploie l'Optimisation de Politique Proximale Indépendante (IPPO), un algorithme d'Entraînement Décentralisé et d'Exécution Décentralisée (DTDE). Dans cette configuration, les agents sont totalement indépendants, ne partagent aucun paramètre, et n'observent que leurs variables d'état locales ainsi que le niveau global de carbone.
• Fonctions de Récompense : Trois fonctions de récompense distinctes sont utilisées pour tester différentes motivations comportementales :
  1. $R_{PB}$ (Coopératif) : Maximise la distance euclidienne par rapport aux Limites Planétaires (PBs) pour le carbone et la production économique, incitant à un avenir "vert".
  2. $R_{maxY}$ (Priorité Économique) : Maximise la distance par rapport à la limite de production économique, priorisant le gain économique.
  3. $R_{maxA}$ (Adversaire) : Maximise l'excès de carbone atmosphérique ($A$), représentant une entité priorisant la dégradation environnementale.
• Interprétabilité : Pour pallier le manque d'explicabilité du RL, les auteurs utilisent l'analyse des "États Critiques". Cette technique identifie les états où la différence de logit de la politique (l'écart entre l'action à la probabilité la plus élevée et la moyenne) est élevée, indiquant où l'agent est le plus certain de son action. Cela permet de visualiser l'incertitude de la politique et d'identifier les points de défaillance dans les trajectoires des agents.

Contributions Clés

1. Cadre IAM Multi-Agents : L'article présente une extension préliminaire des IAM à agent unique vers un cadre MARL multi-agents, permettant la simulation de la coopération et de la compétition inter-nationales.
2. Analyse de la Compétition vs Coopération : L'étude examine systématiquement comment l'homogénéité, l'hétérogénéité des agents et les fonctions de récompense conflictuelles impactent la capacité d'atteindre un état "positif pour le climat" (le point fixe vert).
3. Interprétabilité des Politiques : L'application de la visualisation des états critiques au MARL dans les simulations climatiques fournit une méthode pour comprendre l'échec algorithmique et l'incertitude des politiques, identifiant spécifiquement les états où les agents peinent à prendre des décisions décisives.

Résultats Expérimentaux

• Homogénéité Coopérative (RQ1) : Lorsque les agents partagent la même récompense $R_{PB}$ et partent d'états identiques, ils atteignent systématiquement le point fixe vert (taux de victoire >90 %) indépendamment du nombre d'agents (testé jusqu'à 8). La coopération émerge naturellement du signal de récompense partagé.
• Hétérogénéité Coopérative (RQ2) : Lorsque les agents partent d'états différents ou possèdent des paramètres de dommages climatiques différents ($\xi_i$), ils atteignent toujours des taux de victoire élevés (>90 %) sous réserve d'un temps d'entraînement suffisant. Cependant, si un agent est isolé des dommages climatiques (faible $\xi_i$), il échoue à apprendre l'impact négatif de ses émissions sur le carbone global, conduisant à des trajectoires ressemblant à celles des agents priorisant le gain économique, même en suivant la récompense coopérative.
• Compétition (RQ3) : L'introduction de la compétition entrave considérablement le succès.
  • Les agents avec des motivations mixtes ($R_{PB}$ vs $R_{maxY}$) montrent des taux de réussite réduits par rapport aux groupes entièrement coopératifs.
  • La présence d'un agent optimisant la maximisation du carbone ($R_{maxA}$) empêche efficacement le système d'atteindre le point fixe vert, annulant les efforts coopératifs des autres agents.
• États Critiques : La visualisation révèle que les agents coopératifs présentent de fortes différences de logit (certitude) au début et à la fin des trajectoires. Dans les scénarios compétitifs, les agents montrent des différences de logit plus faibles, indiquant une plus grande incertitude politique. L'agent $R_{maxA}$ choisit constamment l'action "Transition Énergétique" pour maximiser sa récompense spécifique, tandis que l'agent $R_{PB}$ échoue à contrer efficacement ce comportement.

Signification et Revendications
Les auteurs positionnent ce travail comme une découverte précoce dans le domaine de l'application du MARL aux politiques climatiques. La signification principale réside dans la démonstration que, si les agents coopératifs peuvent tracer de manière fiable des voies vers des futurs souhaitables, l'introduction de la compétition — reflétant les conflits géopolitiques réels — dégrade sévèrement la capacité d'atteindre les objectifs climatiques.

L'article revendique modestement que ces résultats soulignent la nécessité de futures recherches sur des algorithmes avec une "conscience de l'adversaire" accrue (tels que l'Entraînement Centralisé et l'Exécution Décentralisée ou la mise en forme des adversaires) pour gérer la non-stationnarité et la compétition dans les simulations climatiques multi-agents. Les auteurs soulignent que les limitations actuelles incluent l'hypothèse de contrôle sur les algorithmes d'apprentissage des agents et le défi de mettre à l'échelle le MARL vers des IAM complexes et de haute dimension. Ils concluent que, si la technologie montre des promesses pour la dérivation de politiques fondées sur des preuves, un travail significatif reste à faire pour assurer la validité des modèles sous-jacents et l'interprétabilité des comportements des agents avant une adoption réelle.