Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

Technische Samenvatting: Het Ontwerpen van Gewenste Klimaattrajecten met RL

Probleemstelling
Het afleiden van klimaatbeleid is een complex besluitvormingsprobleem waarbij conflicterende entiteiten, onzekere bewijzen en enorme oplossingsruimtes een rol spelen. Hoewel Geïntegreerde Beoordelingsmodellen (IAM's) het standaardkader vormen voor het simuleren van socio-omgevingsdynamiek om beleid te sturen (bijvoorbeeld voor IPCC-rapporten), vertrouwen traditionele IAM's op recursieve vergelijkingoplossers of optimalisatieproblemen. Deze traditionele methoden kampen met moeilijkheden bij besluitvorming onder onzekerheid en slagen er vaak niet in om de heterogeniteit, concurrentie en communicatiedynamiek tussen naties of belanghebbenden adequaat weer te geven. Bovendien vereisen bestaande Agent-gebaseerde Modellen (ABM's) vaak vooraf gedefinieerde gedragspolitieken in plaats van deze te leren, wat hun robuustheid in sterk veranderende klimaatscenario's beperkt. Hoewel Versterkend Leren (RL) veelbelovend is gebleken in single-agent IAM-omgevingen, blijft de toepassing van Multi-Agent Versterkend Leren (MARL) om de interacties tussen naties die antropogene klimaatverandering veroorzaken, te modelleren, onderbelicht. Daarnaast roept de "black-box"-aard van RL-algoritmen zorgen op over hun betrouwbaarheid voor het informeren van reëel beleid zonder interpretatiemechanismen.

Methodologie
De auteurs breiden een IAM met lage complexiteit uit, bekend als het AYS-model (Kittel et al., 2021), dat de wisselwerking tussen atmosferisch koolstof ($A$), economische output ($Y$) en de voorraad hernieuwbare kennis ($S$) simuleert via gewone differentiaalvergelijkingen (ODE's). De studie herformuleert deze omgeving als een Gedeeltelijk waarneembare Stochastische Spel (POSG) om ruimte te maken voor meerdere interacterende agenten.

• Omgevingsexpansie: Het single-agent AYS-model wordt aangepast aan een multi-agent setting waarbij een globale variabele (excess atmosferisch koolstof, $A$) wordt gedeeld, terwijl economische output ($Y$) en hernieuwbare kennis ($S$) specifiek zijn voor de agent. Agenten beïnvloeden het globale koolstofniveau via hun individuele emissies.
• Algoritme: De studie maakt gebruik van Independent Proximal Policy Optimization (IPPO), een Decentralized Training Decentralized Execution (DTDE)-algoritme. In deze opstelling zijn agenten volledig onafhankelijk, delen ze geen parameters, en observeren ze alleen hun lokale state-variabelen plus het globale koolstofniveau.
• Beloningsfuncties: Drie verschillende beloningsfuncties worden gebruikt om verschillende gedragsmotivaties te testen:
  1. $R_{PB}$ (Coöperatief): maximaliseert de Euclidische afstand tot de Planetaire Grenzen (PB's) voor zowel koolstof als economische output, en stimuleert zo een "groene" toekomst.
  2. $R_{maxY}$ (Economische prioriteit): maximaliseert de afstand tot de grens van economische output, met prioriteit voor economische winst.
  3. $R_{maxA}$ (Adversarieel): maximaliseert het excess atmosferisch koolstof ($A$), en vertegenwoordigt een entiteit die prioriteit geeft aan milieuvervuiling.
• Interpreteerbaarheid: Om het gebrek aan uitlegbaarheid in RL aan te pakken, maken de auteurs gebruik van "Critical States"-analyse. Deze techniek identificeert staten waarbij het logitverschil van het beleid (het gat tussen de actie met de hoogste waarschijnlijkheid en het gemiddelde) hoog is, wat aangeeft waar de agent het zekerst is van zijn actie. Dit maakt visualisatie van beleidsonzekerheid en het identificeren van faalpunten in agenttrajecten mogelijk.

Belangrijkste Bijdragen

1. Multi-Agent IAM-kader: Het artikel presenteert een voorlopige uitbreiding van single-agent IAM's naar een multi-agent MARL-setting, waardoor de simulatie van samenwerking en concurrentie tussen naties mogelijk wordt.
2. Analyse van Concurrentie versus Samenwerking: De studie onderzoekt systematisch hoe agent-homogeniteit, -heterogeniteit en conflicterende beloningsfuncties van invloed zijn op het vermogen om een "klimaatpositieve" staat (het groene vaste punt) te bereiken.
3. Beleidinterpreteerbaarheid: De toepassing van visualisatie van kritieke staten op MARL in klimaatsimulaties biedt een methode om algoritmisch falen en beleidsonzekerheid te begrijpen, en identificeert specifiek staten waarin agenten moeite hebben om beslissende acties te nemen.

Experimentele Resultaten

• Coöperatieve Homogeniteit (RQ1): Wanneer agenten dezelfde $R_{PB}$-beloning delen en starten vanuit identieke staten, bereiken ze consistent het groene vaste punt (winstpercentages >90%), ongeacht het aantal agenten (getest tot 8). Samenwerking ontstaat natuurlijk uit het gedeelde beloningssignaal.
• Coöperatieve Heterogeniteit (RQ2): Wanneer agenten starten vanuit verschillende staten of verschillende klimaatbeschadigingsparameters ($\xi_i$) bezitten, bereiken ze nog steeds hoge winstpercentages (>90%) bij voldoende trainingstijd. Als een agent echter geïsoleerd is van klimaatschade (lage $\xi_i$), faalt het om het negatieve effect van zijn emissies op het globale koolstof te leren, wat leidt tot trajecten die lijken op die van agenten die economische winst prioriteren, zelfs wanneer ze de coöperatieve beloning volgen.
• Concurrentie (RQ3): Het introduceren van concurrentie hindert succes aanzienlijk.
  • Agenten met gemengde motivaties ($R_{PB}$ versus $R_{maxY}$) vertonen lagere succespercentages in vergelijking met volledig coöperatieve groepen.
  • De aanwezigheid van een agent die optimaliseert voor koolstofmaximalisatie ($R_{maxA}$) verhindert effectief dat het systeem het groene vaste punt bereikt, en negeert de coöperatieve inspanningen van andere agenten.
• Kritieke Staten: Visualisatie onthult dat coöperatieve agenten hoge logitverschillen (zekerheid) vertonen aan het begin en einde van trajecten. In concurrerende scenario's vertonen agenten lagere logitverschillen, wat wijst op hogere beleidsonzekerheid. De $R_{maxA}$-agent kiest consequent de actie "Energietransitie" om zijn specifieke beloning te maximaliseren, terwijl de $R_{PB}$-agent dit gedrag niet effectief kan tegenwerken.

Betekenis en Beweringen
De auteurs positioneren dit werk als een vroege ontdekking op het gebied van het toepassen van MARL op klimaatbeleid. De primaire betekenis ligt in het aantonen dat hoewel coöperatieve agenten betrouwbaar paden kunnen uitstippelen naar gewenste toekomstbeelden, de introductie van concurrentie – die realwereld geopolitieke conflicten weerspiegelt – het vermogen om klimaatdoelen te bereiken ernstig verslechtert.

Het artikel beweert bescheiden dat deze resultaten de noodzaak onderstrepen voor toekomstig onderzoek naar algoritmen met verhoogde "tegenstanderbewustzijn" (zoals Centralized Training Decentralized Execution of tegenstander-vorming) om niet-stationariteit en concurrentie in multi-agent klimaatsimulaties te beheren. De auteurs benadrukken dat de huidige beperkingen bestaan uit de aanname van controle over agent-leeralgoritmen en de uitdaging om MARL te schalen naar complexe, hoogdimensionale IAM's. Zij concluderen dat hoewel de technologie veelbelovend is voor het afleiden van beleid op basis van bewijs, er nog aanzienlijk werk moet worden verzet om de validiteit van onderliggende modellen en de interpreteerbaarheid van agentgedrag te waarborgen voordat deze in de echte wereld worden toegepast.