Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

Technisches Fazit: Gestaltung wünschenswerter Klimatrajektorien mit RL

Problemstellung
Die Herleitung von Klimapolitik ist ein komplexes Entscheidungsproblem, das widersprüchliche Akteure, unsichere Evidenz und riesige Lösungsräume umfasst. Während Integrierte Bewertungsmodelle (IAMs) den Standardrahmen für die Simulation sozio-ökologischer Dynamiken zur Politikgestaltung darstellen (z. B. für IPCC-Berichte), verlassen sich traditionelle IAMs auf rekursive Gleichungslöser oder Optimierungsprobleme der optimalen Steuerung. Diese traditionellen Methoden haben Schwierigkeiten mit Entscheidungen unter Unsicherheit und versagen oft darin, die Heterogenität, den Wettbewerb und die Kommunikationsdynamiken zwischen Nationen oder Stakeholdern angemessen abzubilden. Darüber hinaus erfordern bestehende agentenbasierte Modelle (ABMs) häufig vordefinierte Verhaltensrichtlinien, anstatt diese zu lernen, was ihre Robustheit in stark veränderlichen Klimaszenarien einschränkt. Obwohl sich Reinforcement Learning (RL) in IAM-Szenarien mit einzelnen Agenten als vielversprechend erwiesen hat, bleibt die Anwendung von Multi-Agent Reinforcement Learning (MARL) zur Modellierung der zwischenstaatlichen Interaktionen, die den anthropogenen Klimawandel vorantreiben, weitgehend unerforscht. Zusätzlich wirft die „Black-Box"-Natur von RL-Algorithmen Bedenken hinsichtlich ihrer Zuverlässigkeit für die informierende Realpolitik ohne Interpretierbarkeitsmechanismen auf.

Methodik
Die Autoren erweitern ein IAM mit geringer Komplexität, bekannt als das AYS-Modell (Kittel et al., 2021), das das Zusammenspiel zwischen atmosphärischem Kohlenstoff ($A$), Wirtschaftsleistung ($Y$) und dem Bestand an erneuerbarem Wissen ($S$) über gewöhnliche Differentialgleichungen (ODEs) simuliert. Die Studie reformuliert diese Umgebung als teilweise beobachtbares stochastisches Spiel (POSG), um mehrere interagierende Agenten zu berücksichtigen.

• Erweiterung der Umgebung: Das Single-Agent-AYS-Modell wird an ein Multi-Agent-Szenario angepasst, in dem eine globale Variable (überschüssiger atmosphärischer Kohlenstoff, $A$) geteilt wird, während Wirtschaftsleistung ($Y$) und erneuerbares Wissen ($S$) agentspezifisch sind. Agenten beeinflussen das globale Kohlenstoffniveau durch ihre individuellen Emissionen.
• Algorithmus: Die Studie verwendet Independent Proximal Policy Optimization (IPPO), einen dezentralisierten Trainings- und dezentralisierten Ausführungs-Algorithmus (DTDE). In diesem Setup sind Agenten vollständig unabhängig, teilen keine Parameter und beobachten nur ihre lokalen Zustandsvariablen sowie das globale Kohlenstoffniveau.
• Belohnungsfunktionen: Drei unterschiedliche Belohnungsfunktionen werden eingesetzt, um verschiedene Verhaltensmotivationen zu testen:
  1. $R_{PB}$ (Kooperativ): Maximiert den euklidischen Abstand zu den planetarischen Grenzen (PBs) für sowohl Kohlenstoff als auch Wirtschaftsleistung und fördert eine „grüne" Zukunft.
  2. $R_{maxY}$ (Wirtschaftspriorität): Maximiert den Abstand zur Grenze der Wirtschaftsleistung und priorisiert wirtschaftlichen Gewinn.
  3. $R_{maxA}$ (Adversarial): Maximiert den überschüssigen atmosphärischen Kohlenstoff ($A$) und repräsentiert eine Entität, die Umweltzerstörung priorisiert.
• Interpretierbarkeit: Um das Fehlen von Erklärbarkeit in RL zu adressieren, nutzen die Autoren eine Analyse „kritischer Zustände". Diese Technik identifiziert Zustände, in denen die Logit-Differenz der Richtlinie (die Lücke zwischen der Aktion mit der höchsten Wahrscheinlichkeit und dem Durchschnitt) hoch ist, was darauf hindeutet, wo der Agent seiner Aktion am sichersten ist. Dies ermöglicht die Visualisierung von Richtliniennunsicherheit und die Identifizierung von Fehlerpunkten in Agententrajektorien.

Hauptbeiträge

1. Multi-Agent-IAM-Rahmenwerk: Der Artikel präsentiert eine vorläufige Erweiterung von Single-Agent-IAMs auf ein Multi-Agent-MARL-Szenario, das die Simulation von zwischenstaatlicher Kooperation und Konkurrenz ermöglicht.
2. Analyse von Konkurrenz versus Kooperation: Die Studie untersucht systematisch, wie Agentenhomogenität, Heterogenität und widersprüchliche Belohnungsfunktionen die Fähigkeit beeinflussen, einen „klimapositiven" Zustand (den grünen Fixpunkt) zu erreichen.
3. Politikinterpretierbarkeit: Die Anwendung der Visualisierung kritischer Zustände auf MARL in Klimasimulationen bietet eine Methode, um algorithmisches Versagen und Richtliniennunsicherheit zu verstehen, insbesondere die Identifizierung von Zuständen, in denen Agenten Schwierigkeiten haben, entscheidende Aktionen zu ergreifen.

Experimentelle Ergebnisse

• Kooperative Homogenität (RQ1): Wenn Agenten dieselbe $R_{PB}$-Belohnung teilen und von identischen Zuständen starten, erreichen sie konsistent den grünen Fixpunkt (Gewinnraten >90 %), unabhängig von der Anzahl der Agenten (getestet bis zu 8). Kooperation entsteht natürlich aus dem geteilten Belohnungssignal.
• Kooperative Heterogenität (RQ2): Wenn Agenten von unterschiedlichen Zuständen starten oder unterschiedliche Klimaschadensparameter ($\xi_i$) besitzen, erreichen sie bei ausreichender Trainingszeit dennoch hohe Gewinnraten (>90 %). Wenn jedoch ein Agent vor Klimaschäden geschützt ist (niedriges $\xi_i$), lernt er nicht die negativen Auswirkungen seiner Emissionen auf den globalen Kohlenstoff, was zu Trajektorien führt, die denen von Agenten ähneln, die wirtschaftlichen Gewinn priorisieren, selbst wenn sie der kooperativen Belohnung folgen.
• Konkurrenz (RQ3): Die Einführung von Konkurrenz behindert den Erfolg erheblich.
  • Agenten mit gemischten Motivationen ($R_{PB}$ vs. $R_{maxY}$) zeigen im Vergleich zu vollständig kooperativen Gruppen reduzierte Erfolgsraten.
  • Das Vorhandensein eines Agenten, der auf Kohlenstoffmaximierung optimiert ($R_{maxA}$), verhindert effektiv, dass das System den grünen Fixpunkt erreicht, und setzt die kooperativen Bemühungen anderer Agenten außer Kraft.
• Kritische Zustände: Die Visualisierung zeigt, dass kooperative Agenten zu Beginn und am Ende von Trajektorien hohe Logit-Unterschiede (Sicherheit) aufweisen. In kompetitiven Szenarien zeigen Agenten niedrigere Logit-Unterschiede, was auf eine höhere Richtliniennunsicherheit hindeutet. Der $R_{maxA}$-Agent wählt konsequent die Aktion „Energiewende", um seine spezifische Belohnung zu maximieren, während der $R_{PB}$-Agent dieses Verhalten nicht effektiv kontert.

Bedeutung und Behauptungen
Die Autoren positionieren diese Arbeit als eine frühe Entdeckung im Bereich der Anwendung von MARL auf die Klimapolitik. Die primäre Bedeutung liegt darin zu demonstrieren, dass kooperative Agenten zwar zuverlässig Wege zu wünschenswerten Zukünften aufzeigen können, die Einführung von Konkurrenz – die reale geopolitische Konflikte widerspiegelt – jedoch die Fähigkeit, Klimaziele zu erreichen, erheblich beeinträchtigt.

Der Artikel bescheiden behauptet, dass diese Ergebnisse die Notwendigkeit zukünftiger Forschung zu Algorithmen mit erhöhter „Gegnerbewusstheit" (wie zentralisiertes Training mit dezentralisierter Ausführung oder Gegnerformung) hervorheben, um Nicht-Stationarität und Konkurrenz in Multi-Agent-Klimasimulationen zu bewältigen. Die Autoren betonen, dass aktuelle Einschränkungen die Annahme der Kontrolle über Agenten-Lernalgorithmen und die Herausforderung umfassen, MARL auf komplexe, hochdimensionale IAMs zu skalieren. Sie schließen, dass die Technologie zwar vielversprechend für die evidenzbasierte Politikherleitung ist, aber erhebliche Arbeit erforderlich bleibt, um die Validität zugrunde liegender Modelle und die Interpretierbarkeit von Agentenverhalten vor einer realweltlichen Übernahme sicherzustellen.