Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

技術的概要：強化学習を用いた望ましい気候軌道の構築

問題定義
気候変動政策の導出は、対立する主体、不確実な証拠、広大な解空間を含む複雑な意思決定問題である。統合評価モデル（IAM）は、気候変動に関する政府間パネル（IPCC）の報告書など、政策を導くための社会環境動態のシミュレーションにおける標準的な枠組みであるが、従来の IAM は再帰的方程式ソルバーまたは最適制御問題に依存している。これらの従来手法は不確実性下での意思決定に苦慮し、国家間またはステークホルダー間の多様性、競争、コミュニケーション動態を十分に表現できないことが多い。さらに、既存のエージェントベースモデル（ABM）は、行動方針を学習するのではなく、事前に定義された行動方針を必要とするため、極めて変化する気候シナリオにおける頑健性が制限されている。強化学習（RL）は単一エージェントの IAM 設定において有望な結果を示してきたが、人為的な気候変動を駆動する国家間相互作用をモデル化するための多エージェント強化学習（MARL）の応用は未だ十分に探求されていない。加えて、RL アルゴリズムの「ブラックボックス」性は、解釈可能性メカニズムなしに現実世界の政策を支援する際の信頼性に関する懸念を提起している。

手法
著者らは、大気中の炭素（$A$）、経済産出量（$Y$）、再生可能知識ストック（$S$）の相互作用を常微分方程式（ODE）を通じてシミュレートする、低複雑度の IAM である AYS モデル（Kittel ら、2021）を拡張する。本研究は、この環境を複数の相互作用するエージェントに対応させるために、部分観測マルコフゲーム（POSG）として再定式化する。

• 環境の拡張: 単一エージェントの AYS モデルを、大気中の過剰炭素（$A$）というグローバル変数が共有され、経済産出量（$Y$）と再生可能知識（$S$）がエージェント固有となる多エージェント設定に適応させる。エージェントは個々の排出を通じてグローバルな炭素レベルに影響を与える。
• アルゴリズム: 本研究は、分散学習分散実行（DTDE）アルゴリズムである独立型近方方策最適化（IPPO）を採用する。この設定において、エージェントは完全に独立しており、パラメータを共有せず、自らの局所状態変数とグローバルな炭素レベルのみを観測する。
• 報酬関数: 異なる行動動機をテストするために、3 つの異なる報酬関数が用いられる。
  1. $R_{PB}$（協調型）: 炭素と経済産出量の両方について、惑星の境界（PBs）からのユークリッド距離を最大化し、「グリーン」な未来を促進する。
  2. $R_{maxY}$（経済優先型）: 経済産出量の境界からの距離を最大化し、経済的利益を優先する。
  3. $R_{maxA}$（対抗型）: 過剰な大気中の炭素（$A$）を最大化し、環境悪化を優先する主体を表す。
• 解釈可能性: RL の説明性の欠如に対処するため、著者らは「クリティカルステート（重要状態）」分析を利用する。この手法は、方策のロジット差（最高確率の行動と平均との差）が高い状態を特定し、エージェントがその行動に対して最も確信を持っている箇所を明らかにする。これにより、方策の不確実性の可視化と、エージェントの軌道における失敗点の特定が可能となる。

主な貢献

1. 多エージェント IAM 枠組み: 本論文は、単一エージェント IAM を多エージェント MARL 設定に拡張する予備的な枠組みを提示し、国家間の協力と競争のシミュレーションを可能にする。
2. 競争と協調の分析: 本研究は、エージェントの均質性、多様性、および対立する報酬関数が、「気候プラス」の状態（グリーンな固定点）への到達能力にどのように影響するかを体系的に調査する。
3. 政策の解釈可能性: 気候シミュレーションにおける MARL へのクリティカルステートの可視化の適用は、アルゴリズムの失敗と方策の不確実性を理解するための手法を提供し、特にエージェントが決定的な行動を決定する際に苦労する状態を特定する。

実験結果

• 協調的均質性（RQ1）: エージェントが同じ $R_{PB}$ 報酬を共有し、同一の状態から開始する場合、エージェントの数（最大 8 までテスト）に関わらず、一貫してグリーンな固定点に到達する（勝率 >90%）。協調は共有された報酬シグナルから自然に出現する。
• 協調的多様性（RQ2）: エージェントが異なる状態から開始するか、異なる気候被害パラメータ（$\xi_i$）を持つ場合でも、十分な訓練時間が与えられれば高い勝率（>90%）を達成する。ただし、あるエージェントが気候被害から隔離されている場合（$\xi_i$ が低い）、その排出がグローバルな炭素に与える負の影響を学習できず、協調的報酬に従っていても、経済的利益を優先するエージェントの軌道に似た軌道をとる。
• 競争（RQ3）: 競争の導入は成功を著しく阻害する。
  • 混合された動機（$R_{PB}$ 対 $R_{maxY}$）を持つエージェントは、完全に協調的なグループと比較して成功率が低下する。
  • 炭素の最大化を最適化するエージェント（$R_{maxA}$）の存在は、システムがグリーンな固定点に到達することを事実上防ぎ、他のエージェントの協調的な努力を覆い隠す。
• クリティカルステート: 可視化により、協調的なエージェントは軌道の開始時と終了時に高いロジット差（確信度）を示すことが明らかになった。競争シナリオでは、エージェントはより低いロジット差を示し、方策の不確実性が高いことを示している。$R_{maxA}$ エージェントは特定の報酬を最大化するために一貫して「エネルギー転換」行動を選択するのに対し、$R_{PB}$ エージェントはこの行動を効果的に対抗できない。

意義と主張
著者らは、この研究を気候政策への MARL 適用分野における初期の発見として位置づけている。主な意義は、協調的なエージェントは望ましい未来への経路を確実に描画できる一方で、現実の地政学的紛争を反映する競争の導入は、気候目標の達成能力を著しく低下させることを実証した点にある。

本論文は、これらの結果が、非定常性と競争を管理するための「対戦相手意識」を強化したアルゴリズム（中央集権的学習分散実行や対戦相手形成など）に関する将来の研究の必要性を浮き彫りにしていることを、控えめに主張している。著者らは、現在の限界には、エージェントの学習アルゴリズムに対する制御の仮定と、複雑で高次元の IAM への MARL のスケーリングの課題が含まれていることを強調している。彼らは結論として、この技術が証拠に基づく政策導出にとって有望である一方で、現実世界での採用に先立ち、基礎モデルの有効性とエージェント行動の解釈可能性を確保するための重要な作業が残されていると述べている。