論文要約：災害におけるコミュニティの恐怖軽減のためのマルチエージェント・アクター・クリティック強化学習

1. 問題背景と動機

大規模災害発生時、電力網や通信ネットワークなどの物理インフラ、ニュースやSNS などのサイバーシステム、そして人々の恐怖や協力行動などの社会的行動は、密接に絡み合ったフィードバックループを形成します。特に、事実情報よりも誤った情報（フェイクニュース）の方が 70% 速く拡散する傾向があり、これがコミュニティの恐怖を増幅させ、避難命令への遵守率を低下させるという悪循環を引き起こします。

既存のレジリエンス（回復力）フレームワークは、物理・サイバー・社会の各領域を個別に扱うことが多く、これら間のリアルタイムな相互作用を捉え、かつ具体的な介入（リソース配分）を提案する統合的な枠組みが不足していました。本研究は、Valinejad と Mili (2023) が開発したサイバー・フィジカル・ソーシャル（CPS）モデルを拡張し、災害対応機関による能動的な制御を可能にする枠組みを提案します。

2. 提案手法

本研究では、以下の 3 つの主要なステップで構成されるアプローチを提案しています。

2.1 CPS モデルの制御アフィン拡張

既存の CPS モデル（10 個のコミュニティ指標を連成微分方程式で記述）に、3 つの災害対応機関による制御チャネルを追加しました。

• 通信機関（プレイヤー 1）: 対抗メッセージングとリスクコミュニケーション（$u_1$）。
• 電力会社（プレイヤー 2）: 配電網の復旧とクルー派遣（$u_2$）。
• 緊急医療サービス（EMS）機関（プレイヤー 3）: 救急車、避難所、物資の配備（$u_3$）。

これらの制御入力は、恐怖（$x_1$）やフェイクニュース（$x_{10}$）、電力可用性（$x_8$）などの状態変数に直接加算される形でモデルに組み込まれています。

2.2 非ゼロ和微分ゲームとしての定式化

3 つの機関は、共有される動的システム上で、それぞれ独自のコスト関数を最小化しようとします。これは3 人非ゼロ和（NZS）微分ゲームとして定式化されます。

• コスト関数: 各プレイヤーは「コミュニティの恐怖（$x_1$）」を共通して最小化しようとしつつ、それぞれの任務に応じた追加ペナルティ（通信機関は誤情報、電力会社は電力不足、EMS は健康・サービス不足）を負います。
• 最適化問題: 最適方策は連成したハミルトン・ヤコビ（HJ）方程式を満たしますが、非線形な CPS 動力学に対しては解析解が得られないため、数値的なアプローチが必要です。

2.3 オンライン・アクター・クリティック強化学習

HJ 方程式を解くために、Vamvoudakis と Lewis の手法に基づき、**モデルベースのオンライン・アクター・クリティック強化学習（RL）**を採用しました。

• 構造: 各プレイヤーは「クリティック（価値関数近似器）」と「アクター（方策近似器）」を維持します。
• 学習プロセス: 既知の CPS モデルを用いて、クリティックがベルマン誤差を最小化するように重みを更新し、アクターがクリティックが示す最適方策を追従するように更新されます。
• ナッシュ均衡: このプロセスを通じて、各プレイヤーは他のプレイヤーの方策を固定した状態で自身のコストを最小化する「ナッシュ均衡」に近い方策に収束します。

3. 主な貢献

1. 制御拡張 CPS モデル: Valinejad と Mili のモデルに、3 つの介入チャネル（対抗メッセージ、電力復旧、EMS 配備）を追加した制御アフィン形式のモデルを構築。
2. オンライン解法: 3 人非ゼロ和微分ゲームを、モデルベースのアクター・クリティック RL によってオンラインで解く枠組みを提案。ゼロ制御初期化、有界な探索、時間変化する外乱信号の区分的定常化処理を実装。
3. 実証評価と一般化: ハリケーン・ハービーとイルマのデータを用いたシミュレーションにより、学習された方策の有効性を示しました。

4. 実験結果

ハリケーン・ハービーとイルマのデータに基づいたシミュレーション結果は以下の通りです。

• 恐怖の軽減:
  • ハリケーン・ハービー: ベースライン（制御なし）と比較して、平均恐怖レベルが約70% 削減されました。
  • ハリケーン・イルマ: ハービーで学習したパラメータをそのまま適用（再適合なし）した際でも、平均恐怖レベルが約50% 削減され、高い汎用性を示しました。
• インフラ回復: 制御下では電力可用性（$x_8$）がより高いレベルで維持され、身体的健康（$x_4$）も改善されました。
• 他制御手法との比較:
  • 定量的な比較では、提案手法（NZS アクター・クリティック）は、集中型アクター・クリティックや比例制御などの代替手法と比較して、最も低い制御コスト（努力量）で効果的な恐怖削減を達成しました。
  • 全プレイヤーの総コスト（$\Sigma J$）は、提案手法が 13.81 であり、集中型（14.01）や比例制御（9.06）と比べて、分散型ゲーム理論的アプローチがリソース配分の効率性を高めることを示しました。
• 均衡の検証: 片側逸脱テスト（Unilateral Deviation Test）により、学習された方策が局所的にナッシュ均衡に近いことが確認されました（プレイヤー 1 のみ若干の改善余地あり）。

5. 意義と結論

本研究は、災害レジリエンスの向上において、以下の重要な知見を提供しています。

1. 対抗メッセージングの重要性: 通信機関による「対抗メッセージング（$u_1$）」は、恐怖（$x_1$）と誤情報（$x_{10}$）の両方に直接作用するため、最もレバレッジの高い介入手段であることが示されました。
2. 物理的制約の限界: EMS の可用性は、最適化アルゴリズムやコスト重みの調整ではなく、物理的なチャネル容量（制御ゲインやリソースの限界）によって制限されることが分かりました。
3. 分散型ゲーム理論の優位性: 各機関が独自の目的関数を持つ分散環境において、ゲーム理論に基づく強化学習は、中央集権的な最適化や単純なヒューリスティック手法よりも、効率的で合理的なリソース配分を実現します。

結論として、CPS の結合構造そのものが、どの機関がコミュニティの恐怖を最も効果的に軽減できるかを決定づけており、マルチエージェント強化学習を用いた分散制御が、災害対応における新たな有効なアプローチであることを実証しました。