技術要約：安全なマルチエージェント強化学習のための契約に基づく構成的シールド

問題提起

協調的なマルチエージェント強化学習（MARL）において、単一のエージェントが一方的にグローバルな安全制約を強制できない場合、学習中およびデプロイ中の安全性を確保することは困難である。「安全な調整問題（safe coordination problems）」においては、あるエージェントの行動の許容性は、チームメイトの非定常な方策に依存する。標準的なアプローチは、グローバルな安全な行動関係を計算する中央集権的シールド（centralized shielding）、あるいは、他者のワーストケースの仮定に基づいて各エージェントが独立して行動を制限する**一方的（分解型）マスキング（unilateral/factorized masking）**に依存している。

本論文は、一方的なマスキングにおける決定的な限界を指摘している。それは、協調を必要とする最適な安全行動をしばしば破棄してしまうことである。論文の動機付けとなる例（図1）が示すように、エージェントAの安全な行動がエージェントBによる特定の行動の選択に依存する場合、純粋に一方的なマスクは、エージェントBのあらゆる可能な行動に対して安全であり続けるために、エージェントAの行動を禁止してしまう。これは、協調された高報酬のジョイントアクションを排除してしまう「保守的な直積分解（conservative Cartesian decomposition）」を招く。目標は、中央集権的な実行時の制御に立ち戻ることなく、分散実行（decentralized execution）（各エージェントがローカルな情報に基づいて行動すること）を実現しながら、チーム最適の安全行動を回復することである。

手法

著者らは、共有されたグローバルな安全仕様をローカルな時間的契約へと分解するフレームワークである、**契約に基づく構成的シールド（Contract-Based Compositional Shielding）**を提案している。この手法は、以下の3つのフェーズで構成される。

1. フォーマルな枠組みと仮定

• グローバル仕様: 安全性は、線形時相論理（LTL）の安全フラグメントにおける単一のグローバルな式 $\Phi_{safe}$ によって定義される。
• ローカル契約: グローバルな仕様は、ローカルな義務のタプル $C = \langle \phi_i \rangle_{i=1}^n$ に分解される。ここで、各 $\phi_i$ はエージェント $i$ のローカルなアルファベット上の $LTL_{safe}$ 式である。
• 循環的仮定保証（Circular Assume-Guarantee）: 非循環的な依存構造を必要とする従来のワークと比較して、本アプローチは**循環的な仮定（circular assumptions）**を許容する。エージェント $i$ は、他のすべてのエージェント $j \neq i$ が自身の義務 $\phi_j$ を満たすことを仮定する。この循環性は、固定された順序によってではなく、タプル全体を同時に認証することによって解決される。

2. シールド合成（オフライン）

合成プロセスは、認証された契約のライブラリを構築する：

• オートマトン構築: 各ローカルな義務 $\phi_i$ は、違反を表す「バッド状態」を持つ決定論的な安全オートマトン $A^C_i$ にコンパイルされる。
• 契約積（Contract Product）: ステートスペース $S \times Q_1 \times \dots \times Q_n$ 上にグローバルな積オートマトンが構築される。
• 不動点認証: 著者らは、仮定保証前置演算子（assume-guarantee predecessor operator）を用いて、最大不動点（「長方形の勝利領域」$Win^\square_C$）を計算する。この領域は、以下の条件を満たす状態を表す：
  1. ジョイントアクションが勝利領域内に留まること。
  2. バッド状態に到達しないこと。
     これらを満たす、局所的なアクションマスクの非空な直積（「長方形」）を維持できる状態である。
• 認証基準: 契約タプルは、以下の条件を満たす場合に「認証済み」とされる：
  1. ローカルな義務の連言が、グローバルな安全目的を意味的に含意している（$C \models^\uparrow \Phi_{safe}$）。
  2. システムの初期状態が計算された勝利領域内にある。
• 投影: 認証後、勝利領域は各エージェントのローカルアクションマスクを生成するために投影される。これらのマスクは「ローカルにマスク識別可能（locally mask-identifiable）」である。つまり、エージェントは他のエージェントのマスクを再構成することなく、自身のローカルな観測履歴とアクティブな契約識別子のみを使用して、許可された行動を判断できる。

3. 学習と選択（オンライン）

• ライブラリ構築: 学習前に、境界付き探索によって候補となる契約タプルを列挙する（式の深さと有限な言語によって制限される）。各候補は認証のためにテストされる。成功したタプルの集合が認証済みライブラリ（$\mathcal{L}_{cert}$）を形成する。
• バンディット・セレクター: 学習中、非定常なマルチアームドバンディットアルゴリズムが、与えられた学習ブロックに対してライブラリからどの契約を適用するかを選択する。
  • 各契約は「腕（arm）」として機能する。
  • セレクターは、安全性を確保しつつ、チームのリターンを最適化する。
  • 方策の改善に伴い異なる契約の価値が変化するという非定常な性質に適応するため、**割引上限信頼限界（Discounted Upper Confidence Bound: D-UCB）**戦略を使用する。
• 安全性の保証: 定理3は、セレクターがエピソードの境界でのみ契約を切り替え、常に事前認証されたライブラリから選択している限り、システムがエンドツーエンドで安全であることを保証する。

主な貢献

本論文は、主に4つの貢献を述べている：

1. 分解とコンパイル: 共有されたグローバルな $LTL_{safe}$ 仕様を、候補となるローカルな義務へと分解し、シールド合成のために決定論的な安全オートマトンへとコンパイルする手法。
2. 形式的な健全性と回復可能性: 循環的仮定保証推論と契約積不動点に基づく、分散型シールドの形式的な保証。著者らは、もし最適な安全決定論的方策がライブラリ内の契約によって表現可能であれば、本フレームワークはその方達を回復できることを証明している。
3. 認証下での最適化: 境界付きプロファイル探索と割引UCB選択を用いて、保守性を低減するメカニズム。これにより、システムは決定論的な安全性を損なうことなく、高リターンの協調行動を露出させる契約を選択できる。
4. 実証的評価: 6つの協調型マルチエージェント環境（Flatland、RWARE、Pressure Plateを含む）および15のアルゴリズム・バリアントにわたる広範な評価を行い、提案手法の有効性を実証している。

結果

実証的評価では、提案された Contract-IPPO および Contract-IQL を、標準的なMARLアルゴリズム（IPPO、IQL、MAPPO）および様々なシールド・ベースライン（一方的シールド、中央集権的シールド）と比較している。

• パフォーマンス: 一方的（factorized）なマスクが保守的すぎる環境（例：RWARE、Pressure Plate、Connector）において、契約ベースのシールドはチーム報酬を大幅に改善し、中央集権的シールド（Shielded-Joint-PPOなど）の性能に近づく。
• 安全性: 安全性は構造的に強制されている。図4の曲線は保持されたリターンを測定しており、これは安全違反がマスク自体によって防止されていることを示唆している。
• スケーラビリティ: 最大規模の環境において、境界付き探索は最大12,001個のプロファイルを検討し、そのうち最大390個が安全として認証された。これは、オフラインの列挙アプローチの実現可能性を示している。
• 具体的な知見: 「Pressure Plate」環境において、標準的な分解型シールドは、ホルダーのあらゆる挙動に対して安全であるために、ランナーが保護されたドア領域の外に留まるよう強制した。対照的に、契約ベースのアプローチは、ホルダーがプレート上に留まるという認証されたコミットメントに依存することで、ランナーが横断することを可能にし、協調的な最適行動を回復した。

意義と主張

本論文は、安全なMARLにおける分散実行と最適な調整の間の根本的なトレードオフに対処していると主張している。

• 調整の回復: 著者らは、本手法が、純粋に分解された（一方的な）シールドによって失われがちな「チーム最適の安全行動」を回復することを主張している。同時に認証される循環的な仮定を許容することで、システムは、安全なジョイントアクションを破棄してしまう「保守的な直積分解」を回避できる。
• エンドツーエンドの安全性: 本フレームワークは、報酬の適応（学習）と安全性の強制（シールド）を分離している。学習プロセスは、事前認証された契約の範囲内で探索および最適化を行うことができ、学習中およびデプロイ中のいずれにおいても、不安全な行動が一切許容されないことを保証する。
• 限定的な範囲: 論文は自らの限界についても謙虚に述べている。グローバルな最適解を回復できる能力は、ローカル契約の表現可能性（ライブラリ内の契約の表現力）に依存することを認めている。もし必要な調整を捉えるための契約言語が十分に表現力豊かでない場合（例：深さの境界 $D$ が低すぎる場合）、システムはグローバルな最適解を回復できない。さらに、現在の手法は契約の網羅的な（ただし境界付きの）列挙に依存しており、完全な列挙を行わずに近似的な最適契約を見つけるためのヒューリスティックを探索することが今後の課題として示唆されている。

要約すると、本論文は、分散エージェントが中央集権的な実行時の制御なしに効果的に協調することを可能にする、厳密かつ形式的に検証された安全なMARLへのアプローチを提示しており、形式検証と強化学習の最適化の間の溝を埋めるものである。