技術要約：拡張平均場制御における決定論的方策のためのアクター・クリティック学習

問題定式化

本論文は、**連続時間拡張平均場制御（Extended Mean Field Control: MFC）**問題を取り扱う。この設定では、中央プランナーが、均質で相互作用する大量のエージェントの集団的行動を最適化する。代表的なエージェントの制御された状態は、以下のマッケン・ヴラソフ（Mcokean-Vlasov）確率微分方程式（SDE）に従う：
$$dX^\alpha_s = b(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))ds + \sigma(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))dW_s$$
決定的な違いとして、標準的なMFCでは係数が状態分布のみに依存するのに対し、拡張MFCでは、ドリフト $b$、拡散 $\sigma$、および報酬関数が、状態と制御の結合分布 $\mathcal{P}(X^\alpha_s, \alpha_s)$ に依存することを許容する。

目的は、許容可能な制御過程に対して報酬汎関数を最大化することである。この領域における主要な課題は、問題の無限次元性であり、値関数が時間、個々の状態、および状態分布に依存することである。さらに、連続時間MFCにおける既存の強化学習（RL）手法は、しばしば確率的（探索的）方策に依存している。著者らは、確率的な方策は拡張MFCにおいて重大なアルゴリズム上の障壁に直面すると主張している。具体的には、アクションをランダム化することは制御分布を変化させ、生成子の方策に対する線形性を崩し、補助的なダイナミクスの導出を複雑にする。加えて、確率的な方策は、連続的なアクション空間における高頻度のサンプリングとモンテカルロ近似を必要とするため、計算の非効率性と不安定性を招く。

手法

本論文は、決定論的フィードバック方策を利用したモデルフリーのアクター・クリティック・フレームワークを提案する。確率的なカーネルの最適化ではなく、現在の時刻、状態、および状態の法則を直接アクションへと写像する、パラメータ化された決定論的方策 $\phi_\theta(t, x, \mu)$ の最適化を行う。

1. 理論的基礎

本手法の核心は、連続時間拡張MFCのための**決定論的方策勾配（Deterministic Policy Gradient: DPG）**公式の導出である。

• モデルフリーの感度解析: 著者らはまず、パラメータ化されたマッケン・ヴラソフ・ダイナミクスに対するモデルフリーの感度公式を確立する。ドリフトや拡散係数の明示的な知識を必要とせずに、方策パラメータ $\theta$ に関する値関数の勾配公式を導出する。
• アドバンテージ・レート関数: 勾配は、状態分布のフローに沿ったアドバンテージ・レート関数の微分の積分として表現される。
• 局所分解（定理 3.2）: 理論的な洗練の鍵となるのは、リフトされた値関数およびアドバンテージ・レート関数を、状態、アクション、および結合状態・アクション分布の局所関数へと分解することである。この分解により、以下の要素を含む方策勾配が得られる：
  1. 局所的なアクションに関する微分。
  2. 制御分布に関する測度微分項。
• マルチンゲール特性: 著者らは、これらの局所的表現に関するマルチンゲール条件を確立する。これにより、状態の法則のフローのみから学習する必要を回避し、観測された状態と制御の軌跡から直接、値関数とアドバンテージ関数を学習することが可能になる。

2. アルゴリズム: CT-DDPG

理論的結果に基づき、本論文は**連続時間深層決定論的方策勾配（Continuous-Time Deep Deterministic Policy Gradient: CT-DDPG）**アルゴリズムを提案する。

• アーキテクチャ: アルゴリズムは、測度依存型ニューラルネットワークを採用する。値関数 $V_\phi$ およびアドバンテージ・レート関数 $q_\psi$ は、状態と時間だけでなく、状態分布の有限次元埋め込み（例：モーメントや学習可能な特徴マップ）を入力として受け取るニューラルネットワークを用いて近似される。
• クリティックの更新: クリティックは、マルチンゲール特性から導出された時間差（TD）学習スキームを用いて訓練される。損失関数は、ベルマン的な制約と終端条件を強制する。
• アクターの更新: 方策は、局所アドバンテージ・レート関数とその微分を利用したDPG公式（式 3.22）を用いた勾配上昇法によって更新される。
• 探索: 方策が決定論的であるため、探索は以下の2つのメカニズムを通じて外部的に導入される：
  1. アクション空間の探索: 方策によって選択されたアクションにノイズを加える。
  2. パラメータ空間の探索: 方策ネットワークのパラメータを摂動させる。
• シミュレーション: マッケン・ヴラソフ・ダイナミクスは、$M$ 個のエージェントを用いた粒子近似（オイラー・丸山離散化）を使用してシミュレートされ、経験的分布を推定する。

主な貢献

1. 拡張MFCのための決定論的方策フレームワーク: 本論文は、連続時間拡張MFCに特化したモデルフリーRLフレームワークを導入し、確率的な方策アプローチ（生成子の線形性の喪失や高い計算コストなど）の限界を回避する。
2. 新規な方策勾配公式: 状態とアクションの結合分布への依存を明示的に考慮した決定論的方策勾配公式を導出した。これには、拡張MFCの問題において不可欠な、制御分布に関する新しい測度微分項が含まれる。
3. 局所的アドバンテージ表現: 値関数とアドバンテージ関数を局所的な構成要素に分解することで、集計された状態のフローだけでなく、個々の軌跡から得られるより情報量の多い学習信号を可能にした。
4. アルゴリズムの実装: 粒子近似、測度依存型ニューラルネットワーク、およびTD学習を統合し、高次元かつ無限次元の制御問題を解決するためのCT-DDPGアルゴリズムを提示する。

数値結果

提案手法は、2つのベンチマーク問題で評価されている：

1. 確率的Cucker-Smaleコンセンサス制御:

   • 線形二次（LQ）ケース ($\gamma=0$): CT-DDPGは、既知のLQ構造を利用していないにもかかわらず、既存のモデル依存型ベースライン（アクター・クリティックおよびQ学習）よりも速く最適値に収束する。
   • 非LQケース ($\gamma=1$): 本手法は堅牢性と効率性を示す。学習可能な特徴マップを用いた分布埋め込みのバリアントは、手作りのカーネル特徴量を用いたものと同等の性能を示し、アプローチのモデル非依存性を裏付けている。
   • 探索: アクション空間の探索は、パラメータ空間の探索よりもノイズスケールのチューニングに対して頑健であることが判明したが、注意深いチューニングを行えば両者とも同等の性能を達成できる。

2. トレード・クラウディングを伴う最適清算（Optimal Liquidation with Trade Crowding）:

   • この問題は、制御分布（恒久的市場インパクト）に明示的に依存している。
   • CT-DDPGは、ベースラインと比較して優れた収束速度と安定性を示す。
   • この特定の環境では、適切に調整された場合、アクション空間のノイズが価格プロセス・ダイナミクスを十分に摂動させなかったため、パラメータ空間の探索がアクション空間の探索よりも優位性を持つ可能性が示された。

意義と主張

提案された決定論的方策アプローチは、連続時間拡張MFCの設定において、確率的な方策手法と比較して顕著な計算上の利点を提供すると論文は主張している。決定論的な方策のプッシュフォワード構造を直接利用し、確率的なカーネルの最適化を避けることで、以下の達成を実現する：

• 安定性の向上: 決定論的な方策の性質により、確率的なアクションサンプリングに伴う分散が減少する。
• 収束の高速化: マルチンゲールに基づく学習原理と局所的なアドバンテージ表現により、より情報量の多い勾配が得られる。
• モデルフリー能力: アルゴリズムはシステムダイナミクス（$b, \sigma$）や報酬関数の知識なしで動作するため、モデルが未知または計算困難な複雑な実世界のシナリオにも適用可能である。

著者らは、提案手法が従来のワークに見られる制限的な仮定（例：分離可能な構造や、制御への明示的な依存関係の既知性）を取り除き、制御分布が重要な役割を果たす拡張MFC問題において学習を行うための統一されたフレームワークを提供することを強調している。