Deep Neural Networks for Mean-Field Stochastic Optimal Control with Applications to Mean Variance Optimization

技術要約：平均場確率的最適制御のための深層ニューラルネットワーク

問題設定
本研究は、平均場確率微分方程式（SDE）によって支配される高次元最適制御問題を扱う。状態プロセスのみに依存する古典的な確率制御とは異なり、平均場モデルは状態の確率分布（または期待値）への依存性を組み込んでいる。具体的に定式化された問題は、以下の形式のコスト関数の最小化である：
$$\inf_{u \in U} \mathbb{E} \left[ \int_0^T h(t, x_t, \mathbb{E}[\phi(x_t)], u_t) dt + g(x_T, \mathbb{E}[\chi(x_T)]) \right]$$
ここで、ドリフト係数および拡散係数は、状態 $x_t$ とその期待値 $\mathbb{E}[\psi(x_t)]$ に依存する平均場SDEに従う。著者らは、このような平均場の依存性が、線形期待値に基づく古典的な問題とは異なり、時間の非一貫性と非線形なパフォーマンス基準をもたらすと指摘している。

主要な課題として、「次元の呪い」が特定されており、これは指数関数的な計算量の増大により、従来の数値手法（例：格子離散化に基づく有限差分法やモンテカルロ法）を高次元の設定で実行することを不可能にしている。

手法
著者らは、確率最大原理（SMP）を利用して、元の制御問題を等価な変分問題へと変換する。SMPを適用することで、最小条件を伴う結合された前向き・後ろ向き確率微分方程式（FBSDE）として表現される拡張ハミルトニアン系を導出する。

本手法の核心となる技術的革新は、最適条件を、二次終端コストを最小化することを目的とした新しい制御問題へと再定式化することである：
$$\inf_{\hat{p}_0, \{\hat{q}_t\}} \mathbb{E} \left[ | \hat{p}_T - g_x(\hat{x}_T, \mathbb{E}[\chi(\hat{x}_T)]) - \mathbb{mathbb{E}}[g_y(\hat{x}_T, \mathbb{E}[\chi(\hat{x}_T)])]\chi_x(\hat{x}_T) |^2 \right]$$
ただし、$\hat{x}$ のダイナミクスおよび随伴過程 $\hat{p}$ に従うものとする。この終端コストがゼロに収束する場合、その解は元の問題の最適制御に対応する。

この高次元のFBSDEを数値的に解くために、本論文では3つの異なる深層ニューラルネットワーク（DNN）ベースのアルゴリズムを提案している：

1. アルゴリズム1（数値最適化を用いた単一DNN）：

   • 単一のDNNが制御プロセス $\hat{q}_t$ を近似する。
   • 最適制御 $\hat{u}_t$ は、L-BFGSやSLSQPなどの最適化手法を用いて、各タイムステップにおいて最小化条件 $\arg\min_v H(\cdot)$ を数値的に解くことによって決定される。
   • このアプローチは、最小化条件をトレーニングループ内での外部最適化ステップとして扱う。

2. アルゴリズム2（明示的制御を用いた単一DNN）：

   • 関数 $\bar{H}$（最小化されたハミルトニアン）および最適制御 $\hat{u}_t$ が明示的な解析的表現を持つ場合に適用可能である。
   • 単一のDNNが $\hat{q}_t$ を近似する。
   • システムは標準的なFBSDEとして解かれ、各ステップでの反復的な数値最小化を必要としないため、計算コストが大幅に削減される。

3. アルゴリズム3（ペナルティ項を用いたデュアルDNN）：

   • 最適制御の明示的な表現が得られない場合に設計されている。
   • 2つのDNNが同時に用いられる：一つは $\hat{q}_t$ を近似し、もう一つは $\hat{u}_t$ を近似する。
   • 一次の最適条件（$H_u = 0$）は、損失関数にペナルティ項 $\lambda \int_0^T |H_u|^2 dt$ を直接加えることで強制される。これにより、ネットワークは明示的な制御式を必要とせずに最適制御を学習することができる。

主な貢献

• 再定式化： 本論文は、深層学習に適した扱いやすい変分問題へと、確率最大原理を利用して平均場確率的最適制御問題を再定式化することに成功した。
• アルゴリズムの多様性： 最適制御に関する情報の可用性（完全な明示的表現から完全な暗黙的表現まで）に合わせて調整された、3つの具体的なアルゴリズムを導入した。
• 平均場項の処理： 本手法は、係数が状態プロセスの期待値に依存するという、平均場の性質を明示的に考慮しており、標準的なSDEを超えて深層学習の応用範囲を広げている。
• ペナルティベースの制約： アルゴリズム3は、一次条件を損失関数に直接埋め込むことで、高次元における最大原理の制約を扱うための斬新なアプローチを導入し、明示的な制御式を必要とせずにこれを実現している。

結果
提案された手法は、金融数学における古典的な応用例である平均分散ポートフォリオ選択問題を用いて評価された。シミュレーションには、リスクフリー資産とリスク資産を含む市場が含まれ、パラメータは標準的な値（例：リスクフリーレート0.05、ボラティリティ0.20）に設定された。

• 収束性： すべてのアルゴリズムが、コスト関数の解析的な最適値へと収束することを示した。
• 精度：
  • アルゴリズム2は、明示的な最適制御による簡略化のおかげで、最も高い精度と最小の相対誤差を達成した。
  • アルゴリズム3は、明示的な制御式を必要としないにもかかわらず、解析解に極めて近い非常に高い精度を提供した。ペナルティ項の導入が、最適条件を満たす解へと学習を導く役割を果たしたとされている。
  • アルゴリズム1は、3つの中で最も低い精度を示し、解析的な最適値からの大きな偏差が見られた。これは主に、各ステップでの反復的な数値最小化に伴う計算オーバーヘッドと潜在的な誤差に起因する。
• 効率性： 本研究は、明示的な制御が存在する場合はアルゴリズム2が最も効率的であるが、明示的な解が存在しない一般的な高次元問題においては、アルゴリズム3が堅牢かつ柔軟な代替案となることを強調している。

意義と主張
本論文は、提案された深層学習フレームワークが、平均場確率的最適制御における次元の呪いを効果的に克服することを主張している。最適性を検証するための「より扱いやすい枠組み」として、二次終端コスト問題への再定式化が有用であると述べている。

著者らは、アルゴリズム3を最も一般的かつ重要な貢献として位置付けている。なぜなら、これは最適制御の明示的な解析的表現の存在に依存せずに、高次元の確率制御問題を解くことを可能にするからである。結論として、これらの手法は「高次元においても良好な精度と計算効率」を示しており、従来のメソッドが困難に直面する平均分散ポートフォリオ最適化のような複雑なアプリケーションに対して実行可能なツールキットを提供すると述べている。本研究は、理論的な確率制御（SMP経由）と現代的な計算手法（DNN経由）の架け橋となり、高次元の平均場問題に対する実用的なツールキットを提供している。