A Zeroth-Order Deep Learning Method for Fully Nonlinear Parabolic Partial Differential Equations with Unknown Coefficients

技術要約：未知の係数を持つ完全非線形放物型偏微分方程式のためのゼロ次ディープラーニング

問題提起
本論文は、基礎となる演算子や係数関数が未知（ブラックボックス）である高次元の完全非線形放物型偏微分方程式（PDE）を解く際の課題に取り組んでいる。これらの方程式は、科学的機械学習、連続時間強化学習（特に未知のパラメータを持つハミルトン・ヤコビ・ベルマン方程式）、および流体乱流のような複雑な物理システムにおいて発生する。

既存のディープラーニングソルバーは、この文脈において主に2つの制限に直面している：

1. 残差ベースの手法（例：PINNs、Deep Galerkin）： これらは微分演算子を評価するために自動微分（auto-diff）に依存している。高次元においては、これは最適化の不安定化と微分誤差の増幅を招く。さらに、これらは通常、「学習してから微分する」パラダイムに従っており、微分は学習された値関数から事後的に計算されるため、微分が真の値に収束するという理論的な保証は提供されない。
2. 確率的手法（例：Deep BSDE、DBDP）： これらは確率的表現（ファインマン・カッツ公式）を利用するが、一般に、基礎となる確率微分方程式（SDE）を定義するために、PDEの係数に関する明示的な知識を必要とする。これらは多くの場合、ヘッセ行列に対して線形なPDEに限定されており、完全非線形なケースや係数にアクセスできないブラックボックス環境には適さない。

著者らは、解、その勾配、およびヘッセ行列を、演算子の関数形式やその微分を知ることなく、同時に学習し、このPDEを解くためのモデルフリーかつデータ駆動型のアプローチを開発することを目指している。

手法：表現してから学習する（Representing-Then-Learning）
提案手法は、従来の「学習してから微分する」アプローチとは異なる、「表現してから学習する」パラダイムを採用している。コアとなる構成要素は以下の通りである：

1. シミュレータ・フレームワーク： 本手法は、PDEの無限小生成子に基づく確率的軌跡を生成する「シミュレータ」へのアクセスを想定している。2つの設定が定義されている：

   • 弱シミュレータ（Weak Simulator）： 各クエリに対して独立した軌跡（i.i.d. ブラウン運動）を返す。
   • 強シミュレータ（Strong Simulator）： 一連の初期状態に対して、同一の基礎となるブラウン運動によって駆動される軌跡のファミリーを返す（固定された「乱数シード」）。これにより、相関による分散減少が可能になる。

2. 近似値反復（Approximate Value Iteration）： 非線形PDEは、一連の線形PDEを介して解かれる。各反復 $n$ において、非線形ソース項 $f$ は、現在の値（$V_n$）、勾配（$G_n$）、およびヘッセ行列（$H_n$）の近似を用いて評価される。これにより、問題はファインマン・カッツ公式を通じて解くことが可能な方策評価タスクへと還元される。

3. ゼロ次微分（ZOD）推定量： 自動微分を用いて微分を計算する代わりに、摂動を加えた点での関数評価のみを用いて、勾配およびヘッセ行列の確率的推定量を構築する。

   • 一点推定量（One-Point Estimators）： $x + \epsilon Z$ における関数値を用いて微分を推定する。これらはバイアスを持つが、弱シミュレータの設定では、摂動 $\epsilon \to 0$ となるにつれて分散が非有界となる。
   • 多点推定量（Multi-Point Estimators）： 対称差分（例：$f(x+\epsilon Z) - f(x-\epsilon Z)$）を使用する。強シミュレータの設定では、これらの推定量は、相関のあるノイズの相殺により、$\epsilon \to 0$ において有界な分散を達成するが、弱シミュレータの設定ではこの恩恵は得られない。

4. 複合損失関数： アルゴリズムは、3つのニューラルネットワーク（$V, G, H$）を共同で訓練し、以下の複合損失を最小化する：

   • 値損失（Value Loss）： ネットワークの出力と、確率的報酬（終端条件 + ソース項の積分）との間の平均二乗誤差を最小化する。
   • 微分損失（Derivative Losses）： 勾配およびヘッセ行列のネットワークと、摂動を受けた軌跡から導出されたそれぞれのZODターゲットとの距離を最小化する。極めて重要な点は、報酬におけるソース項 $f$ が、自動微分されたカウンターパートではなく、$G$ および $H$ の明示的な出力を用いて評価されることである。

主な貢献

1. ブラックボックスPDEのためのモデルフリー・フレームワーク： 係数が未知である、軌跡データのみに依存する完全非線形PDEを解くための厳密なフレームワークを導入した。

2. 学習対象としてのZOD： 微分を学習するための直接的なターゲットとしてZOD推定量を使用することを提案した。この「表現してから学習する」アプローチは、不完全な値近似を微分することに伴う誤差伝播を回避する。

3. PDEにおけるZODのバイアス・分散分析： 著者らは、PDEの文脈におけるZOD推定量の特有のバイアス・分散のトレードオフを特性化した。彼らは、多点ZODが最適化において分散を減少させる一方で、その有効性は、摂動を受けた軌跡間に相関を誘発する強シミュレータの利用可能性に厳格に依存していることを示した。

4. ソボレフ空間における理論的保証： 本論文は、二階微分までの（重み付き）ソボレフ空間における、モデルフリーなPDE学習に関する初の非漸近的誤差解析を提供している。全誤差は以下に分解される：

   • 離散化誤差（$O(N^{-1})$）
   • 近似誤差（ニューラルネットワークの表現能力）
   • 統計的誤差（サンプル複雑性）
   • ZODバイアス（$O(\epsilon^4)$）

   解析により、強シミュレータの下では、誤差は $O((N^{-1} + P(d)B^{-1/2})^{1/2})$ とスケールする一方、弱シミュレータの下では $\epsilon^{-4}$ の分散爆発により、より悪いスケールになることを確立した。

結果
数値実験により、中・高次元（最大 $d=20$）の線形、半線形、および完全非線形PDEにおける手法の妥当性を検証した：

• 線形PDE（回帰）： 標準的な「学習してから微分する」アプローチ（NN-autodiff）と比較して、ZOD法は、値関数の精度が同程度であるにもかかわらず、勾配およびヘッセ行列の近似において著しく低い誤差を達成した（少なくとも3倍以上の性能向上）。auto-diffアプローチは、微分の局所的なピークや谷を捉えることに失敗した。
• 半線形および完全非線形PDE： ZOD法は、最先端のモデルベース手法であるDeep Picard Iteration (DPI) と比較された。
  • ZODは、値および勾配において、より速く収束し、より低い誤差を達成した。
  • 最も注目すべきは、ZODがヘッセ行列の精度においてDPIを劇的に上回ったことである（完全非線形の場合、ヘッセ行列の誤差を1桁減少させた）。これは、専用のヘッセ行列ネットワークと二次のZOD目的関数に起因しており、DPIが値ネットワークの二重自動微分に依存していることとは対照的である。
  • 本手法は、強シミュレータを用いて堅牢な性能を示し、分散減少による理論的優位性を裏付けた。

意義と主張
本論文は、係数が未知であるブラックボックス環境に適用可能な、完全なモデルフリー・アルゴリズムを提供すると主張している。その主な意義は以下の通りである：

• 理論的厳密性： 完全非線形PDEにおいて、二階微分までの解およびその微分をソボレフ空間で学習するための収束性とサンプル複雑性を確立したことは、既存の文献における空白を埋めるものである。
• 実用的な安定性： 学習された値関数の自動微分に頼るよりも、ZODターゲットを介して微分を明示的に学習する方が、特に高次の微分において、より安定し、かつ正確であることを示した。
• シミュレータへの意識： シミュレーションベースの学習の効率性は、データ生成メカニズム（弱シミュレータ vs 強シミュレータ）に根本的に結びついていることを強調しており、これは科学的機械学習のアルゴリズム設計に新しい視点を提供するものである。

著者らは、本手法がPDEの係数についてはモデルフリーであるが、PDEの構造（線形二階演算子 ＋ 非線形ソース項）は既知であることを前提としており、PDEの演算器自体を学習しようとするものではない（これはオペレータ学習のアプローチとは異なる）と注記している。