Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

技術的サマリー：ニューラルネットワークを用いた拡散過程におけるドリフト関数のプラグイン分類

問題定式化
本論文は、離散時間点で観測される時間均質な拡散過程に対する教師あり多クラス分類問題を扱う。基礎となる過程 $X = (X_t)_{t \in [0,T]}$ は、以下の確率微分方程式（SDE）を満たす：
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
ここで、$Y \in \{1, \dots, K\}$ は離散的なクラスラベル、$b_Y$ はクラス固有のドリフト関数、$\sigma$ はすべてのクラスで同一であると仮定される拡散係数である。目的は、離散的に観測された軌道 $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$ が与えられたとき、ラベル $Y$ を予測する分類器 $g_{D_N}$ を構築することである。本研究は、ドリフト関数がクラス間で異なり、拡散係数が一定であるという設定を仮定しており、この設定ではクラス情報はドリフトのみに符号化されている。

手法：ニューラルネットワークに基づくプラグイン分類器
提案されるアプローチは、データ全体の軌道を生入力ベクトルとして扱う「エンドツーエンド」法とは対照的に、データの拡散構造を明示的に利用する「プラグイン」分類器である。手法は主に 2 つのステップで進行する：

1. ベイズ分類器の特性と離散化：
   著者はまず、ベイズ分類器の多次元的な特性を導出する。標準的な正則性仮定（リプシッツ連続性、ノビコフの条件）の下、最適分類器は、汎関数 $\pi^*_k(X)$ を最大化するラベル $k$ を割り当てる。この汎関数は、ドリフト $b_k$ と拡散係数 $\sigma$ を含む項のソフトマックス変換を通じて定義される：
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   軌道が離散時間 $t_m = m\Delta$ で観測されるため、連続的な汎関数 $F^*_k$ はリーマン和版 $\bar{F}_k$ によって近似される。

2. ニューラルネットワークによるドリフト推定：
   真のドリフト関数 $b_k$ は未知であるため、これらはフィードフォワードニューラルネットワーク（具体的にはスパース ReLU ネットワーク）を用いて非パラメトリックに推定される。各クラス $k$ について、ドリフトは、そのクラスに属する訓練軌道の離散増分に基づく経験的損失を最小化することで推定される。推定されたドリフト $\hat{b}_k$ は、離散化された汎関数 $\bar{F}_k$ に代入され、推定クラス確率 $\hat{\pi}_k$ を計算するために用いられ、最終的な分類器は最も高い確率を持つクラスを予測する。

主要な貢献
本論文は、4 つの主要な理論的および数値的貢献をなす：

1. 多次元ベイズ分類の特性： 著者は、ベイズ分類器の特性を 1 次元設定（Denis ら [2020]）から多次元の場合（命題 2.4）へ拡張し、高次元におけるプラグインアプローチの理論的基盤を提供する。
2. リスク分解： 定理 2.5 は、過剰誤分類リスクの分解を確立する。提案された分類器とベイズ分類器の間のギャップを、時間離散化ステップ $\Delta$ とドリフト推定の $L^2$ 誤差の観点から評価する。
3. 収束率： 定理 2.7 は、ドリフト推定にニューラルネットワークが使用される場合の過剰リスクの明示的な収束率を導出する。これらの率は、サンプルサイズ $N$、時間ステップ $\Delta$、およびドリフト関数の滑らかさ（合成構造によって特徴付けられる）に依存する。
4. 構造的利点： 解析は、拡散構造を利用することで、分類器が観測されたすべての増分（実質的に $N \times M$ のデータ点）から学習できることを示している。一方、直接軌道ベースの分類器は、軌道全体を高次元空間における単一のサンプルとして扱う。

結果と数値実験
理論的知見は、2 つの数値実験によって支持されている：

• 例 1（2 層ポテンシャルドリフト）： 変動するドリフトを持つ 3 クラス問題において、提案された NN ベースのプラグイン分類器は、1 次元において B スプラインベースの手法（Denis ら [2024]）を大幅に上回る。特に、B スプラインが飽和する大規模サンプルサイズにおいて顕著である。重要なのは、この手法が計算的に実行可能であり、高次元（$d \in \{2, 5, 10, 50\}$）においても効果的である点である。経験的収束率は、理論的な $N^{-1/2}$ 率（対数因子まで）と一致しており、ドリフト関数が合成構造を許容する場合、次元は定数に影響を与えるが指数には影響しないことを示している。さらに、この手法は、SDE 構造を無視する直接軌道ベースの分類器（FNN、RNN、TCN、Transformer）を大幅に上回る。
• 例 2（Denis ら [2024] ベンチマーク）： 標準的なベンチマークを再検討した結果、提案手法は B スプラインベースの分類器およびベイズベンチマークと同等の分類リスクを達成し、確立された設定における性能を検証した。

意義と主張
本論文は、提案されたプラグイン分類器が、拡散過程に対する直接軌道ベースの学習に対する堅牢な代替手段であると主張する。基礎となる SDE 構造を明示的にモデル化することで、軌道全体を高次元入力ベクトルとして扱うことに関連する「次元の呪い」を回避する。理論的解析は、収束率が観測空間の次元ではなく（合成仮定の下で）、ドリフト推定の精度によって決定されることを確認している。

著者は限界を認め、リスク bound 内の定数が Burkholder–Davis–Gundy 不等式およびグロンワールの補題の適用により次元 $d$ とともに増加することを指摘している。その結果、収束率（指数）は有利なままであるが、高次元設定では有意なリスク低減を観測するために、より大きなサンプルサイズが必要となる可能性がある。さらに、論文は、過剰リスクが 1 によって有界であるため、分類は本質的にドリフト推定よりも困難であり、ドリフト推定量が不正確な場合、分類器はほぼランダムに動作する可能性があることに言及している。

全体として、この研究は、拡散過程の分類の範囲を 1 次元設定から多次元設定へ拡張し、この特定の問題クラスに対して、汎用的な深層学習アーキテクチャに代わる構造を考慮したプラグイン分類器を使用するための理論的根拠を提供している。