Diffusion Models for Adaptive Sequential Data Generation

技術要約：適応的時系列データ生成のための拡散モデル

問題提起
現実的な合成時系列データを生成することは、オペレーションズ・リサーチ、金融、ヘルスケア、および科学計算におけるアプリケーションにおいて極めて重要である。拡散モデルは静的なデータの生成において成功を収めているが、それらを時系列の設定へ直接拡張しようとすると、時間依存性、そしてより決定的な問題として、時系列データに固有の**情報の流れ（適応性）**を捉えることに失敗することが多い。標準的な拡散モデルは、全軌跡を単一のオブジェクトとして扱うため、$t$ における値の生成が将来の観測値に暗黙的に依存してしまうことがあり、これは非予見的な意思決定に求められる因果的順序を逸脱する。既存の自己回帰モデル（例：Transformer）は時系列データを扱うことができるが、連続的なモダリティの扱いに苦慮したり、近似誤差を導入する離散化を必要としたりすることが多い。中心となる課題は、各生成値が過去および現在の情報のみに依存することを厳密に維持しつつ、時系列データを生成する拡散フレームワークを設計することである。

手法：時系列データのための適応的拡散（AD-Seq）
著者らは、拡散のダイナミクスを時間的な情報の流れに整合させるために設計された、逐次的な前方・後方拡散フレームワークであるAD-Seqを提案している。

1. 逐次的前方・後方構成:
   通常の拡散モデルが全時系列を結合して操作するのに対し、AD-Seqはサンプルパスを座標ごと（タイムステップごと）に生成する。

   • 前方プロセス: 各タイムスタンプ $h$ に対して、以前に生成された履歴 $X^{[1:h)}$ に条件付けられた前方確率微分方程式（SDE）が定義される。これにより、前方へのノイズ注入に時間依存性が直接組み込まれる。
   • 逆プロセス: サンプリングプロセスは逐次的に進行する。時刻 $h$ における値を生成するために、モデルは既に生成された履歴 $\bar{X}^{[1:h)}$ に条件付けられた逆時間SDEを実行する。これにより、$X_h$ の生成が $X_{1}, \dots, X_{h-1}$ に厳密に依存することが保証され、構成によって適応性が強制される。

2. スコアマッチング目的関数:
   モデルの学習のために、著者らは時間ステップ間で学習問題をデカップリングする新しいスコアマッチング目的関数を導入している。

   • 目的関数は、予測されたスコアと真の条件付きスコア $\nabla_x \log \rho_h(t, x | \text{history})$ との間の重み付き二次損失を最小化する。
   • 決定的なことに、この目的関数により、サンプリングプロセスが逐次的であるにもかかわらず、異なるタイムステップにおけるスコア関数の並列学習が可能となる。
   • 長いホライゾンにおける履歴の次元増大に対処するため、著者らは履歴の切り捨てメカニズムを採用し、全履歴ではなく長さ $d_{\text{trunc}}$ の直近ウィンドウに条件付ける。これは、時間依存性の減衰に基づき正当化される。

3. アルゴリズム:
   サンプリングアルゴリズム（Algorithm 1）は、$h=1$ から $H$ まで反復する。各ステップでは、現在のノイズを含む状態と、以前に生成されたクリーンな履歴を入力として受け取る学習済みスコアネットワーク $\hat{s}_h$ を用いて、後方SDEを実行する。

主な貢献
本論文には主に3つの貢献がある：

1. 適応的生成のための新しいフレームワーク: AD-Seqは、フィルタリングに適応した時系列データを生成するために明示的に設計された初の拡散フレームワークである。逆拡散ステップを生成された履歴に条件付けることで、合成データが因果的な情報構造を遵守することを保証し、将来の情報が予見できない予測的意思決定やストレス・テストなどのタスクに適したものにしている。
2. 厳密な統計学習理論: 著者らは、AD-Seqフレームワークに関する有限サンプル保証を確立した。これには以下が含まれる：
   • スコア近似: ニューラルネットワークが、条件変数（金融時系列に特有の課題である非有界な条件変数を含む）が非有界である場合でも、条件付きスコア関数を限定された誤差で近似できることを証明している。
   • スコア推定: 経験的スコアマキシマイザーの統計的誤差に関する境界を導出している。
   • 分布推定: 生成された分布の全変動（TV）境界を提供している。収束率は $\tilde{O}(n^{-\frac{\beta}{4(d_{\text{trunc}}+\beta)}})$ と示されており、ここで $n$ はサンプルサイズ、$\beta$ は滑らかさのパラメータ、$d_{\text{trunc}}$ は有効な履歴長である。このレートは静的な拡散モデルの最良の既知レートと一致しており、時間依存性が減衰する場合、適応性の制約が統計的な扱いやすさを本質的に損なわないことを示している。
3. 実証的検証:
   • 合成データ: 本手法は、ARMAモデルの自己相関構造やガウス過程の共分散減衰パターンを正確に復元し、小サンプル領域において経験的推定を上回る性能を示した。
   • 実世界への応用: S&P 500データを用いた平均分散ポートフォリオ最適化タスクにおいて、AD-Seqによって生成されたサンプルを用いて訓練された方策は、ベンチマークの中で最高のシャープレシオを達成し、時間構造を保持することの有用性を実証した。

結果と意義
本論文は、AD-Seqが拡散モデルの柔軟性と時系列データの因果的要件との間の溝を埋めることに成功したと主張している。

• 統計的忠実度: 本手法は、単なる静的な周辺分布ではなく、意味のある逐次的依存構造を捉える。
• 意思決定の質: ポートフォリオ最適化の実験において、適応的な生成は、情報の流れを尊重しない手法や異なる生成手法と比較して、意思決定の質（シャープレシオ）に測定可能な改善をもたらした。
• 理論的新規性: 本研究は、一般的な時系列データに適用される拡散モデルに対する初の厳密な統計的保証を提供し、非有界な条件変数や履歴の切り捨てという特定の問題に対処している。

著者らは、本研究を、情報のタイミングが極めて重要となる領域（多段階予測、予測制御、および情報フローの制約下での統計的推論など）において、拡散モデルの適用範囲をデータ生成からさらに広げるための基礎的な一歩として位置づけている。