From Score Approximation to Distribution Approximation in Score-Based Diffusion Models

技術的要約：スコア近似からスコアベース拡散モデルにおける分布近似へ

問題提起
スコアベース拡散モデルは生成モデリングにおいて経験的な成功を収めているが、その近似理論的な基礎は未だ不完全である。古典的な普遍近似定理は、ニューラルネットワークがスコア関数（$\nabla_x \log p_t(x)$）を任意に良く近似できることを保証しているが、そのような関数レベルの保証が、逆拡散プロセスによって生成される確率分布の近似の保証へとどのように変換されるのかは、これまで不明であった。具体的には、学習されたスコア関数の $L^2$ 誤差と、ターゲットとなるデータ分布および逆プロセスによって生成された分布との間のカルバック・ライブラー（KL）ダイバージェンスとの間の厳密な定量的関係が欠如している。

手法
本論文は、近似理論、確率解析、および情報理論を組み合わせた3段階の分析フレームワークを通じて、スコア近似と分布近似の間の厳密な定量的リンクを確立する。

1. ギルサノフの定理によるパス測度解析： 著者らは、真の逆時間確率微分方程式（SDE）と、真のスコアがニューラルネットワークによる近似 $s_\theta$ に置き換えられた学習された逆時間SDEとの関係を分析する。パス空間におけるギルサノフの定理を適用することで、真のパス測度 $P$ と学習されたパス測度 $Q_\theta$ の間のKLダイバージェンスに関する明示的な恒等式を導出する。この恒等式は、パス空間のダイバージェンスを、順方向プロセスの終端分布（$p_T$）と逆プロセスの初期化に使用される事前分布（$p_{prior}$）の間のKLダイバージェンスと、拡散係数 $g(t)$ で重み付けされたスコア近似の時間の積分された $L^2$ 誤差を表す積分項の2つの成分に分解する。

2. データ処理不等式によるデータ分布への投影： パスのダイバージェンスを最終的な生成データ分布へと結びつけるために、著者らは相対エントロピーに関するデータ処理不等式を適用する。彼らは、時刻 $t=0$ における周辺分布（ターゲット $\mu$ と生成された $\mu_\theta$）の間のKLダイバージェンスが、対応するパス測間のKLダイバージェンスによって上から抑えられることを証明する。このステップでは、ラドン＝ニコディムの微分とイェンセンの不等値を利用し、パス測を初期状態へと投影することがダイバージェンスを増加させないことを示す。

3. 普遍近似との統合： 導出された境界をホルニクの普遍近似定理と組み合わせる。著者らは、任意の $\epsilon > 0$ に対して、真のスコア関数を $L^2(\mu)$ 誤差 $\epsilon$ 以内で近似する（特定のグローバル・リプシッツ連続性などの正則性条件を満たす）ニューラルネットワーク $s_\theta$ が存在することを実証する。

主要な結果
中心的な結果は定理1であり、これは分布近似誤差に対する明示的な上限を提供する。定理は、ニューラルネットワーク $s_\theta$ が真のスコア関数 $s$ を $\|s_\theta - s\|_{L^2(\mu)}^2 < \epsilon$ の範囲で近似する場合、ターゲットデータ分布 $\mu$ と生成された分布 $\mu_\theta$ の間のKLダイバージェンスは以下を満たすことを述べている：

$$KL(\mu \| \mu_\theta) < \delta + \frac{1}{2}g_{max}^2 \epsilon$$

ここで：

• $\delta = KL(p_T \| p_{prior})$ は、順方向プロセスの終端分布と逆プロセスの事前分布との間の、回避不能な不一致を定量化する。
• $g_{max} = \max_{t \in [0,T]} |g(t)|$ は、最大拡散ノイズスケール係数である。
• $\epsilon$ は、スコア関数の平方 $L^2$ 近似誤差である。

この結果は、ドリフト関数およびスコア関数に対するグローバル・リプシッツ連続性の仮定（特定の活性化関数を持つ一般的なニューラルネットワークアーキテクチャによって満たされる）および指数マルチンゲールに対するノヴィコフ条件の下で成立する。

意義と主張
本論文は、ニューラルネットワークの表現力がスコアベース拡散モデルの生成能力にどのように結びついているかについて、厳密な理論的基礎を提供することを主張している。具体的には：

• スコア関数の $L^2$ 意味での任意の精度の近似が、（回避不能な事前分布の不一致を除いて）生成された分布における任意の小さなKLダイバージェンスを意味することを確立している。
• 本研究は、有限サンプル設定や構造的なデータ仮定に焦点を当てた最近の統計的学習分析（例：Chenら）を補完するものである。代わりに、本論文は、特定のデータ分布の構造に依存しない、ユークリッド空間における一般的な近似理論的観点を提供する。
• 導出された境界は、スコアベース学習の単純かつ明示的な正当化を与える。すなわち、スコアネットワークの精度を向上させることは、KLの意味において生成された分布の質を直接的に向上させる。

著者らは、分析は連続時間SDEに焦点を当てているものの、このフレームワークは離散時間モデル（DDPM）、確率フローODE、および非ユークリッドデータ空間への潜在的な拡張を示唆しているが、これらは今後の課題として残されていると述べている。