Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

技術要約：拡散モデルは勾配のみを観測する

問題提起
スコアベースの拡散モデルは、通常、時間積分された $L_2$ スコアマッチング誤差を最小化するように訓練される。標準的な理論解析は、学習された分布とターゲット分布の間の不一致（例：カルバック・ライブラー（KL）ダイバージェンス）を抑え込むために、この完全な $L_2$ 誤差に依拠している。しかし、本論文はこのアプローチにおける根本的な欠陥を指摘している。すなわち、完全な $L_2$ スコア誤差は、周辺分布の質を測る本質的な尺度ではないということである。学習された拡散モデルは、ターゲット分布と完全に一致しているにもかかわらず、任意の大きさの $L_2$ スコア誤差を発生させることがあり得る。著者らは、標準的な $L_2$ メトリックが、生成されるサンプルに影響を与える誤差成分と、影響を与えない誤差成分を区別できていないと主張している。

手法：幾何学的分解
核心となる手法は、ターゲット密度 $p^\star_s$ に関するヘルムホルツ・ホッジ分解を用いて、スコア推定誤差ベクトル場 $e_s = \hat{s}_s - \nabla \log p^\star_s$ を2つの直交する成分に分解することである：

1. 観測可能な勾配成分 ($\Pi_{G_s} e_s$)： 勾配場の空間への投影。
2. 不可視なソレノイド成分 ($\Pi_{G_s^\perp} e_s$)： 直交補空間（重み付き密度に対する発散ゼロの場）への投影。

著者らは、拡散プロセスの周辺ダイナミクスがフォッカー・プランク方程式によって支配されており、その方程式はスコア誤差を重み付き発散項 $\nabla \cdot (p^\star_s e_s)$ を通じてのみ依存することを実証している。

• 勾配成分はこの発散に寄与し、周辺分布の進化に直接影響を与える。
• ソレノイド成分は $\nabla \cdot (p^\star_s e_{inv}) = 0$ を満たす。したがって、これは構造的に周辺フォッカー・プランク・ダイナミクスに対して「不可視」である。つまり、純粋なソレノイド誤差場を加えても、誤差の $L_2$ ノルムは増大するものの、いかなる時点においても周辺分布を変化させることはない。

主な貢献

1. 不可能性の結果 (定理 3.1)：
   著者らは、完全な $L_2$ スコア誤差のいかなる単調関数も、学習されたモデルとターゲットモデルの間の意味のある分布ダイバージェンス（例：KLダイバージェンス）を一様に下限として抑え込むことはできないことを証明した。これは、純粋なソレノイド誤差が、KLダイバージェンスをゼロ（すなわち、ターゲットと周辺分布が同一）に保ったまま、任意の大きさの $L_2$ ノルムを持ち得るためである。これにより、完全な $L_2$ 誤差は、生成品質を制御する本質的な量ではないことが確立された。

2. KLダイバージェンスに対するよりタイトな上界 (定理 3.2)：
   観測可能な勾配成分のみに焦点を当てることで、著者らはKLダイバージェンスに関する新しい上界を導出した：
   $$KL(p^\star_{t_0} \parallel \hat{p}_{t_0}) \lesssim \frac{1}{2} \int_{t_0}^T \sigma_s^2 \|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 ds$$
   この境界は、ソレノイド成分が非ゼロである場合、標準的なギルサノフに基づく境界よりも厳密にタイトである。著者らは、標準的な境界の緩さを、パス空間のダイナミクスではなく周辺空間のダイナミクス上で操作することによる「コスト」であると特定している。さらに、この境界は、観測可能なドリフトのみを保持する、学習されたプロセスの周辺的に等価な代表的なプロセスにギルサノフ論法を適用することによっても回収できることを示している。

3. 観測可能な誤差の扱いやすい推定器 (セクション 4)：
   高次元において誤差を勾配場へ明示的に投影することは計算量的に困難であるため、著者らは、勾配成分のノルムを推定するための双対ソボレフ恒等式を提案している。彼らは、スカラー値の「クリティック」ネットワーク $\phi_\psi$ に関する無制約最適化問題として定式化している：
   $$\|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 = \sup_{\phi} \left\{ 2 \mathbb{E}[\nabla \phi \cdot e_s] - \mathbb{E}[\|\nabla \phi\|^2] \right\}$$
   この推定器は、明示的な投影を回避し、ノイズが付加されたデータ分布からの標準的なサンプリングを用いて計算可能である。

結果
著者らは、Fashion-MNIST および CIFAR-10 において、様々なモデル容量に対してこれらの理論的知見を実証した。

• 誤差分解： 学習中、スコア誤差の勾配成分は大幅に減少（数桁オーダー）する一方で、ソレノイド成分は早期に上昇してプラトーに達し、最終的には残留誤差のほぼすべてを占めるようになる。
• 境界のタイトさ： 標準的なギルサノフ境界は、ソレノイド誤差のフロアレベルで飽和し、さらなる学習の改善を反映できなくなる。対照的に、新しい境界（勾配成分に基づくもの）は減少を続け、モデルの実際の改善を追跡する。
• サンプル品質との相関： 勾配成分のノルム ($\|\Pi_{G} e\|^2$) は、完全な $L_2$ 誤差よりも、Fréchet Inception Distance (FID) との実質的に高いスピアマン相関を示す。この相関は異なるモデル容量においても成立し、その差は小規模なモデルにおいて最も顕著である。

意義と主張
本論文は、スコアマッチング誤差に関する幾何学的視点を提供し、なぜ標準的な訓練目的関数が生成品質に関して非効率または誤解を招き得るのかを説明している。

• 標準的なデノイジング・スコアマッチング (DSM) は、完全な $L_2$ 誤差を最小化しようとするが、意図せずして、生成分布に影響を与えないソレノイド成分まで罰してしまうことを明らかにしている。
• 提案された観測可能な誤差メトリックは、学習の質を診断するためのより優れた指標となり、KLダイバージェンスに対するよりタイトな理論的境界を提供し、FIDのような知覚的指標とより強く相関する実用的なツールとなる。
• 本研究は、既存の理論的境界の「緩さ」が数学的なアーティファクトではなく、生成において周辺ダイナミクスのみが重要である場合に、パス空間の分布を分析することから生じる構造的な帰結であることを示唆している。

著者らは、本研究を、生成を支配する実際のメカニズム（フォッカー・プランク・ダイナミクス）に沿った、より本質的な誤差の尺度を提供する、拡散モデルの理論的理解の洗練として位置づけている。彼らは標準的な訓練目的関数を置き換えることを提案しているのではなく、勾配成分の推定器を、学習のダイナミクスや容量の利用状況をより良く理解するための診断ツールとして使用することを提案している。