The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

技術要約：デノイジング・スコアマッチングにおける損失フロア（Loss Floor）

問題提起
デノイジング・スコアマッチング（DSM）は、拡散モデルにおける標準的な学習目的関数である。生成ダイナミクスには周辺スコア $s(x, t) = \nabla_x \log P_t(x)$ が必要であるが、この量は計算不可能（intractable）である。DSMは、クリーンなサンプル $y$ と破損カーネル $q$ を用いた条件付きスコア $s_{\text{cond}}(x, t; y) = \nabla_x \log q(x, t | y)$ への回帰によってこれを回避する。条件付きスコアは周辺スコアの不偏推定量であり、両方の目的関数が同じ母集団の最小値（population minimizer）を共有することを保証するが、固定されたノイズ状態 $x$ において、条件付きターゲットは依然として確率変数である。これにより、いかなるモデルも削減することのできない不可避な余剰（irreducible excess）が学習損失に導入される。本論文は、この不可避な余剰の正確な性質とは何か、そしてそれは何に依存するのか？ という根本的な問いに取り組む。

手法
著者らは、**シュレディンガー・ブリッジ変分原理（Schrödinger bridge variational principle）**から、学習目的関数とその余剰を導出している。その手法は、以下の3つの理論的ステップを通じて進行する。

1. 変分的な起源: 本論文は、逆拡散ダイナミクスを、端点制約に対する参照パス測度の相対エントロピー射影として定式化している。最適なダイナミクスは、ドーブの $h$-変換（Doob $h$-transform）によって与えられる。この汎関数の第1変分は、理想的な周辺スコア目的関数（$\Delta S_{\text{ideal}}$）を与える。
2. 幾何学的分解: 本論文は、ブリッジ汎関数の第2変分を分析している。条件付きスコアの条件付き平均周囲の揺らぎは、条件付き端点族 $p(y | x, t)$ のスコアに対応することを特定している。この揺らぎの二次モーメントは、定義により、この族の**フィッシャー・ラーオ計量（Fisher–Rao metric）**である。
3. 情報理論的評価: 破損を拡散過程として扱うことで、著者らはこのフィッシャー計量のトレースを、クリーンなデータとノイズ状態との間の相互情報量の損失率に関連付けている。これにより、幾何学的な余剰を情報流（information flow）へと結びつけている。

主要な貢献と結果

• 正確な条件付き分散分解: 本論文は、デノイジング目的関数の正確な直交分解を確立する：
  $$\Delta S_{\text{DSM}} = \Delta S_{\text{ideal}} + \frac{1}{2} \int_0^T \gamma(t) \mathbb{E}_{x \sim P_t} [\text{tr } g(x, t)] \, dt$$
  ここで $\Delta S_{\text{ideal}}$ は理想的な周辺スコア損失であり、第2項は**損失フロア（loss floor）**である。項 $g(x, t)$ は、条件付き端点族のフィッシャー・ラーオ計量テンソルである。決定的なことに、このフロアはデータ分布と破損スケジュールにのみ依存し、モデルパラメータには決して依存しない。
• 幾何学的解釈: 本論文は、拡散潜在空間において最近観察されている（具体的には対数密度のヘッセ行列としての）フィッシャー幾何が、課された構造ではなく、DSMにおける回帰ターゲットの固有の分散であることを特定している。アフィン・ガウス型破損の場合、計量は以下の形式をとる：
  $$g_{ij}(x, t) = \frac{1}{\sigma_t^2} \delta_{ij} + \partial_i \partial_j \log P_t(x)$$
  これは、潜在空間で見られる「幾何」が、単に条件付きターゲットの分散であることを裏付けている。
• 情報流の因数分解: 損失フロアは、ノイズ状態がクリーンなデータに関する相互情報を失う速度に比例することが示されている。一般的な破損拡散 $dx_t = f(x_t, t)dt + \sqrt{D(t)}dW_t$ に対して：
  $$\mathbb{E}_{P_t}[\text{tr } g(x, t)] = -\frac{2}{D(t)} \frac{d}{dt} I(y; x_t)$$
  したがって、全フロアは、データ依存の情報流とスケジュール依存の重みの積へと因数分解される。損失の重み付けが拡散係数と一致する場合、フロアは端点間の相互情報量（ガウス型の場合は微分エントロピー）の差へと積分される。
• 高SNR漸近挙動と情報次元: 高SNR極限において、損失フロアの発散率はデータのレニー情報次元（Rényi information dimension） $d(y)$ によって支配される。具体的には、フロアは $\frac{d(y)}{2} \log \Lambda$ として増大する（ここで $\Lambda$ は最大SNRである）。これは、なぜ損失がデータ多様体の近くで発散するのかを説明し、フロアの大きさをデータの固有次元に結びつけている。
• 実用的な帰結:
  • 生の損失の非比較性: 加法的なフロアはSNRの範囲、スケジュール、および損失の重み付けによって変化するため、生の学習損失は異なる構成間で直接比較できない。本論文は、計算されたフロアを差し引くことで一貫したモデルのランキングが回復されることを示し、生の損失がモデル品質の逆転を示唆してしまうケースを修正できることを実証している。
  • スケジュールの設計限界: この分解は、スケジュールは全フロアを変更することはできず（フロアはSNR範囲の端点によって固定されている）、推定誤差が発生する場所を再分配することしかできないことを示している。
  • サンプリング vs 学習: 学習目的関数は、条件付き端点法則の第2次モーメント（分散）のみを探索する。対照的に、数値的なサンプリング誤差は第3次モーメント（歪度）に依存する。本論文は、フィッシャー計量（2次）は単調である一方で、その変化率は対称性の破れの遷移を局在化させることから、モード分離付近のサンプリングにおける第3次の幾何学的効果が重要になることを指摘している。

意義と主張
本論文は、標準的なDSM目的関数に既に暗黙的に含まれているが、これまで定量化されていなかった正確な分解を明らかにすることを主張している。その意義は以下の通りである：

1. 視点の統合: 拡散ダイナミクスの変分的起源（シュレディンガー・ブリッジ）、潜在空間の情報幾何（フィッシャー・ラーオ計量）、およびデノイジングの情報理論的構造（相互情報量の損失）を結びつけている。
2. 損失ランドスケープの明確化: 「損失フロア」を、単なる厄介なものやハイパーパラメータのアーティファクトとしてではなく、条件付きターゲットの不可避な分散を表す根本的な幾何学的量として再定義している。
3. 実用的有用性: スケジュール依存のバイアスを補正するための具体的な手法を提供し、異なるノイズスケジュールで訓練されたモデル間の公平な比較を保証する。

著者らは、本研究は新しい目的関数やスケジューリングアルゴリズムを提案するものではなく、既存の拡散訓練の構成要素を理解するための厳密な理論的枠組みを提供することであると強調している。結果は解析的に導出され、低次元の例を用いて数値的に検証されており、新たな性能ベンチマークを提案するのではなく、恒等式を確立するものである。