Diffusion Models Adapt to Low-Dimensional Structure Under Flexible Coefficient Choices

技術要約：柔軟な係数選択下における拡散モデルの低次元構造への適応

問題提起
拡散モデルは、学習されたスコア関数に基づき、反復的なデノイジング更新を通じてガウスノイズを高次元データへと漸進的に変換することにより、高次元データの生成において顕著な経験的成功を収めてきた。近年の理論的発展により、拡散モデルが未知の低次元データ構造に適応できること（サンプリングの反復複雑さが、周囲の次元 $d$ ではなく、内在的次元 $k$ に依存すること）が確立されているが、これらの保証は、厳密に規定された更新係数に限定されていた。既存の収束理論は、主に、逆時間確率微分方程式（SDE）の係数と正確に一致する特定の離散化スキーム（ドリフト $\eta_t$ および分散 $\sigma_t^2$ の特定の選択など）に依存している。これは根本的な問いを投げかける。すなわち、低次元構造への適応は拡散モデルのロバストな特性なのか、それとも更新係数の精密な選択に敏感なものなのだろうか。異なる係数選択を持つサンプラーが同等の性能を示すことが多いという経験的な観察結果はロバスト性を示唆しているが、統一的な理論的正当化が欠けていた。

手法およびフレームワーク
著者らは、以下の一般的な更新規則によって定義される広範なクラスの拡散サンプラーを分析するための、統一的な理論的フレームワークを提案する：
$$Y_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( Y_t + \eta_t s_t(Y_t) + \sigma_t Z_t \right)$$
ここで、$(\alpha_t)$ はノイズ・スケジュールであり、$(\eta_t, \sigma_t^2)$ は更新係数である。

係数選択の柔軟性を扱うために、著者らは以下の形式の補助的な前方プロセス $(\hat{X}_t)_{t=1}^T$ を導入する：
$$\hat{X}_t = \sqrt{\alpha_t} X_0 + \sqrt{v_t} Z_t$$
ここで、$v_t$ は、標準的な前方分散 $(1-\alpha_t)$ ではなく、更新係数 $(\eta_t, \sigma_t^2)$ によって再帰的に決定される「実効ノイズ分散」を表す。実効分散と標準的な分散の間の乖離は、ノイズ偏差シーケンス $\delta_t = \frac{v_t}{1-\alpha_t} - 1$ によって定量化される。

分析の核心は、サンプラーの出力 $Y_1$ と補助的な周辺分布 $\hat{X}_1$ の間の全変動（TV）距離をバウンドすることにある。著者らは誤差を以下のように分解する：

1. 離散化誤差： 真のスコア関数を追跡する補助シーケンスを用いた結合（カップリング）議論を通じて分析される、逆ダイナミクスの有限ステップ近似から生じる誤差。
2. スコア推定誤差： 真のスコア $s_t^\star$ の代わりに推定されたスコア $s_t$ を使用することによって導入される誤差。

この分析は、データサポートの被覆数（covering numbers）を通じて定義される内在的次元 $k$ の概念を活用しており、データが低次元多様体の上またはその近傍に存在することを仮定している。

主な貢献および結果

1. 低次元適応のロバスト性：
   本論文は、広範なクラスの更新係数に対して、TV距離において $\varepsilon$-正確なサンプルを生成するために必要な反復回数が、周囲の次元 $d$ に依存せず $\tilde{O}(k/\varepsilon)$ であることを証明している。これは、ノイズ偏差シーケンス $\delta_t$ が、十分小さな定数 $c$ に対して $|\delta_t| \leq c \frac{\log^2 T}{T}$ を満たす場合に成立する。この結果は、低次元構造への適応が特定の離散化スキームに限定されるものではなく、ロバストな特性であることを示している。

2. 既存の保証の一般化：
   このフレームワークは、以下のものを含む広く用いられているサンプラーに適用可能である：

   • オリジナルのDDPM (Ho et al., 2020)
   • Improved DDPM (Nichol and Dhariwal, 2021)
   • Analytic-DPM (Bao et al., 2022)
   • $\eta_t \approx 1-\alpha_t$ かつ $\sigma_t^2$ が妥当な範囲内で変化するその他の様々な係数選択。
     系（Corollary）1は、これらの手法が $\tilde{O}(k/T)$ の収束率を満たす条件を満たしていることを確認しており、証明可能な低次元保証を持つサンプラーのクラスを大幅に広げている。

3. 決定論的サンプラーの取り扱い：
   定理2は、正確なスコア関数を仮定した場合の決定論的サンプラー（DDIMのように $\sigma_t = 0$ の場合）に結果を拡張する。これは、ガウスノイズを注入しない場合でも、離散化誤差が内在的次元 $k$ に適応することを示している。

4. 標準的な周辺分布との整合性：
   本論文は、係数による分散の乖離 $\delta_t$ により、補助的な周辺分布 $\hat{X}_1$ が標準的な周辺分布 $X_1$ と異なる可能性がある点に対処している。系2は、あらゆる有効な係数選択に対して、修正されたノイズ・スケジュール $(\alpha'_t)$ が存在し、サンプラーの正規化された出力がターゲット分布 $X_1$ に対して同じ $\tilde{O}(k/T)$ の率で収束することを確立している。これは、実用的なサンプラーが最適な率を達成するために特別な係数選択に置き換えられる必要はなく、むしろ、サンプラーの出力がリスケールされたターゲットに対して理論的保証を持つことを意味している。

5. 下界との比較：
   著者らは、係数が完全に一致していない限り、標準的な前方プロセスへの1ステップの離散化誤差が $d$ に比例することを示唆する既存の下界と、自らの知見を対比させている。本論文では、係数による分散の乖離を吸収する「補助的な周辺分布」を追跡することで、より広範なクラスのサンプラーに対して内在的次元適応的な保証を確立できると論じている。

意義および主張
本論文は、異なる係数選択を持つ拡散サンプラーが、構造化された高次元データに対して良好に機能するという経験的な観察に対する理論的な正当化を提供すると主張している。低次元への適応が係数の選択に対してロバストであることを証明することにより、本研究は以下の事項を実現している：

• 拡散モデルの収束に関する理論的理解を大幅に広げた。
• 「完璧に」較正された係数を持つものに限らず、多様で一般的に使用されるサンプラーの利用を正当化した。
• 柔軟な離散化の下での拡散メカニズムの根本的な性質として、内在的次元 $k$ への依存性が、実効的なノイズレベルが標準的なスケジュールに近い限り成立することを明確にした。

著者らは、これらの結果が正確に事前学習されたスコア関数の利用可能性に依存していること、およびスコア推定誤差が補助的なプロセスに関して評価されていることを注記している。また、係数のロバスト性と決定論的サンプラーのスコア推定誤差を同時に捉える統一的な理論の開発は、今後の課題としている。