技術的サマリー：拡散モデルにおける単調サンプリングは必要か？

1. 問題提起

6 年間、拡散モデルは、単一の明示されていない構造的仮定に依存してきた：サンプリング軌道に沿ってノイズレベルが単調に減少することである。この分野では、汚染演算子、訓練目的、分散スケジュール、アーキテクチャ、ODE ソルバーなど、ほぼすべての他の設計次元を徹底的にアブレーションしてきたが、単調性そのものの必要性は体系的にテストされたことがない。

3 つの独立した証拠の糸口は、この仮定が荷重を支える要件というよりは歴史的慣習である可能性を示唆している：

1. 数学的妥当性：DDIM 更新方程式は、厳密に減少するものだけでなく、任意の次の時間ステップの選択に対して定義されている。
2. 確率的「再加熱」：確率的 DDPM サンプリングは、各ステップで新たなノイズを暗黙的に追加し、ノイズ除去の進行を部分的に相殺する。これにより、高機能評価（NFE）予算において、決定論的 DDIM よりも良い結果が得られる。
3. リスタートサンプリング：軌道の途中に明示的にノイズを注入すること（補正を伴う）は、特定の文脈において最先端の結果を示している。

これにより、中心的な問いが生じる：単調サンプリングは単に自由に緩和できる慣習に過ぎないのか、それとも不可欠なのか？具体的には、構造化された意図的なノイズの非単調な増加（「再加熱」）は、サンプリャーが最適ではない軌道から脱出し、より良いサンプルに到達するのを助けることができるか？

2. 手法

著者らは、3 つの構造的に異なる生成モデルファミリー全体で単調性の必要性を評価するための体系的な実証テストを設計した：

• DDPM（離散時間、整数時間ステップ）
• EDM（連続ノイズレベル、Heun 積分）
• フローマッチング（連続時間、最適輸送）

実験設定

• データセット：CIFAR-10。
• 予算：NFE は 10 から 200 の範囲。
• 指標：Frechet Inception Distance (FID)。
• ベースライン：すべてのモデルに対する単調 DDIM（決定論的）。

非単調スケジュールファミリー

著者らは、固定された NFE 予算内で「再加熱」ステップ（ノイズが増加するステップ）を挿入する、4 つの構造化された非単調スケジュールファミリーを構築した：

1. シングルリヒート (SR)：特定の位置 $t_{reheat}$ で、大きさ $\delta$ の単一の後方ジャンプ。
2. 鋸歯状 (ST)：等しい大きさの周期的な後方ジャンプ。
3. 減衰振動 (DO)：知覚的品質が決定される臨界ノイズレベル（$\log \text{SNR} \approx 0$）の周りに集中した、幾何学的に減衰するリヒート。
4. 適応的リヒート (AR)：連続するスコア予測が較正された閾値を超えて発散したときにリヒートをトリガーするオンラインスケジュール。

本研究には、DDPM 上のシングルリヒートスケジュールに対して $(t_{reheat}, \delta)$ の 42 セルのハイパーパラメータアブレーションが含まれていた。重要なのは、固定予算ファミリーにおいて、リヒートは NFE 予算の「上に」追加されるのではなく、予算「内」に挿入されたことであり、効率性の公平な比較が保証されたことである。

3. 主要な発見

A. 否定的な発見：リヒートは決して役立たない

90 のテストされた構成（3 つのモデル、4 つのスケジュールタイプ、4 つの NFE 予算を網羅）において、テストされた非単調構成のいずれも、単調ベースラインを上回らなかった。

• ペナルティ（FID の増加）は、すべての位置においてリヒート大きさ $\delta$ に伴って単調に増加した。
• 0 以下の局所最小値は存在しなかった。最小のリヒートさえも正のペナルティを課した。
• この結果は、決定論的スケジュール、確率的補正変種、オンライン適応基準のすべてで成り立った。

B. 肯定的な発見：アーキテクチャ依存のペナルティ大きさ

リヒートが一様に悪影響を及ぼす一方で、ペナルティの大きさはモデルアーキテクチャに依存して劇的に（ほぼ 3 桁のオーダーで）変化する。この変動は測定ノイズではなく、訓練されたノイズ除去器の構造的性質である：

• DDPM：持続的で実質的なペナルティを受ける（例：NFE=100 で +1.31 FID）。ペナルティは高予算であってもゼロに収束しない。
• フローマッチング：中間的なペナルティを示す（NFE=100 で +0.04 FID）。
• EDM：ゼロと区別できないペナルティを示す（NFE=100 で -0.003 FID）、統計的にノイズフロア内にある。

C. 学界の混乱の解決

本論文は、先行文献における 2 つの明らかな矛盾を明確にする：

1. DDPM vs DDIM：高 NFE（NFE=200）において確率的 DDPM（$\eta=1$）が決定論的 DDIM を凌駕するという事実は、リヒートによるものではない。著者らは、確率性がデータ多様体上で軌道の多様化に対する直交成分を提供するのに対し、決定論的リヒートは予測されたノイズベクトルに沿った再ノイズ化という純粋に平行な方向で動作することを示した。
2. RePaint：リヒートを使用する RePaint の成功は、既知のピクセルによるステップごとの条件付けアンカーに起因する。これにより軌道が特定のデータポイントに固定される。そのようなアンカーなしの純粋なリヒートは一様に有害である。

4. 理論的貢献：スケジュール感度係数 (SSC)

著者らは、観測されたペナルティの変動を**スケジュール感度係数 (SSC)**として形式化した。

• 定義：$SSC := \lim_{N \to \infty} \frac{[\Delta \text{FID}_{\text{DO}}(N)]_+}{[\Delta \text{FID}_{\text{SR}}(N)]_+}$、ここで $[x]_+ = \max(x, 0)$。
• 理論的基盤：リヒートステップは、ノイズ除去器に汚染された推定値を再処理させる。ベイズ最適ノイズ除去器の場合、この 2 回目のパスは新しい情報を抽出しないため、そのステップはペナルティゼロの無駄な NFE となる。不完全なノイズ除去器の場合、誤差が蓄積する。ペナルティは、リヒートされたノイズレベルにおけるノイズ除去器の局所リプシッツ定数 ($L$) とその誤差 ($\epsilon$) によって制限される。
• 含意：$SSC > 0$ は、訓練されたノイズ除去器が臨界ノイズレベルでベイズ最適ノイズ除去器に収束していないことを示す証拠となる。
• 有用性：SSC は、FID を補完し、ノイズ除去器の内部一貫性を探るための、安価でアーキテクチャに依存しない診断ツールである（256 サンプルの生成実行 2 回のみを必要とする）。

5. 意義と主張

本論文は、拡散サンプリングにおいて単調性が必要かどうかについての最初の体系的な実証的答えを提供すると主張している。

1. 慣習の検証：発見は、この分野が暗黙的に単調スケジュールに依存していることを正当化する。テストされた予算とアーキテクチャにおいて、構造化された非単調拡張は一様に有害である。
2. 新しい診断ツール：SSC の導入は、拡散モデルの品質を調査する新しいプローブを提供する。それは、高品質なモデル（EDM など）がスケジュールの擾乱に対して頑健（SSC $\approx$ 0）であることを明らかにし、低品質または収束が不十分なモデル（テストされた DDPM など）は脆弱（SSC > 0）であることを示す。
3. メカニズムの明確化：この研究は、確率性、条件付け、明示的リヒートの効果を解きほぐし、なぜ特定の確率的または条件付き手法が成功する一方で、純粋な非単調スケジュールが失敗するのかに関する混乱を解消する。

著者らは、有用なサンプリャー設計の探索空間は依然として単調スケジュール内に留まり、リヒートペナルティの変動はノイズ除去器の品質の構造的指標として機能すると結論付けている。