技術的サマリー：拡散モデルの理解には一般化の再考が必要

問題提起

本論文は、拡散モデルにおける一般化の理解が、古典的な統計的学習理論（VC 次元、ラデマハー複雑性など）や、教師あり学習のために開発された「良性過剰適合（benign overfitting）」のパラダイムに依存することはできないと主張している。教師あり学習では、補間（記憶）と一般化は共存し得る。一方、ノイズ除去スコアマッチングを通じて訓練された拡散モデルにおいて、経験リスクの大域的最小値に到達することは、訓練点を中心としたガウス分布の混合である、ノイズを付与された経験測度のスコア関数に相当する。この最小値からのサンプリングは、新規サンプルではなく、訓練データのほぼ正確なコピーを生成する。

実用的な拡散モデルが多様で新規なデータを生成することは、何らかの正則化が完全な記憶を防いでいることを示唆しているが、この現象に対する理論的説明は断片的なままである。既存の文献は、これを (i) データセットサイズに対する容量の限界、(ii) 最適化ダイナミクス（早期停止、学習率など）による暗黙的正則化、(iii) 構造的帰納バイアスという 3 つの異なる要因に帰因させている。本論文は、これらの要因間の相互作用が十分に理解されていないこと、そして分野が「なぜモデルが記憶しないのか」よりも「記憶前の段階でモデルが何を学習しているのか」に焦点を当てすぎてきたと指摘する。

手法

これらのギャップに対処するため、著者らは CIFAR-10 データセット上で訓練された U-Net 構造を用いた実証研究を実施した。本研究は、ガウスデータに関する理論的解析と大規模な実用システムの間を埋める中間規模の調査として設計されている。

実験設定:

• データ: CIFAR-10 訓練セットの最初の $N$ サンプルを使用し、$N$ を $\{2048, 4096, 8192, 16384\}$ の間で変化させる。評価には 5,120 サンプルの固定テストセットを使用する。
• アーキテクチャ: 異なるパラメータ数（$P \in \{3M, 8M, 26M, 93M, 201M\}$）を持つ U-Net。
• 訓練: 250 ステップのサンプリングと、分類器フリーガイダンス強度 0.0 を用いた Rectified flow 定式化。
• ハイパーパラメータ掃引: データセットサイズ（$N$）、モデルサイズ（$P$）、バッチサイズ（$B \in \{16, 32, 64, 128\}$）、学習率（$\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$）の体系的な変化。

指標:
著者らは、訓練セットとテストセットの両方で 4 つの主要な量を追跡する。

1. ノイズ除去スコアマッチング損失: 単一バッチ（訓練）と全セット（テスト）で計算。
2. 記憶スコア: 自己教師あり特徴空間（SSCD）において、訓練データとのコサイン類似度が 0.6 を超える生成サンプルの比率。
3. スライス・ワッサーシュタイン距離: Inception 特徴空間において、生成サンプルと参照分割との間で計算。
4. FID（Fréchet Inception Distance）: 生成サンプルと参照分割との間で計算。

本研究は、テスト損失が訓練損失から乖離し始める点を記憶時間（$\tau_{mem}$）として定義する。また、新規性（記憶の欠如、$\tau < \tau_{mem}$）と忠実度（品質/分布の精度）を区別する。

主要な貢献と結果

1. 非記憶の「なぜ」の再評価

著者らは、記憶への移行が体系的かつ観測可能であることを確認した。彼らは、記憶までの時間（$\tau_{mem}$）がデータセットサイズに対して線形にスケーリングすることを検証した。これは、大規模な実用モデルが記憶しない理由についての問いが、記憶段階に到達するために必要な訓練時間が単に合理的な予算を超えているという点で、概ね解決されたという結論を支持する。著者らは、分野が記憶の「欠如」を説明することから、記憶前の段階を分析することへと軸足を移すべきであると主張する。

2. 標準的指標の限界

重要な発見として、標準的な分布指標（スライス・ワッサーシュタイン距離、FID）は、新規性と忠実度を分離できないことが挙げられる。

• 訓練 - テストギャップ: 教師あり学習とは異なり、分布距離における訓練 - テストギャップは情報に乏しい。訓練セットとテストセットが同じ分布から抽出されているため、モデルが新規画像の生成から訓練データのコピーへと移行する際でも、生成サンプルからいずれのセットまでの距離はほぼ同一のままである。
• ダブルディスセント: 著者らは、訓練セットとテストセットの両方で、分布距離（FID およびスライス・ワッサーシュタイン距離）において「ダブルディスセント」現象を観測した。これは、訓練指標とテスト指標が乖離する古典的なダブルディスセント理論とは対照的である。代わりに、モデルは低い訓練損失を持つが分布の整合性が悪い中間状態に達する。これは、この現象が容量の議論ではなく、純粋に最適化ダイナミクスによって駆動されていることを示唆している。

3. データセットサイズとモデルサイズの明確な役割

本研究は、データセットサイズとモデルサイズが訓練ダイナミクスにおいて対照的な役割を果たすことを明らかにした。

• データセットサイズ: $N$ を増加させることは、記憶の開始を遅らせ、ピーク時の忠実度を向上させる。
• モデルサイズ: $P$ を増加させることは、記憶の開始を加速させるが、ピーク時の忠実度も向上させる。
  これは、拡散モデルにおける一般化が、単にモデル容量とサンプル数の比率によって説明されるものではなく、最適化ダイナミクスによって形成されるパラメータ空間内の軌道が独立した要因であることを示唆している。

4. 最適化ハイパーパラメータと忠実度

著者らは、最適化ハイパーパラメータが記憶が発生する前に忠実度に大きな影響を与えることを発見した。

• バッチサイズ: 小さなバッチサイズは、記憶率や開始時間を大幅に変えることなく、ピーク時の忠実度（最小分布距離）を向上させる。これは「最小安定性（minimum stability）」に関する文献と一致するが、収束時ではなく訓練軌道上で現れる。
• 学習率: 大きな学習率は、ピーク時の忠実度を向上させ、正規化された記憶開始を遅らせる。これは「安定の縁（edge of stability）」仮説を支持するが、これも最終解だけでなく、軌道上で観察される効果である。

意義と位置づけ

本論文は、拡散モデルにおける一般化の理論的枠組みには根本的な転換が必要であると主張している。著者らは以下のように述べる。

1. 「なぜ」は解決済み: 大規模な応用における記憶の欠如は、データセットサイズに対する記憶時間の線形スケーリングと早期停止の組み合わせによって説明される。
2. 「何」が未解決の問い: 主要な理論的課題は、記憶前の段階で何が学習されているかを理解し、新規性と忠実度が最適化、アーキテクチャ、データ幾何学の相互作用からどのように共同して現れるかを理解することである。
3. 新しい枠組みが必要: 損失空間または分布空間における古典的な一般化ギャップは、生成モデルには不十分である。訓練損失（スコアマッチング）はサンプル品質の間接的な代理指標に過ぎず、標準的な指標は一般化するモデルと記憶するモデルを区別できない。

著者らは、将来の研究は、コピー対一般化の区別を捉える指標の開発と、最終的な収束解だけでなくスコアマッチングにおける中間反復の特性を記述する暗黙的正則化の理論の構築に焦点を当てるべきであると結論づけている。