技術的概要：拡散モデル、ノイズ除去器アーキテクチャと創造性

問題定義

拡散モデルの「創造性」、すなわち学習データから逸脱した極めて現実的な画像を生成する能力は、理論的なパラドックスを呈している。あるデータセットに対してベイズ最適ノイズ除去器を利用する拡散モデルは、単に学習サンプルを記憶・複製し、生成分布を学習セット上の均一分布に収束させることが確立されている。最近の文献では、モデルがこの記憶化からどう逃れるかについて対立する説明（局所的なネットワーク特性に起因するか、あるいは背後にあるデータ統計に起因するか）が提示されているが、本論文はどちらの視点も単独では不十分であると主張する。ここで扱われる中心的な問題は、ノイズ除去器アーキテクチャの特定の帰納的バイアスが、ターゲットとなるデータ統計とどのように相互作用して最終的な生成分布を決定するかという、統合的な理解の欠如である。

手法

著者は、ノイズ除去器アーキテクチャと結果として生じる生成分布（$P_{generated}$）との関係を分析するために、理論的導出と実証的検証を組み合わせた二重アプローチを採用している。

理論的枠組み

この分析はスコアマッチング定理に基づいており、ノイズ除去器$S_\theta$が期待二乗誤差$E(\|S(y) - x\|^2)$を最小化する場合、それはデータ分布のスコア関数に収束し、拡散モデルがターゲット分布$P_{target}$からサンプリング可能になることを示している。しかし、著者はアーキテクチャが制限され、真のスコア関数を完全に一致させることができない場合に何が起こるかを調査する。

著者は、3 つの異なるアーキテクチャクラスに対して、$P_{generated}$を$P_{target}$の関数として明示的な形式を導出した：

1. 線形ノイズ除去器：生成分布がターゲットデータの平均と共分散によって定義されるガウス分布であることを示すために分析された。
2. 多項式ノイズ除去器：要素ごとの$k$乗活性化関数を持つ線形層として定義される。著者は、生成分布がターゲットの最初の$2d$モーメントに依存する対数多項式分布であることを導出した（ここで$d$は多項式の次数である）。
3. ボトルネックノイズ除去器：制限された中間次元$h$を持つネットワークとして定義される。著者は、入力次元に関わらず、そのようなモデルからのサンプルが$h$次元多様体上に存在することを証明した。

実証的検証

これらの理論的主張を検証するために、著者は 2 種類のデータセットで拡散モデルを訓練した：

• 2 次元合成データ：制御された条件下で、線形、多項式、ボトルネックアーキテクチャの数学的性質を可視化するために使用された。
• CelebA サブセット：現実的な設定におけるアーキテクチャの影響を実証するために、1,000 枚の顔画像の小さなサブセットが使用された。重要なのは、すべての実験において完全に同一のデータセットと完全に同一の初期ノイズ（ランダムシード）が使用され、アーキテクチャのバリエーションの影響を孤立させた点である。

著者は、以下のアーキテクチャハイパーパラメータを体系的に変化させた：

• プーリング層の数（受容野の変更）。
• チャンネル数（容量の変更）。
• パディングの種類（循環パディング対ゼロパディング）。
• 線形および MLP ネットワークにおけるボトルネック次元（$h$）。
• 多項式の次数（$k$）。

主要な結果

1. アーキテクチャが分布を決定する

実験は、同一のデータで訓練された場合でも、わずかなアーキテクチャの変更が劇的に異なる生成分布をもたらすことを示している。

• 受容野の変化：U-Net アーキテクチャにおけるプーリング層の数を変更すると、出力が正確な記憶化（受容野が大きすぎる）から、高度に歪んだ出力（受容野が小さすぎる）へとシフトした。
• 線形ノイズ除去器：同じ平均と共分散を持つが、異なる基礎構造（例えば、異なるガウス混合モデル）を持つデータセットで訓練された場合、線形ノイズ除去器は同一の生成分布を生成し、それらが最初の 2 つのモーメントのみを捉えていることを確認した。
• ボトルネック制約：線形および MLP アーキテクチャにおいて、ボトルネック次元$h$を減少させることは、生成データをより低ランクの多様体上に強制した。
  • $h=1000$（データセットサイズに一致）は厳密な記憶化をもたらした。
  • $h=500$および$h=100$は、新規性はあるが微細な詳細を失い、低次元多様体上に位置する「創造的」な出力をもたらした。
• 多項式の次数：高次の多項式ノイズ除去器はより複雑なモード（例えば、二峰性データ）を捉えることができたが、次数が不十分な場合、ターゲット分布を完全に再構成することはできなかった。興味深いことに、高次の多項式は、記憶されたサンプルと新規の画像の両方を生成する二重の挙動を示した。

2. 局所性が唯一の駆動力ではない

局所処理（小さな受容野）が創造性の主要な駆動力であるという仮説とは対照的に、著者は、同じ受容野を持つアーキテクチャでも、チャネル容量やパディングなどの他の構造的選択に基づいて、記憶化対ぼやけなど、全く異なる結果を生み出すことを示している。

主要な貢献

1. 理論的特徴付け：本論文は、線形、多項式、ボトルネックアーキテクチャに対する生成分布$P_{generated}$の明示的な数学的形式を提供し、アーキテクチャが本質的に特定の分布形状を強制することを証明している。
2. 感度の実証的示現：CelebA 上での制御された実験を通じて、著者は、小さなアーキテクチャのバリエーション（例えば、パディングの種類、プーリング数）が、モデルを完全な記憶化から非現実的な生成へ、あるいは特定の種類の「創造性」へとシフトさせることができることを示している。
3. 創造性の再定義：この研究は、創造性はデータ統計や局所性単独の創発的性質ではなく、ノイズ除去器アーキテクチャの帰納的バイアスと真のターゲット分布との間の整合性（または不一致）の結果であると提唱している。

意義と主張

本論文は、拡散モデルが成功するためには、ノイズ除去器アーキテクチャの帰納的バイアスが真のターゲット分布と強く整合している必要があると主張している。

著者は、拡散モデルにおける「創造性」とは、本質的に、特定のターゲット分布に対するベイズ最適ノイズ除去器をアーキテクチャが完全に一致させることができない結果であり、モデルをアーキテクチャの制約によって規定される多様体または分布形状上にサンプルを生成させるものであると論じている。これは、創造性が局所処理やデータ多様性のみに依存するという見方を challenge し、代わりにアーキテクチャ設計の選択が生成出力の本質を根本的に決定することを示唆している。

本論文はその範囲について控えめであり、数学的分析は単純化された理論モデルに限定され、実証結果は 1,000 枚の画像という小さなデータセットに基づいていることを認めている。これは高忠実度な画像生成の示現を制限するが、アーキテクチャの影響という特定の現象を効果的に孤立させている。