📊 statistics

A Random Matrix Theory Perspective on the Consistency of Diffusion Models

本論文は、ランダム行列理論の枠組みを用いて、重複のないデータ分割間における拡散モデルの一貫性が共通のガウス統計に起因することを実証し、有限のデータセットサイズとスペクトル特性が生成サンプルの期待値および分散をどのように系統的に形成するかを明らかにしている。

原著者： Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな謎：なぜAIアーティストたちの意見は一致するのか？

想像してみてください。あなたは二人の異なるシェフに、全く同じレシピ本を使ってケーキを焼いてもらうよう依頼しました。ただし、二人に渡される材料は、同じ巨大な倉庫から取られたものであっても、重なり合わない別々の小麦粉と砂糖の山です。材料が倉庫の異なる場所から来たため、ケーキの味は少し変わってしまうのではないかと予想するかもしれません。

しかし、現代のAI画像生成器（拡散モデルと呼ばれます）では、奇妙なことが起こります。もし二つの異なるAIモデルに、全く同じ「シード（ランダムな開始ノイズパターン）」を与えた場合、たとえそれらが全く異なるデータセットの半分ずつで学習されていたとしても、生成される画像はほぼ同一に見えるのです。

この論文は問いかけます：なぜこれほど独立したモデル同士が、完璧に一致するのでしょうか？

コアとなる発見：すべては「平均」にある

著者たちは、この一致の理由は驚くほど単純であることを発見しました。AIは複雑ですが、この一貫性に最も重要なデータ部分は、単なる基本的な統計量に過ぎないのです。つまり、平均的な色、平均的な形、そして物事が通常どのように連動して変化するか（例えば、目と鼻が顔のどの位置に配置されるのが普通か、といったこと）です。

これを次のように考えてみてください。もしあなたが二人の人に、写真アルバムに基づいて「典型的な顔」を説明するように頼んだとしたら、二人とも「目は真ん中にあり、その下に鼻がある顔」と答えるでしょう。彼らは特定の個人の小さなほこりや特定の生え際を見落とすかもしれませんが、「平均的な」構造については一致します。この論文は、拡散モデルは主にこの「平均的な」構造を学習しているため、一致するのであると主張しています。

ツール：ランダム行列理論（「数学の望遠鏡」）

これを証明するために、著者たちは**ランダム行列理論（RMT）**と呼ばれる数学の一分野を使用しました。

比喩： たった一粒の雨粒を見て天気を予測しようとするのは不可能です。しかし、同時に降り注ぐ何十億もの雨粒を見れば、パターンが現れます。RMTは、AI内部にある巨大な行列（データの「何十億もの雨粒」）を観察し、ノイズに惑わされることなく基礎となるパターンを見るための、数学的な望遠鏡なのです。

この望遠鏡を用いて、著者たちはAIが無限のデータを持たない場合にどのように振る舞うかを正確に説明する理論を構築しました。

3つの主要な発見（「ゲームのルール」）

論文では、これらのモデルの挙動を3つの主要な概念に分類しています。

1. 「ノイズフィルター」効果（再正規化）

AIが限られたデータセットから学習しようとするとき、AIは少し不安になります。「これは本物のディテールなのか、それとも単なるランテンノイズなのか？」と考え始めるのです。

メタファー： 混雑した部屋の中でささやき声を聞こうとしている場面を想像してください。確信が持てない場合、高音の部分（ディテール）のボリュームを下げ、深い低音（メインの構造）に集中するかもしれません。
結果： AIはディテールを「過剰に縮小」させます。生成される画像を「平均的な顔」に引き寄せ、テクスチャを本来よりも滑らかで詳細度の低いものにします。数学によれば、AIは自分自身の頭の中の「ノイズレベル」を上げることで、膨大なデータを持たない限り、微細で分散の小さいディテールを無視してしまうのです。

2. 「方向性のバイアス」（異方性）

すべてのディテールが等しく学習困難なわけではありません。

メタファー： 起伏のある大きな丘（主要な特徴）と、小さな小石（微細なディテール）がある風景を想像してください。小さな地図を持っているなら、大きな丘を描くことは容易です。しかし、小さな小石はどうでしょう？それを見逃すか、あるいは間違った場所に描いてしまうかもしれません。
結果： AIは「大きな丘」（顔の形のような主要な特徴）については非常に一貫しています。なぜなら、それらはデータの分割に関わらず容易に確認できるからです。一方で、細かいディテール（「小石」）については、限られたデータでは特定が難しいため、意見が分かれやすくなります。論文は、どのディテールが不安定になるかを正確に予測する公式を提供しています。

3. 「場所による影響」（不均質性）

AIは、画像の場所によって混乱の度合いが異なります。

メタファー： 群衆を描いているとき、あなたは前列に立っている人々を描くのは得意です（データが密集している場所）。しかし、端の方に立っている人を描こうとすると、あなたの絵はふらついてしまうかもしれません（データが希薄な場所）。
結果： AIの一貫性は、画像がデータのどこに「位置しているか」に依存します。画像が一般的な特徴の混合である場合、AIは自信を持ちます。もし画像が珍しい特徴の奇妙な組み合わせである場合、異なる学習実行間で出力のばらつきが大きくなります。

「魔法のシード」との繋がり

論文はまた、なぜ特定のランダムシードが他のシードよりも「優れた」あるいは「一貫した」画像を生み出すのかについても説明しています。

比喩： ランダムなノイズシードを「指示書」と考えてみてください。ある指示はAIに「大きな丘（主要な構造）」に集中するように伝え、別の指示は「小石（ノイズ）」に集中するように伝えます。
結果： もしシードが「大きな丘」（主要なデータパターン）と一致していれば、AIは一貫したクリアな画像を生成します。もしシードがAIに「小石」（稀な、ノイズ的な方向）に集中することを強いるものであれば、結果は不安定で一貫性のないものになります。

結論

この論文は、拡散モデルの「魔法」は単なる魔法ではなく、数学であることを結論づけています。

一貫性は自然な現象： 異なるデータの分割であっても、基本的な「平均的」な統計量を共有しているため、モデルは自然と主要な構造において一致します。
不一致は予測可能： モデルが意見を異にする箇所（微細なディテール）はランダムではありません。それは、モデルが持つデータ量や画像の「ノイズの多さ」に基づいた、厳格な数学的ルールに従っています。
ディープラーニング vs 単純な数学： 現代のAIは複雑なニューラルネットワークを使用していますが、一貫性の問題に関しては、しばしば単純な線形数式と同じように振る舞います。複雑なネットワークは少しのエッセンスを加えているだけで、その基盤はこれらの単純な統計的ルールの上に築かれています。

要するに、拡散モデルは、同じぼやけた写真を見ている二人のアーティストのようなものです。彼らは対象物の一般的な形については一致しますが、より鮮明な写真（より多くのデータ）を与えられない限り、細かいディテールについては議論を交わすことになるのです。

技術要約：拡散モデルの整合性に関するランダム行列理論の観点からの考察

問題提起
同一のデータセットから異なる非重複のサブセットを用いて学習された拡散モデルは、異なるアーキテクチャ（例：UNet対DiT）を使用している場合でも、同じノイズシードに対して極めて類似した出力を生成するという、驚くべき「一貫性」を示す。この現象は、潜在空間の回転によって実行ごとの変動性が生じるGANやVAEといった他の生成フレームワークとは対照的である。先行研究ではこの効果が観察されているが、その根底にあるメカニズム、具体的には有限のデータサイズとデータの統計量が、学習されたデノイザーおよびサンプリング写像の安定性をどのように形成しているかについては、理論的に未解明のままである。本論文は、独立したデータ分割間における、学習された写像の期待値と分散を定量化し、「記憶（モデルが訓練サンプルを再現すること）」と「汎化（モデルが普遍的な統計的規則性を捉えること）」を区別することを目的とする。

手法
著者らは、深層ネットワークへの知見を拡張する前に、扱いやすい線形デノイザーの枠組みから開始し、**ランダム行列理論（RMT）**を用いて拡散モデルを分析する。

線形設定と決定論的等価性: コアとなる技術的ツールは**決定論的等価性（DE）**であり、これにより、高次元極限（ $d, n \to \infty$ かつ $d/n = \gamma$ ）において、ランダムな経験共分散行列（ $\hat{\Sigma}$ ）を決定論的な代用物で置き換えることが可能になる。
- 著者らは、生のノイズ分散 $\sigma^2$ を母集団共分散 $\Sigma$ における $\kappa(\sigma^2)$ という繰り込みられたノイズスケールに置き換えるための、自己整合方程式を導出している。この関係は、Silverstein方程式によって制御される：
  $\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$
- この枠組みは、完全なサンプリング・トラジェトリ（ウィーナーフィルター）に必要な分数行列冪（具体的には $\Sigma^{1/2}$ ）へと拡張されており、積分表現（Balakrishnanの公式）および二点決定論的等価性アイデンティティを用いている。
理論的導出:
- 期待値: 理論は、有限のデータが学習されたデノイザーを実質的に高いノイズレベル（ $\sigma^2 \to \kappa(\sigma^2)$ ）で動作させ、低分散方向への「オーバーシュリンケージ（過剰な収縮）」を引き起こすことを予測する。
- ゆらぎ（分散）: データ分割間におけるデノイザーの分散は、以下の3つの要素に分解されることが示されている：
  - 異方性（Anisotropy）: 不確実性は、母集団の固有値 $\lambda_k$ が繰り込まれたノイズ $\kappa(\sigma^2)$ と一致する固有モードにおいて最大化される。
  - 不均質性（Inhomogeneity）: 不確実性は、高分散方向へ変位した入力点において増幅される。
  - グローバル・スケーリング: 全体的な分散は、データサイズ $n$ に対して反比例し、より小さい $n$ における繰り込み効果によって修正される。
実証的検証: 理論的予測は、様々なデータセット（FFHQ, AFHQ, CIFAR, LSUN）および様々なデータサイズ（ $n \in \{300, 1000, \dots, 30000\}$ ）で学習された深層拡散モデル（UNetおよびDiT）に対して検証されている。本研究は、記憶レジーム（小さな $n$ で、モデルが訓練データを再現する状態）と、繰り込み／汎化レジーム（大きな $n$ で、モデルが線形ガウス予測器と一致する状態）を区別している。

主な貢献

一貫性の線形的起源: 共通のガウス統計量（平均と共分散）がデータ分割間で共有されていることが、分割間の合意を予測するのに十分であることを示し、線形デノイザーがすでに高い一貫性を示す理由を説明した。
有限サンプルによる繰り込み: 有限のデータセットがいかにしてノイズスケールを $\sigma^2 \to \kappa(\sigma^2)$ へと繰り込ませるかを定式化し、低分散モードの系統的なオーバーシュリンケージと、平均への引き寄せを説明した。
分散則: 分割間の不一致に関する分解可能な分散公式を導出し、異方性（固有値の分散への依存）、不均質性（入力位置への依存）、およびグローバル・スケーリング（ $n$ への依存）という3つの支配要因を特定した。
分数冪の等価性: 決定論的等価性のツールを分数行列冪へと拡張し、単一ステップのデノイジングだけでなく、全サンプリング・トラジェトリの閉形式の予測を可能にした。
深層ネットワークによる検証: 深層UNetおよびDiTモデルの非記憶レジームにおいて、これらの線形RMT原理が定性的に支配していることを確認し、どこで、どのようにサンプルが分割間で逸脱するかを予測した。

結果

一貫性のメカニズム: 実験は、互いに素な分割で学習された拡散モデルが、同じノイズシードから視覚的に類似した画像を生成することを示している。この類似性は、分割の経験的モーメントを用いた線形ガウス予測器（ウィーナーフィルター）によって捉えられる。
オーバーシュリンケージ: 汎化レジームにおいて、生成されたサンプルは、母集団分布と比較して低〜中程度の固有モードにおける分散が減少しており、実質的に平均に向かって「オーバーシュリンク」している。このバイアスは、 $n$ が増加し、経験的スペクトルが母集団スペクトルに収束するにつれて消失する。
異方性と不均質性:
- スペクトル的側面: 異なる分割で学習されたモデル間の不一致は、固有値 $\lambda_k \approx \kappa(\sigma^2)$ となる固有モードにおいて最も高い。低次固有モード（微細なディテール）は、高次固有モード（全体構造）と比較して、一貫性を達成するためにより大規模なデータセットを必要とする。
- 空間的側面: データの多様体上の高分散方向に強く投影されるノイズシードから生成されたサンプルは、より大きな分割間の偏差を示す。
深層ネットワークの整合性: 深層ネットワークのサンプル（ $n \ge 3000$ の FFHQ64）は、非記憶レジームにおいて線形予測器へと収束する。RMTの予測する空間的不均質性（どのシードがより大きな偏差を生むか）は、深層ネットワーク（例： $n=30k$ の FFHQ64 におけるUNet）の経験的な分割間MSEと有意に相関している（例：Spearman $r \approx 0.33$ ）。
反事実的検証: 平均または共分散が一致しないように訓練データを意図的に分割した場合（例：主成分による層化）、一貫性の効果は崩壊する。これは、共有されたガウス統計量が駆動力であることを裏付けている。

意義
本論文は、拡散モデルの訓練における再現性のための原理的な基準を提供する。データのスペクトル特性と生成出力の安定性を結びつけることで、拡散モデルの驚異的な一貫性が、複雑なアーキテクチャの帰納バイアスのみによるものではなく、データ分割間で共有される基礎的なガウス統計量の安定性に由来することを明らかにしている。本研究は、拡散モデルの「創造性」や汎化能力がこれらの線形統計的規則性によって制約されていることを示唆しており、なぜ独立して訓練されたモデルが同じノイズシードを同様の構造へとマッピングすることが多いのかについて、理論的な説明を与えている。この枠組みは、真の汎化と記憶を区別するための助けとなり、データセットのサイズとデータのスペクトルに基づいて、生成サンプルの信頼性を予測するためのツールを提供する。