技術要約：拡散モデルにおけるクラス分化のエントロピー・シグネチャー

問題提起

拡散モデルは生成フレームワークの最先端として地位を確立しているが、逆時間デノイジング過程において意味構造の創発を制御するメカニズムは、依然として部分的にしか理解されていない。統計物理学における最近の理論的研究では、「分化（speciation）」を、意味的な曖昧さからクラスへのコミットメントへの鋭い転移（多くの場合、クラス分離方向への対称性の破れとして記述される）として特定しているが、学習済みモデルにおけるこれらの転移ウィンドウを検出し、活用するための操作的なツールが不足している。既存の理論は、実用的な拡散モデルにおいて、サンプリング・トラジェクトリに沿って意味的コミットメントを追跡するために直接推定可能な量を提供していない。また、分類器フリー・ガイダンス（classifier-free guidance）は生成を制御するために広く用いられているが、それが意味情報を効果的に再分配する具体的な時間領域については、十分に特徴付けられていない。

手法

著者らは、ノイズを含んだ状態 $X_t$ が与えられたときのクラス条件付きエントロピーを、これらの転移レジームの信頼できるシグネチャーとして追跡することを提案する。この手法は、理論的導出、漸近解析、および実証的検証を通じて進行する：

1. 理論的定式化:

   • 論文では、潜在的な意味変数（例：クラスラベル）のクラス条件付きエントロピー $H(Z|X_t)$ を定義する。ここで $Z$ は潜在的な意味変数、$X_t$ は時刻 $t$ におけるノイズを含んだ状態である。
   • 著者らは、エントロピー生成（時間微分 $\partial_t H(Z|X_t)$）の厳密な式を導出する。この量は、事後クラス確率のペアワイズな競合と、スコア場（対数密度の勾配）の分離の両方に依存することが示される。
   • 具体的には、エントロピー生成は以下の2つの条件が同時に満たされる場合にのみ、無視できない値となる：(1) 事後分布の競合が活性化している（クラスがまだ完全に分離していない）、および (2) スコア場が依然として明確である。

2. 漸近解析:

   • このメカニズムは、まず等方性ガウス混合モデルに対して明示化される。著者らは、事後分布の競合とスコアの分離の両方を制御するペアワイズな制御パラメータ $\lambda_{ik}(t)$ を定義する。
   • 彼らは3つのレジームを特定している：
     • $\lambda \gg 1$：競合するクラスに対する事後分布の質量が指数関数的に抑制されており、エントロピー生成は無視できる。
     • $\lambda \ll 1$：スコア場が崩壊しており、エントロピー生成は消失する。
     • $\lambda = O(1)$：「分化ウィンドウ」であり、スコアの分離が維持されつつも、事後分布の競合が非自明となる領域である。
   • 解析は、**分散保存型（VP）と分散爆発型（VE/EDM）**のフォワード・カーネルを区別する。VPの場合、転移は分化時刻 $t_s \sim \frac{1}{2}\log d$ の周囲の $O(1)$ ウィンドウへと鋭敏化する。VE-EDMの場合、転移は物理的時間軸上でより広いウィンドウ（$O(\sqrt{d})$）にわたって拡散する。
   • このフレームワークは、Achilliら（2026）に従い、「純粋密度分解（Pure Density Decompositions）」を利用して、クラス条件付き対数尤度が自己平均化される一般的なクラス構造へと拡張される。ここで、分化は決定論的な自由エントロピー・ギャップがサンプル依存のゆらぎと同程度になったときに発生する。

3. 分割エントロピー:

   • 異なる抽象レベルでの意味的決定を解明するために、著者らは分割されたクラス条件付きエントロピーを導入する。クラス空間にバイナリ分割（例：特定のクラスとその補集合の分離、あるいは特定の属性によるクラスのグループ化）を課すことで、エントロピーは全般的な集計値ではなく、特定の意味的区別に対するプローブ（探針）となる。

4. 学習済みモデルにおける推定:

   • 学習済みモデルでは事後分布が閉形式で得られないため、著者らはフォワード過程のマルコフ構造を利用した反復手順を採用する。彼らは、デノイジング・トラジェクトリに沿った、条件付き（または参照用）デノイザーと無条件デノイザーの間の対数尤度比を累積することにより、分割されたエントロピーを推定する。
   • クラス不均衡（特に実質的に無限のクラスを持つテキスト・トゥ・イメージ・モデル）に対処するため、バイナリ分割に対して事前分布を0.5に調整し、実質的にイェンセン・シャノン多様度（Jensen-Shannon Divergence）の分離度尺度として利用する。

主な貢献

1. 分化の操作的マーカー： 本論文は、クラス条件付きエントロピー生成が高次元ガウス混合および一般的なクラス構造の両方において、分化の操作的なマーカーとして機能することを理論的に示している。
2. 実用的な推定： 著者らは、この信号が学習済み拡散モデル（具体的にはEDM2-XSおよびStable Diffusion 1.5）において推定可能であることを示し、特定の意味要素の出現を分離することを可能にした。
3. ガイダンス効果の定量化： このフレームワークを用いて、分類器フリー・ガイダンスがどのように意味情報を時間の経過とともに再分配するかを定量化し、ガイダンスがどのように分化を加速させるか、あるいはノイズ・レジームに応じて特徴の洗練にどのように影響するかを明らかにした。

実験結果

著者らは、EDM2-XS（ImageNet-512で学習）およびStable Diffusion 1.5（LAION-5Bで学習）を用いて理論を検証した。

• クラス固有の特徴出現： EDM2-XSにおいて、エントロピー生成は中間的な拡散段階に限定されていることが判明した。異なるクラスは、それぞれ異なるノイズスケールにおける分化ウィンドウを示す。例えば、「タイガーシャーク（tiger shark）」は高いノイズレベル（粗い、低次の統計量）でピークを示したが、「ペイントブラシ（paintbrush）」は低いノイズレベル（細粒度の構造）でピークを示した。
• ガイダンスの影響：
  • FDDINOv2-最適区間内でガイダンスを適用すると、エントロピー生成がより高いノイズレベルへとシフトし、より低いレベルでの生成が抑制され、ほとんどのクラスにおいて全体的な分化が加速された。
  • FID-最適区間（エントロピー生成がすでに大部分消失している領域）内でガイダンスを適用すると、主にクラス内の分化または特徴の洗練に影響を与えた。
  • 全トラジェトリにわたってガイダンスを適用すると、エントロピー生成の顕著な高ノイズ段階へのシフトが生じた。これは、鋭い意味的転移というよりも、粗い構造の段階的なデノイジングと一致している。
• テキスト条件付きモデル（Stable Diffusion 1.5）： プロンプトのバリエーション（例：「A wooden chair」対「A wooden chair with blue walls」）を用いた分割エントロピーを用いることで、低周波の決定（グローバルな色）は高ノイズレベルで急速なエントロピー減衰を示す一方で、高周波の属性（猫の存在）は、より後の段階で緩やかなエントロピー崩壊を示すことを示した。これは、粗い特徴のセマンティックなコミットメントがデノイジング過程のより早い段階で行われるという観察と一致している。

意義と主張

本論文は、拡散モデルに関する情報理論的および統計物理学的な視点を結びつけることを主張している。クラス条件付きエントロピー生成を対称性の破れのシグネチャーとして特定することで、著者らは、生成モデルにおける局所的な時間制御のための原理的な基礎を提供している。

本研究は、拡散モデルのすべての病理を解決しようとするものではなく、診断ツールを提供することを目的としている。それは、ガイダンスの有効性が時間依存的であり、異なる意味的属性が異なるノイズスケールで解決されることを示唆している。著者らは、本手法が、理論的予測（BiroliらやAchilliらのもの）と一致する、直接的かつ操作的な分化のシグネチャーを提供することを強調している。

著者らが指摘する限界事項：

• 推定は局所的な尤度増分のキャリブレーションに依存しており、系統的な予測誤差がエントロピー・プロファイルをバイアスさせる可能性がある。
• テキスト条件付きモデルにおいて、微細な詳細を生成する能力は、特定の意味的属性をプロービングする精度を制限する可能性がある。なぜなら、プロンプトの変更が意図したよりも大きな分布シフトを引き起こす可能性があるためである。
• 無条件モデルをクラスの補集合のプロキシ（代理）として用いる近似は、特定の環境においてバイアスを生じさせる可能性がある。

著者らは、これらの結果が「ガイダンスを伴う生成モデルの、時間局所的な分析のための原理的な診断ツール」を提供すると結論付けている。