技術的サマリー：拡散モデル訓練における表現劣化問題の解明

1. 問題定義：表現劣化

拡散モデルの顕著な成功にもかかわらず、その訓練は著しい最適化のボトルネック、すなわち著者が**「表現劣化（Representation Degradation）」と名付けた問題**により非効率なままです。経験的分析により、前方拡散過程においてノイズレベルが増加するにつれて、訓練済みモデルの出力は構造的歪みを漸進的に示し、最終的に意味のあるセマンティック構造の崩壊に至ることが明らかになりました。

著者らは、この不安定性が単なるアーキテクチャの限界ではなく、**不一致な目標復元可能性（mismatched target recoverability）**に駆動された内在的な最適化問題であると特定しました。高ノイズ領域では、汚染された入力から情報構造が失われ、局所的なニューラル接線カーネル（NTK）スペクトルが弱まり、セマンティックに意味のある方向における学習可能性が低下します。その結果、標準的な訓練は、目標が弱くしか復元できない領域に多大な最適化努力を割くことになります。この不一致により、モデルは学習可能な信号ではなく、不可避なベイズノイズ（「ベイズフロア」）に支配され、学習された表現においてスペクトルの劣化と実質的な低ランク挙動が生じます。

2. 手法：解明された表現拡散（ERD）

このボトルネックに対処するため、著者らは外部の教師信号やアーキテクチャの変更を必要とせず、**実効的な復元可能性（effective recoverability）に基づいて最適化努力を動的に再配分するプラグアンドプレイ型の訓練フレームワーク「解明された表現拡散（Elucidated Representation Diffusion: ERD）」**を提案します。

理論的基盤

この分析は、拡散訓練を連続時間・ノイズ条件付き回帰過程として扱う**ニューラル接線カーネル（NTK）**領域に基づいています。著者らは、任意のノイズレベル $\lambda$ における最適化ダイナミクスが以下の 3 つの要因によって支配されることを導き出しました：

1. 最適化努力の配分： ノイズレベル全体にわたって損失がどのように重み付けされるか。
2. 局所カーネル幾何学： 汚染された入力によって誘発されるもの。
3. 目標復元可能性： 目標信号がノイズ混入入力からどの程度復元可能か。

彼らは、復元可能な信号が不可避なベイズノイズに対して小さい場合、勾配更新がノイズ汚染によって支配されることを形式化しました。この「ベイズノイズ強制」は過剰誤差の収縮を妨げ、学習された表現を劣化させます。

ERD フレームワーク

ERD は、各ノイズレベルにおける復元可能信号の実効振幅から導き出される目標適応的重み付け規則を導入します。

• 実効目標の定義： 一般化された目標 $y_\lambda = c_x(\lambda)x_0 + c_\epsilon(\lambda)\epsilon$ に対して、著者らは汚染された入力におけるそれぞれの振幅（$\alpha(\lambda)$ および $\sigma(\lambda)$）によってソース成分（$x_0$ および $\epsilon$）をスケーリングする実効目標 $\tilde{y}_\lambda$ を定義します。
• 復元可能性スコア： 復元可能性スコア $\omega_y(\lambda)$ は、この実効目標の期待ルート平均二乗（RMS）振幅として定義されます：
  $$\omega_y(\lambda) = \sqrt{(c_x(\lambda)\alpha(\lambda))^2 + (c_\epsilon(\lambda)\sigma(\lambda))^2}$$
• 重み付け戦略： 損失重み $w(\lambda)$ は $\omega_y(\lambda)$ に比例するように設定されます。この戦略は、復元可能な信号が強いノイズレベルを強調し、目標が不可避なノイズに支配される領域の重みを下げることで、最適化努力と学習可能性の間の不一致を緩和します。

3. 主要な貢献

1. 表現劣化の特定： 本論文は、標準的な拡散訓練が、最適化努力が目標復元可能性と整合しない場合にセマンティックに意味のある構造を保持できないため、高ノイズレベルにおいて構造的歪みと崩壊を被ることを経験的かつ理論的に特定しました。
2. NTK を通じた最適化分析： 著者らは、最適化配分、局所カーネル幾何学、および目標復元可能性の相互作用が、高ノイズ領域においてスペクトル劣化と実質的な低ランク崩壊を誘発することを示す NTK ベースのフレームワークを開発しました。また、ベイズノイズ強制が残余誤差をどのように制御するかを示す非漸近境界を提供しました。
3. ERD フレームワーク： 彼らは、復元可能信号から目標適応的重み付け規則を導き出すアーキテクチャ非依存の訓練手法を提案しました。このアプローチは、外部の事前知識（例：事前訓練されたアライメントネットワーク）や補助的な目的関数に依存することなく、最適化の安定性を向上させ、収束を加速します。

4. 実験結果

著者らは、ImageNet（256×256）および CelebA（64×64）において、DiT、U-ViT、UNet などのさまざまなバックボーンと、異なる予測目標（$\epsilon_\theta$、$x_\theta$、$v_\theta$、$u_\theta$）を用いて ERD を評価しました。

• 性能向上： ERD は、すべてのモデルスケールおよびアーキテクチャにおいて、ベースラインおよび既存の重み付け戦略（Min-SNR や P2 など）を一貫して上回りました。
  • ImageNet 256×256 において DiT-XL/2（6 億 7500 万パラメータ）を使用した場合、ERD は CFG なしで FID 15.0 を達成し、ベースラインの SiT-XL/2（17.2）および DiT-XL/2（19.5）を改善しました。
  • クラスターフリーガイダンス（CFG）を用いた場合、U-ViT-H/2 モデルは FID 1.45 を達成し、REPA（1.42）などの最先端手法との差を大幅に縮小し、Min-SNR（1.57）を上回りました。
• アブレーション研究： 実験により、ERD が予測目標やネットワークアーキテクチャ（UNet 対 Transformer）に関わらず一貫した改善をもたらすことが確認されました。
• トイ実験： 2 次元ガウス混合モデル（GMM）を用いた制御実験により、「表現劣化」現象が可視化されました。その結果、高ノイズ領域においてグローバル共有パラメータモデルは勾配汚染とスペクトル崩壊に苦しむことが示され、最適化が分離または再重み付けされた場合にこれが緩和されることが確認されました。

5. 意義と主張

本論文は、表現劣化がアーキテクチャの限界とは区別される、標準的な拡散訓練における根本的かつ内在的なボトルネックであると主張しています。ヒューリスティックなノイズレベル配分から目標復元可能性へと焦点を移すことで、ERD は訓練非効率の根本原因、すなわち不可避なノイズへの最適化質量の誤配分に対処します。

この研究の意義は以下の点にあります：

• 理論的洞察： 拡散最適化と NTK ダイナミクスの間のギャップを埋め、極端なノイズ訓練がなぜ劣化した表現（スペクトルの弱化とベイズノイズ支配）をもたらすかを説明します。
• 実用的効率： 外部アライメントネットワークや複雑な潜在モデルの計算オーバーヘッドなしに、多様なバックボーンおよびタスクにおいて収束を加速し、生成品質を向上させるシンプルでプラグアンドプレイ型の重み付け規則を提供します。
• 普遍性： この手法は、異なる拡散パラメータ化（ノイズ、データ、速度、フローマッチング）およびアーキテクチャ全体で有効であることが示されており、拡散過程に内在する最適化不安定性に対する統一された解決策を示唆しています。

著者らは限界について謙虚に留まり、彼らの分析が連続時間最適化と NTK 領域の仮定に依存しており、有限幅および高度に非線形なダイナミクスを完全に捉えきれていない可能性があると指摘しています。さらに、ERD は正確な事後復元可能信号を推定するのではなく、復元可能性の扱いやすい代理として実効振幅スコアを使用しています。