CoReDi: 画像生成と意味表現の共進化（Coevolving Representations in Joint Image-Feature Diffusion）の技術的サマリー

本論文は、拡散モデル（Diffusion Models）における「画像生成」と「高次元の意味的特徴（Semantic Features）」の結合学習において、従来の固定された表現空間に代わり、表現空間そのものが生成タスクに合わせて適応的に進化（共進化）するフレームワーク「CoReDi（Coevolving Representation Diffusion）を提案したものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

近年、拡散モデルは高品質な画像合成のデファクトスタンダードとなっています。既存の手法では、低レベルの画像統計を捉えるために VAE（Variational Autoencoder）の潜在空間やピクセル空間を使用し、高レベルのセマンティックな構造を捉えるために事前学習済みの視覚エンコーダ（DINOv2 など）から抽出された特徴を組み合わせています。

しかし、既存の「結合拡散モデル（Joint Image-Feature Diffusion）」には以下の根本的な課題がありました：

• 固定された表現空間: 事前学習済みの視覚特徴を拡散モデルに組み込む際、PCA などの固定された線形投影や軽量なオートエンコーダを使用して次元削減を行いますが、この「投影空間」は生成目的とは独立して定義され、トレーニング中に固定されたままです。
• 最適化の欠如: 表現空間自体が画像合成のタスクに合わせて最適化されていないため、生成モデルがその空間を最大限に活用できていない可能性があります。
• 問い: 「拡散を導く表現空間は固定されるべきか、それとも生成モデルと共進化させるべきか？」

2. 提案手法：CoReDi

CoReDi は、事前学習済みの視覚エンコーダからの出力を、拡散モデルと同時に学習可能な軽量な線形投影（Learnable Projection）を介して低次元空間にマッピングするフレームワークです。

2.1 基本的な構成

• 入力: 凍結された事前学習視覚エンコーダ（VE）から抽出された特徴 $z_0$。
• 学習可能な投影: 固定された PCA ではなく、パラメータ $\phi$ を持つ学習可能な線形層 $g_\phi(\cdot)$ を使用し、$\tilde{z}_0 = g_\phi(z_0)$ とします。
• 共進化: 拡散モデルのパラメータ $\theta$ と投影パラメータ $\phi$ を、画像生成と表現の両方の復元タスクに対して同時に最適化します。

2.2 安定した共進化のための 3 つの必須要素

単純に投影層を最適化すると、損失関数を最小化するために表現が崩壊（Degenerate Solution）する問題が発生します。これを防ぐために、以下の 3 つの技術が不可欠であることが示されました。

1. **Stop-Gradient **(SG)

   • 表現の拡散損失（$\mathcal{L}_{rep}$）を計算する際、ターゲットとなるクリーンな表現 $\tilde{z}_0$ に対して勾配を遮断（Stop-Gradient）します。
   • 理由: 投影とターゲットの両方が学習可能だと、モデルは表現を単純に変化させて損失を減らす「自明な解」に陥ります。SG を適用することで、拡散モデルが表現のノイズ除去を学習しつつ、表現空間自体が生成タスクに適応するよう促します。

2. **バッチ正規化 **(Batch Normalization, BN)

   • 学習可能な投影の直後にバッチ正規化を適用します（可学習なアフィン変換は使用せず、スケール制御のみ）。
   • 理由: 拡散モデルは入力スケールに敏感です。投影後の特徴の統計量が不安定だとノイズスケジューリングが歪み、学習が不安定になります。また、サンプルの崩壊（Sample Collapse）を防ぐ暗黙的な正則化としても機能します。

3. **明示的な正則化 **(Explicit Regularization)

   • 特徴の崩壊（Feature Collapse）を防ぐための明示的な正則化項を導入します。
   • 問題: SG と BN だけでは、複数のチャネルが冗長な情報をEncodeしたり、意味のある変動を捉えられなかったりする「特徴崩壊」が観察されました。
   • 対策:
     • **特徴分散正則化 **(Feature Variance Reg) 各チャネルが十分な分散を持つように罰則を与える（VICReg のバッチ次元ではなく、チャネル次元での分散を重視）。
     • **直交性正則化 **(Orthogonality Reg) 投影行列の列が直交するように制約し、特徴の冗長性を排除。
     • **共分散正則化 **(Covariance Reg) 特徴チャネル間の共分散をゼロに近づけ、情報の重複を防止。
   • 実験では、特徴分散正則化が最も効果的でした。

2.3 拡張：ピクセル空間への適用

VAE 潜在空間だけでなく、DeCo などのピクセル空間拡散モデルにも CoReDi を適用可能です。VAE の再構成ボトルネックを回避しつつ、高レベルのセマンティック構造をピクセル生成に直接統合することで、より高忠実度な生成を実現します。

3. 主要な貢献

1. CoReDi フレームワークの提案: 画像と意味表現を結合する際、表現空間自体が生成モデルと共進化するように設計された新しいアプローチ。
2. 安定した学習の要件の特定: Stop-Gradient、バッチ正規化、明示的な正則化の 3 つが、特徴崩壊を防ぎ安定した共進化に不可欠であることを体系的に分析・実証。
3. 空間構造の発展: 学習過程を通じて、共進化する表現空間が固定された PCA 投影よりも構造的に整然とした空間的組織（Spatial Organization）を自然に獲得することを示した。
4. 広範な有効性の証明: VAE 潜在空間拡散とピクセル空間拡散の両方で、固定表現ベースの手法（ReDi, REPA など）を上回る性能と収束速度を達成。

4. 実験結果

ImageNet 256x256 での評価（FID 指標）

• **潜在空間拡散 **(Latent Diffusion)

  • CoReDi-XL/2 は、ReDi-XL/2 と同等の FID 3.3 を達成しましたが、必要なトレーニングステップ数は半分（2M vs 4M）で済みました。
  • SiT-XL/2 ベースライン（FID 8.3）や REPA-XL/2（FID 5.9）を大きく上回ります。
  • 異なる視覚エンコーダ（DINOv2, MOCOv3, SigLIPv2, MAE）を使用しても、CoReDi は固定 PCA 投影（ReDi）よりも一貫して性能を向上させました。

• **ピクセル空間拡散 **(Pixel Diffusion)

  • DeCo-L/16 ベースのモデルにおいて、CoReDi は 100K ステップで 200K ステップの DeCo と同等の性能（FID 31.5）を達成し、収束速度が約 2 倍になりました。
  • 200K ステップでは FID 21.5 まで改善し、ベースラインを大幅に凌駕しました。

• 空間構造の分析:

  • 学習が進むにつれ、LDS（局所対比）、CDS（空間的減衰）、RMSC（空間的多様性）の指標が改善し、表現空間が画像合成に有利な空間的構造を獲得していくことが確認されました。

5. 意義と結論

CoReDi は、生成モデルにおける「表現空間」を単なる静的な入力として扱うのではなく、生成タスクの目的に合わせて動的に最適化される学習可能なコンポーネントとして再定義しました。

• 理論的意義: 事前学習済み特徴と生成モデルの結合において、表現空間の適応性が生成品質と収束速度を劇的に向上させることを実証しました。
• 実用的意義: VAE 依存のボトルネックを回避し、ピクセル空間でも有効であるため、高品質な画像生成の新しい標準となり得ます。
• 今後の展望: 本論文は、適応的な表現空間を生成モデルの性能向上ツールとして活用するさらなる研究を促すものです。

要約すると、CoReDi は「固定された地図」ではなく「目的地に合わせて描き変わる地図」を学習させることで、拡散モデルの画像生成能力を飛躍的に高めた画期的な手法です。