技術要約：自己教師あり学習の原理による拡散モデルの表現空間の評価

1. 問題提起

拡散モデルは、最先端の生成システムとして、また近年では強力な自己教師あり表現学習器としても地位を確立している。しかし、その生成能力と表現学習特性との間の理論的および実用的なつながりは、未だ十分に解明されていない。データの拡張に対して不変性を最適化するように明示的に設計された従来の自己教師あり学習（SSL）手法とは異なり、拡散モデルは、ガウスノイズによって汚染された入力からクリーンな信号を復元するというデノイジング目的によって学習される。

この相違は、根本的な問いを投げかける。拡散表現は、SSLが求める「優れた」表現の幾何学的特性（不変性や拡張性など）を、どの程度暗黙的に捉えているのだろうか。さらに、これらの特性は、異なるノイズレベルや、モデルが汎化から記憶へと移行する学習ダイナミクスを通じて、どのように進化するのだろうか。FID（Fréchet Inception Distance）のような現在の評価指標は、初期の記憶（memorization）を検出したり、学習中にラベルなしの固有信号を提供したりするには不十分な場合が多い。

2. 手法

2.1 不変・残差分解（Invariance-Residual Decomposition）

著者らは、拡散特徴を分析するための、SSLの原理に根ざしたフレームワークを提案している。与えられた訓練画像 $\mathbf{x}_0$ に対して、標準的な意味保持型の拡張と、拡散プロセスに固有の加法的ガウスノイズの両方を包含するランダムな摂動 $a$ を考える。$\mathbf{h}(a(\mathbf{x}_0))$ を、固定された層から抽出された拡散モデルの表現とする。

著者らは、この表現を以下の2つの成分に分解する：

1. 不変成分 ($\mathbf{s}$): 摂動における表現の条件付き平均、$\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$。これは、汚染に対して耐性を持つ、安定した意味的属性を捉える。
2. 残差成分 ($\boldsymbol{\xi}$): 平均からの偏差、$\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$。これは、ビュー特有の、あるいは拡張に敏感な変動を捉える。

この分解により、全共分散分解 $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$ が導かれる。ここで、$\boldsymbol{\Sigma}_s$ は不変なアイデンティティの広がりを表し、$\boldsymbol{\Sigma}_\xi$ は集約された残差変動を表す。

2.2 不変汚染比（Invariant Contamination Ratio: ICR）

表現空間の「健全性」を定量化するために、著者らは**不変汚染比（ICR）**を導入する。彼らは以下の一般化固有値問題を定式化する：
$$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$$
ここで、$\lambda_i$ は第 $i$ フィッシャー方向 $\mathbf{v}_i$ に沿った信号対雑音比（SNR）を表す。高い $\lambda_i$ は、安定した不変構造によって支配されている方向を示し、低い $\lambda_i$ は残差ノイズによって支配されていることを示す。

ICRは以下のように定義される：
$$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$$
ここで、$d$ は特徴量次元である。

• 低いICR: 不変な信号が残差変動よりも支配的であることを示し（高いSNR）、堅牢な表現であることを示唆する。
• 高いICR: 残差変動（汚染）が表現空間の大部分を占めていることを示す。

極めて重要なことに、ICRはラベルフリーであり、外部の評価器や保持されたテストセットを用いることなく、訓練特徴量のみから計算可能である。

3. 主な貢献

1. 表現ベースの評価指標の導入: 本論文は、不変・残差分解から導出される単一のスカラー指標であるICRを導入している。これは、拡張およびノイズに敏感な変動が、安定した特徴構造をどの程度汚染しているかを測定する。
2. 意味的ウィンドウ（Semantic Window）の特定: 著者らは、拡散ノイズスケジュールには、ICRが最小化される中間的な「意味的ウィンドウ」が存在することを示した。この最小値は、線形分類精度が最大となるノイズレベルと一致しており、ダウンストリームタスクのために最適なノイズスケールを選択するための、シンプルなSSLベースのルールを提供している。
3. 汎化と記憶の追跡: 本論文は、表現空間における明確な学習フェーズを明らかにしている：
   • データ豊富なレジーム（Data-Rich Regime）: 学習が進むにつれてICRは単調に減少し、生成品質（FID）の向上と密接に連動する。
   • データ限定レジーム（Data-Limited Regime）: ICRはU字型の軌跡を描く。最初はモデルが汎化を学習するにつれて減少するが、最小値に達した後、モデルが特定の訓練サンプルを記憶し始めると上昇する。これにより、ICRは記憶の早期停止信号として機能し、標準的な生成指標や最近傍テストが過学習を示す前に検出できる。

4. 実験結果

本フレームワークは、様々な拡散アーキテクチャ（EDM, SiT）を用い、CIFAR-10、CIFAR-100、およびImageNetで評価された。

• ノイズレベル分析: 全てのデータセットにおいて、ICR曲線はノイズレベルに対してU字型を描く。ICRの最小値は、線形分類精度のピークと正確に一致している。これは、中間的なノイズレベルが、詳細な情報の捕捉と安定した意味構造の保持との間で、最適なトレードオフを提供することを裏付けている。
• データ豊富な訓練: フル訓練セット（例：CIFAR-10の5万枚、ImageNetの128万枚）を用いた実験では、ICRとFIDは共に訓練イテレーションに従って単調に減少した。これは、モデルがデータ多様体（data manifold）を学習するにつれ、内部表現がますます不変かつ「純粋」になることを示唆している。
• データ限定の訓練: 限定されたデータ（例：CIFAR-10の4千枚、ImageNetの1万枚）を用いた実験では、ICRはU字型の曲線に従った。ICR曲線の最小値は、記憶率（memorization ratio）が上昇し始める直前に発生した。最近傍の可視化により、ICRが最小の時点では最近傍が意味的に関連していたのに対し、過学習フェーズ（ICRが上昇する局面）では、最近傍が視覚的に無関係になっていることが確認された。
• 特徴拡張のダイナミクス: $\boldsymbol{\Sigma}_s$ と $\boldsymbol{\Sigma}_\xi$ のトレースの分析により、データ豊富なレジームでは、特徴の拡張が不変構造の成長によって駆動されることが示された。一方、データ限定レジームでは、不変構造が飽和すると、さらなる拡張は残差変動によって駆動され、それがICRの上昇につながることが示された。

5. 意義と主張

本論文は、拡散モデルが自己教師あり学習の原理を用いた、学習された表現の幾何学を通じて効果的に監視・評価できることを主張している。主な意義は、以下のものに依存しない内在的な訓練時信号を提供することにある：

• 外部の学習済みネットワーク（DINOv2やInceptionなど）。
• テスト画像の高コストなサンプリングおよび生成。
• 正解ラベル。

著者らは、ICRが生成モデリングと表現学習の間の溝を埋める統一的な診断ツールとして機能すると主張している。これは、標準的な指標であるFIDが検知できない場合がある、データ不足のシナリオにおける記憶の開始を検出し、特徴抽出のための最適なノイズスケールを特定するための実用的な手法を提供する。本研究は、汎化から記憶への移行は、表現空間における不変構造から残差変動への根本的なシフトであるということを示唆している。