技術的概要：ディープドリームはこれによって作られる

問題定義

畳み込みニューラルネットワーク（CNN）においては、最適化による特徴可視化などの手法を通じて、機械的解釈可能性が著しく進展してきた。しかし、これらの手法を潜在拡散モデル（LDM）に適用する際には、固有の課題が存在する。LDM は圧縮された変分オートエンコーダ（VAE）の潜在空間で動作し、時間ステップに条件付けられた反復的なノイズ除去プロセスを利用する。古典的な特徴可視化手法は、特徴の活性化を最大化するためにピクセル空間の入力を最適化するものであるが、以下の理由によりこの文脈では機能しない：

1. 多義性（Polysemanticity）： 生の特徴はしばしば複数の無関係な概念を同時に表現するため、可視化が不整合になる。
2. 潜在空間の制約： 潜在空間内で直接最適化を行うと、デコーダの範囲外値（過飽和を引き起こす）や高周波ノイズのアーティファクトといった失敗モードが生じる。
3. 時間的複雑性： 拡散モデルにおける特徴は、異なる理由で異なる時間ステップにおいて活性化される可能性があり、特定の活性化条件を分離する手法が必要である。
4. 既存ツールの限界： データセット例や特徴操作（feature steering）といった現在の拡散モデルの解釈可能性手法は、データセットの内容に制約されるか、あるいは特徴を活性化させる具体的な入力ではなく、下流への影響のみを明らかにする点に限界がある。

手法：最適化による潜在可視化（LVO）

著者らは、LDM に対する最適化による特徴可視化を拡張した「最適化による潜在可視化（LVO）」を提案する。この手法の核心的な目的は、特定のターゲット特徴を最大限に活性化させるために、勾配上昇法を用いて潜在ベクトル $z_{opt}$ を最適化することである。この手法は、拡散モデル固有の 4 つのコンポーネントを導入する：

1. 時間ステップ活性分析： 1,000 個の全時間ステップにわたって特徴を可視化するのではなく、データセット全体においてトップ-$k$ 活性化の中で最も頻繁に現れる「活性ピーク」を特定する。可視化は、ノイズ除去のその段階における特徴の役割を分離するために、これらのピーク時間ステップに対して特に生成される。
2. 潜在空間最適化： デコーダを通じた逆伝播に伴う計算コストや勾配アーティファクトを回避するため、最適化はピクセル空間ではなく VAE の潜在空間内で行われる。
3. スケジューラ一致ノイズ注入： U-Net に対する正しい条件付けを維持するため、最適化された潜在ベクトルは、ターゲット時間ステップのスケジューラ係数を用いて（$z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$）、すべてのフォワードパスにおいて再ノイズ化される。これにより、モデルは期待される信号対ノイズ比を認識する。
4. 事前分布による初期化： 最適化は、その活性時間ステップにおいてターゲット特徴を操作して生成された「事前（prior）」画像から初期化される。これにより、最適化の軌跡が解釈可能な多様体内に留まり、高周波ノイズへの収縮を防ぐ。

正則化戦略：
高周波ノイズと潜在空間のアーティファクトに対抗するため、著者らは正則化子のスタックを採用する：

• ピクセル空間転送： 変換ロバスト性（ジッター、回転、スケーリング）、スペクトルフィルタリング（高周波勾配の減衰）、および勾配平滑化。
• 潜在空間固有のペナルティ： 範囲ペナルティ（デコーダのトレーニング範囲、通常は $[-3, 3]$ 以外の値にペナルティを課す）およびモーメントペナルティ（潜在の平均と分散を標準正規分布に近づける）。

SAE による解離：
本研究は 2 つの変種を比較する：

• 生レイヤー基準： 単一の生活性化チャネルを最適化する。
• SAE 変種： 層上でトレーニングされたスパースオートエンコーダ（SAE）を用いて、最適化前に多義的表現を単義的特徴に解離させる。

主要な貢献

1. LVO フレームワーク： 時間ステップ分析、スケジューラ一致ノイズ、事前分布による初期化、および潜在空間固有の正則化を統合した、LDM における特徴可視化のための完全なパイプラインの提案。
2. 解離基準： SAE による解離が提供する解釈可能性の向上を分離するために、制御された生レイヤー基準の提供。
3. 正則化の除去実験（アブレーション）： 潜在ドメインにおけるピクセル空間正則化子の最初の体系的な除去実験。これにより、生レイヤー変種と SAE 変種では最適な正則化戦略が著しく異なることが明らかになった（例：SAE 特徴はモーメントペナルティから恩恵を受けるが、全変動と勾配平滑化に対して過剰に敏感である）。
4. 補完的洞察： データセット例や特徴操作とは異なる洞察を LVO が提供することを示す。具体的には、特徴を活性化させる入力条件を直接明らかにする。

結果

この手法は、Style50 データセットでファインチューニングされた Stable Diffusion 1.5 において評価され、特に up_blocks.1.attentions.1 レイヤーをターゲットとした。

• 多義的基準： 生レイヤー活性化を最適化した結果、しばしば不整合であったり、複数の概念が混在した（例：動物の部位である目や毛皮を混ぜ合わせるが、認識可能な動物を形成しない）可視化が得られた。これらの生特徴に対する操作は、無意味で一般的な画像を生み出した。
• 単義的 SAE 特徴： SAE ベースの LVO は、複数のシードと時間ステップにわたって、認識可能な概念の明確で一貫した可視化を生み出した。注目すべき例としては以下がある：
  • 特徴 9984： 一貫して「対角構成」（左上から右下に向かうストローク）を可視化した。これは多様なデータセット例からは明瞭でない構造的な概念である。
  • 特徴 10331： 人間の姿を明確に描き出した。
  • その他の特徴： 物体の部品（ケーブル、バラ）、テクスチャ（滝の泡）、および遠近法を成功裡に可視化した。
• 正則化の効果： 較正により、ノイズの収縮を防ぐために事前分布による初期化が不可欠であることが示された。さらに、変換ロバスト性やモーメントペナルティといった正則化項は、最適化器が解釈不可能な局所最適解から脱出し、より明確な構造（例：「泥っぽい」テクスチャを明確なケーブル構造へと変える）を明らかにする助けとなることがわかった。

意義と主張

本論文は、LVO が拡散モデルの解釈可能性において重要なニッチを埋めると主張している。データセット例は内容の多様性に制約され、特徴操作は下流への影響を明らかにするに留まるのに対し、LVO は「何が特徴を活性化させるか」という問いに直接答える。著者らは、この手法が提案された 4 つのコンポーネント（時間ステップ分析、ノイズ注入、事前分布による初期化、適切な正則化）をすべて組み合わせる場合にのみ有効であると強調している。

この研究は、主に安全監査、ターゲット概念の忘却、およびコンテンツモデレーションを支援する防御的解釈可能性のツールとして位置づけられている。著者らは、特徴の活性化を特定することが理論的には安全フィルターの回避を助ける可能性という二重使用リスクを認めているが、基盤モデルと SAE は既に公開されており、この手法は抑制技術ではなく活性化の原因を明らかにするものであるため、このリスクは限定的であると評価している。

本研究は結論として、LVO がデータセット例の標準的な検査では見えない構造的・構成的特徴（対角配置など）を表面化させ、潜在拡散モデルの機械的研究に不可欠な補完的な視点を提供すると述べている。