技術的概要：視覚的機械的解釈可能性のための分布論的視点

1. 問題定義

現在の視覚的機械的解釈可能性（MI）のパラダイムは、忠実性（モデルが特定の機能をどのように活性化するかを正確に反映すること）と解釈可能性（人間が理解可能な視覚化を生成すること）のバランスを取ることに苦慮している。既存の手法は通常、根本的なトレードオフに直面するヒューリスティックなアプローチに依存している：

• データセット検索：有限のデータセットから高活性化の例を検索する。知覚的に妥当ではあるが、このアプローチは境界バイアスと閾値の不安定性に悩まされ、機能の意味論の完全な分布を捉えられないことが多い。
• 正則化付き最適化（活性化最大化）：機能の活性化を最大化するように入力を合成する。活性化スコアに対しては極めて忠実であるが、これらの手法はしばしば「超刺激」や自然画像分布から大きく逸脱する高周波のアーティファクトを生成し、知覚的に解釈不可能となる。
• プロキシ誘導生成（例：プロンプトベースの拡散モデル）：テキストプロンプトを用いて拡散モデルを誘導する。これは情報ボトルネックと意味的ギャップをもたらす。なぜなら、テキストプロンプトは微細な、非言語的な、または多義的な内部機能（例：SAE 機能）を完全に捉えることができないからである。

核心的な問題は、これらの手法が機能の解釈を、サンプル単位のパターン認識タスクではなく、分布論的推論問題として扱っていないことにより、機械的に忠実でないか、あるいは知覚的に解釈不可能な説明をもたらす点にある。

2. 手法

2.1. 分布論的視点

著者らは、視覚的 MI をKullback-Leibler（KL）最小化最適化問題として再定義することを提案する。単一の「最良」の画像を見つけるのではなく、2 つの競合する目的を満たす誘導分布 $q$ を特定することが目標となる：

1. 忠実性：$q$ は、内在的スコア $s(x)$（例：SAE 機能の活性化）を強く活性化させる入力に集中しなければならない。
2. 解釈可能性：$q$ は人間の知覚性を確保するため、自然画像の事前分布 $p(x)$ に近接していなければならない。

この視点は、MI パラダイムを 3 つの直交する次元に分解する：

• 研究対象：何が解釈されるか（例：ニューロン対 SAE 機能）。
• 制約定式化：忠実性がどのように強制されるか（ハード制約対ソフト制約）。
• サンプリング手法：誘導分布がどのように具体化されるか（検索、最適化、または拡散）。

2.2. KL 最小化ソフト制約（KLSC）原則

以前の手法のバイアスを解消するため、本論文はKLSC 原則を導入する。ハード制約付き手法（閾値 $m$ で分布を切り捨てる、すなわち $s(x) > m$）とは異なり、KLSC は期待活性化が目標レベルに達することを要求するソフト制約を採用する：$\mathbb{E}_{q}[s(X)] \geq m$。

理論的に、このソフト制約の下で $KL(q \| p)$ を最小化する一意の解は、指数傾斜分布である：
$$q_{\beta}(x) \propto p(x) \exp(\beta s(x))$$
ここで、$\beta$ は誘導の強度を制御するラグランジュ乗数である。

ハード制約に対する KLSC の理論的利点：

• 境界バイアスの低減：ハード制約は確率質量を閾値付近の薄い殻（「かろうじて活性化された」領域）に集中させるのに対し、KLSC は質量をより滑らかに分布させ、小さな閾値変化に対する感度を低減する。
• 閾値の安定性：ハード制約は、閾値が摂動された際に KL 発散と総変動（TV）距離に不連続なジャンプを引き起こす。KLSC は滑らかな指数分布族を形成し、局所的な連続性を保証する。
• 解釈可能性ギャップ：期待される忠実性が一致する場合でも、KLSC 解はハード切り捨て解よりも自然画像の事前分布 $p$ からの逸脱をより効果的に最小化する。

2.3. タスク注入とプロキシボトルネックの回避

本論文は、解釈プロセスに外部タスク目的（例：分類ラベルやテキストプロンプト）を注入することに反対する。

• オブジェクトのドリフト：タススコア $f_c(x)$（例：CLIP 整合性）を注入すると、内在的な誘導分布が歪められる。本論文は、タスク要求を達成することが厳密に正の KL コストを伴うことを証明しており、これにより内在的なメカニズムではなくタスクを反映した説明をもたらす。
• プロンプトボトルネック：プロキシ誘導手法は、検索空間をプロンプトパラメータ化された族 $Q_{prompt}$ に制限する。本論文は、この族が微細な機能や多義的な機能を表現できないことが多く、忠実でないサンプルをもたらすことを実証している。

2.4. エネルギー誘導拡散事後サンプリング（EnergyDPS）

KLSC 原則を実践的に実現するため、著者らはEnergyDPSを提案する。

• メカニズム：内在的スコア $s(x)$（例：SAE 機能の活性化）をエネルギー関数として扱う。
• プロセス：**拡散事後サンプリング（DPS）**を活用する。テキストプロンプトを最適化するのではなく、EnergyDPS は各ステップで逆拡散プロセスに内在的スコアの勾配 $\nabla_x s(\hat{x}_0)$ を直接注入する。
• 利点：これにより、テキストプロンプトに伴う情報損失や、点ごとの最適化のモード探索バイアスなしに、KLSC 誘導分布から直接サンプリングすることが可能となる。学習不要であり、任意の微分可能な内在的スコアに適用可能である。

3. 主要な貢献

1. 視覚的 MI のための分布論的視点：機能の解釈を KL 最小化分布論的推論問題としてモデル化する理論的枠組みを確立し、既存のパラダイムにおける体系的な統計的バイアス（境界バイアス、閾値不安定性、解釈可能性ギャップ）を特定する。
2. KL 最小化ソフト制約（KLSC）原則：期待活性化制約を満たしつつ自然事前分布に最も近い分布を求めることで、理論的に忠実性と解釈可能性のバランスを取る新しい制約定式化。
3. EnergyDPS アルゴリズム：拡散モデルを用いて KLSC 原則を実現する、実用的で学習不要なサンプリング器。プロンプトベース手法の情報ボトルネックと、最適化ベース手法のアーティファクトを回避する。
4. 統合的な分類体系：研究対象、制約定式化、サンプリング手法に基づいて視覚的 MI 手法を体系的に分類し、なぜ以前の手法が忠実性と解釈可能性を同時に達成できないのかを明確にする。

4. 実験結果

著者らは、トランスコーダー（SAE の変種）を用いて、DINOv3 ResNeXt Large 機能に対する EnergyDPS を評価した。

• 定量的指標：
  • 忠実性：EnergyDPS は、較正された場合、ベースライン（MACO、DiffExplainer）と同等の活性化レベルを達成した。
  • 解釈可能性：EnergyDPS は、QualiCLIP（知覚的解釈可能性）とNRQM（参照不要品質指標）においてベースラインを大幅に上回った。例えば、ランダムな機能において、EnergyDPS は QualiCLIP スコア 0.5791 を達成し、MACO の 0.4228 や DiffExplainer の 0.3259 と比較して優れていた。
• ブラインド解釈可能性研究：
  • 人間と AI 評価者（GPT-5.4、Gemini-3-flash-lite）が、共有される意味概念のために生成された画像セットを評価した。
  • EnergyDPS は最高の解釈可能性スコア（人間による評価で 2.92、MACO は 1.92 など）を受け、意味記述の重み付き分散が最も低く、より一貫性があり明確な共有概念を示していた。
• 玩具モデル検証：
  • 2 次元ガウス混合モデル（GMM）を用いた実験は、理論的予測を確認した。ハード制約は、滑らかな KLSC パスと比較して、より高い境界質量と TV 不安定性を示した。
• アブレーション研究：
  • 層の頑健性：EnergyDPS は異なるネットワーク層において効果的であった。
  • 事前分布依存性：バイアスのかかった事前分布（FFHQ 顔）を使用すると結果が劣化し、モデルの学習分布と整合した自然画像の事前分布の重要性が確認された。
  • オブジェクトのドリフト：タスク注入（CLIP プロンプトやピクセルレベルの参照）を追加する実験は、内在的活性化が一致していても、意味的なシフトを引き起こすことを示し、内在的みの目的の必要性を検証した。

5. 意義と主張

本論文は、その主要な貢献が、ヒューリスティックな視覚化から分布論的推論への視点の根本的な転換であると主張する。

• 理論的妥当性：著者らは、視覚的 MI における以前の失敗は、制約定式化（ハード対ソフト）とサンプリング（検索/最適化対分布論的サンプリング）の構造的バイアスに起因すると論じる。KLSC 原則は、忠実性と解釈可能性のバランスを取るための厳密な数学的基盤を提供する。
• 実用的有効性：EnergyDPS は、モデルの内部メカニズムに極めて忠実でありながら知覚的に自然な視覚化を生成可能であることを示し、DINOv3 機能において最先端の手法を上回る性能を発揮した。
• 限界：著者らは控えめに、自然画像は最小限の損失を持つ参照空間を提供するが、すべての人間が理解できる概念（例：非自然的だがモデルに関連する証拠など）を完全に捉えるわけではないことを認めている。さらに、EnergyDPS は拡散サンプリングプロセスに起因する計算コストを伴い、最適化ベースのベースラインよりも遅い。

要約すると、本論文は、視覚的機能の理解には、それらが自然画像分布をどのように再編成するかをモデル化することが必要であり、KLSC 原則と EnergyDPS の組み合わせが、この課題に対する理論的基盤を持ち、実用的に有効な解決策を提供すると主張している。