技術的概要：ProDG – データフリーな生成事後説明性のためのプロトタイプ

問題提起

深層ニューラルネットワークはコンピュータビジョンにおいて驚異的な性能を達成しましたが、依然として「ブラックボックス」であり、重大な信頼性と安全性の問題を提起しています。事後説明性手法（Grad-CAM、LRP など）は、再学習なしで単一の画像に対する効率的な説明を提供しますが、通常、明確な意味論的意味を欠くピクセルレベルのヒートマップを生成し、ユーザーにモデルの推論を推測させることになります。一方、事前説明性のプロトタイプベース手法（ProtoPNet など）は、「これはあれに似ている」という人間が理解できる推論を提供しますが、専用アーキテクチャと広範な再学習を必要とします。

最近のハイブリッドアプローチ（EPIC など）は、凍結された分類器からプロトタイプのような説明を抽出することでこのギャップを埋めようと試みていますが、これらの手法は根本的な限界に直面しています。すなわち、視覚的プロトタイプを検索、切り取り、抽出するために、検証セットやテストセットなどの実世界データのサブセットへのアクセスを必要とします。この依存関係は、元のデータセットが厳しく制限されているかアクセス不可能なプライバシーに敏感な領域（医療、金融など）において、それらを使用不可能にします。

手法：ProDG フレームワーク

ProDG（データフリー事後説明性のための生成プロトタイプ）は、凍結された分類器の重みから直接、純粋で高忠実度な視覚プロトタイプを合成することでデータ依存性の問題に対処し、外部データへの必要性を排除します。このフレームワークは、主に 3 つのコンポーネントで構成されます。

1. 直交特徴量分離モジュール

標準的なネットワークでは、視覚的特徴量はしばしば複数のチャネルにまたがって絡み合っています。ProDG は、元の絡み合った活性化 $\Phi(x)$ を新しい空間 $Z = U \Phi(x)$ にマッピングするための直交基底変換行列 $U \in \mathbb{R}^{C \times C}$ を導入します。

• 目的: 新しいチャネル表現を、各チャネルが正確に 1 つの特定の特徴に対して強く活性化するように、明確で意味論的に意味のある視覚的概念と整合させること。
• 忠実性の保証: $U$ が直交であるように制約されているため、その逆行列は単に転置行列 ($U^{-1} = U^T$) です。線形分類ヘッドを修正してこの逆写像を組み込む（分類器の重みに $U^T$ を乗算する）ことで、順伝播中に基底変換が数学的に相殺されます。これにより、修正されたネットワークは、元のベースモデルと完全に一致する予測精度とログオッズ予測を維持することが保証されます。

2. 概念プロンプトバンク

実データなしでプロトタイプを生成するために、ProDG はテキスト埋め込みを条件とした凍結された生成モデル（具体的には FLUX.1-schnell）を利用します。

• パラメータ化: 各チャネルに対して「概念プロンプトバンク」$\mathcal{P} = \{P_c\}_{c=1}^C$ が定義されます。各 $P_c$ には、初期発見フェーズ中にクラス名から導出された凍結されたアンカー埋め込みと、学習可能な分布パラメータが含まれます。
• 最適化: 学習可能なパラメータには、テキスト埋め込みのオフセットと分散が含まれます。高次元の T5 埋め込みには低ランク適応（LoRA）が使用され、CLIP 埋め込みには直接オフセットが学習されます。
• 多様性: 埋め込みは確率分布として定式化されます。再パラメータ化トリックを用いることで、システムはこれらの分布からサンプリングし、概念ごとの単一の静的画像ではなく、多様なプロトタイプ画像を生成します。

3. 交互最適化スキーム

このフレームワークは、変換行列 $U$ とプロンプトバンクパラメータ $\Theta_c$ を交互戦略を用いて共同で最適化します。

• フェーズ 1（$U$ の更新）: プロンプトパラメータを凍結し、対象チャネルの画像をサンプリングして、$U$ を更新し、純度指標（特定のチャネルにおける最大活性化の比率と、その空間位置における特徴ベクトルのノルムとの比）を最大化します。
• フェーズ 2（プロンプトの更新）: $U$ を凍結し、画像を生成して、2 つの正則化損失を適用しながら埋め込みを更新し、純度を最大化します。
  • 正則化損失 ($L_{reg}$): 意味論的整合性を維持するために、学習された埋め込みが意味のある自然言語アンカーから大きく逸脱することを罰します。
  • 多様性損失 ($L_{div}$): モード崩壊を防ぐために、同じチャネルに対して異なる画像の生成を促進します。これは特徴ベクトルのペアワイズコサイン類似度を通じて計算されます。

説明生成

推論中、システムは予測クラスに対して最も影響力のある上位 $k$ 個のチャネルを特定します。その後、最適化されたプロンプトバンクからサンプリングして対応する画像を生成します。視覚的説明は、空間的純度（チャネルの優位性）と相対的大きさ（正規化された活性化）の積に基づいて活性化ヒートマップを計算することで導き出され、プロトタイプ的な領域を強調するローカライズされたバウンディングボックスが生成されます。

主要な貢献

1. データフリーフレームワーク: ProDG は、元のデータセットまたは検証データセットへのアクセスを必要とせずにプロトタイプ説明を合成する、最初のプロトタイプベース手法です。
2. 純度最適化条件付け: 凍結された分類器の重みから直接、高忠実度で解釈可能な視覚的概念を生成するために生成モデルを利用するメカニズムの導入。
3. プライバシー保護型解釈可能性: この手法は、従来のデータ依存型抽出に対する安全な代替手段を提供し、無関係な背景ノイズから解放されたクリーンな概念的表現を、制限された環境に適した形で提供します。

結果と評価

著者らは、ProDG を 4 つのベンチマーク（CUB-200-2011、Stanford Cars、Stanford Dogs、ImageNet）で、さまざまなバックボーン（ResNet、DenseNet、ConvNeXt、SwinTransformer）を使用して評価しました。

• 予測的忠実性: 理論的に保証されている通り、ProDG はすべてのデータセットとアーキテクチャにおいてベースラインモデルの精度を正確に維持し（0% の差）、EPIC や InfoDisent の性能と一致します。
• 定性的性能: 視覚的比較により、ProDG は EPIC などのデータ依存型手法と同等の、意味論的に豊かな手がかり（物体の構造、テクスチャなど）を生成し、効果的に識別領域を捉えていることが示されました。
• 概念内多様性: 学習された知覚的画像パッチ類似度（LPIPS）指標を用いたところ、ProDG は高いスコア（$\geq 0.61$）を示し、このフレームワークがモード崩壊を回避し、同じ概念に対して多様な視覚的バリエーションを生成することに成功していることを示しました。
• ユーザー調査: ImageNet に関する調査において、参加者は ProDG の説明に基づいてクラスを識別する際、ランダム選択（73%）よりも有意に高い精度を達成しました。3 者比較（ProDG vs InfoDisent vs EPIC）において、ProDG は平均順位 1.85 で最高となり、InfoDisent に対して統計的に有意な差が認められました。

意義と限界

本論文は、ProDG がデータアクセスが不可能な高に制限された環境において堅牢な視覚的解釈可能性を解き放つ、データフリー XAI の新たなフロンティアを確立したと主張しています。プロトタイプ発見をデータ利用可能性から切り離すことで、プライバシーに敏感な領域における透明性を可能にします。

著者らは、生成アプローチに固有の限界を謙虚に認めています。

• 生成事前分布バイアス: 対象となる概念が基盤となる生成モデル（例：FLUX）の分布外である場合、プロンプト最適化は有効なプロトタイプを合成することに苦労する可能性があります。
• ドメイン適応: このフレームワークを専門分野に適用するには、ドメイン固有のモデルに生成事前分布を差し替える必要があるかもしれません。
• 初期化: テキストアンカー初期化は収束を助けますが、より高度な初期化戦略を用いることで、非常に抽象的な視覚特徴の捕捉が向上する可能性があります。