技術要約: Visual-TCAV

問題提起

畳み込みニューラルネットワーク（CNN）は画像分類において顕著な性能を達成しているが、依然として「ブラックボックス」モデルであり、ヘルスケアや自動運転のような重要な領域における信頼性とデバッグを妨げている。既存の説明可能なAI（XAI）手法には、相互に補完的な限界が存在する：

• サリエンシー手法（例：Grad-CAM、Integrated Gradients）: クラスが「どこで」特定されたかを示す局所的なピクセルレベルの説明を提供するが、「どの」高次な意味的概念（例：「縞模様」、「えくぼ」）が予測を駆動したのかを説明することはできない。
• 概念ベースの手法（例：TCAV）: 人間が定義した概念に対してネットワークがグローバルにどの程度敏感であるかを説明できるが、特定の予測インスタンスに対して概念の重要性を帰属させることも、入力画像内におけるこれらの概念の空間的な位置を可視化することもできない。

その結果、空間的接地（概念の局在化）、インスタンスごとの帰属（概念の重要性の定量化）、および**集約可能性（グローバルな洞察の生成）**を同時に提供できる手法に空白が生じている。

手法: Visual-TCAV

Visual-TCAVは、サリエンシー手法と概念ベースの手法の間の溝を埋めるために設計されたフレームワークである。これは、任意のCNNレイヤー（特徴マップを生成するもの）に対して動作し、主に2つの出力、すなわちコンセプトマップ（空間的局在化）とコンセプト帰属（数値的な重要度）を生成する。

1. CAVの生成と空間プーリング

TCAVのパラダイムに従い、本手法はまず**概念活性化ベクトル（CAV）**を「平均の差」アプローチを用いて計算する。これには以下が含まれる：

• ユーザー定義の正の概念例と負の（ランダムな）例から得られる特徴マップの収集。
• 両方のセットの算術平均（重心）の計算。
• 概念の重心とランダムな重心の差によるCAVの導出。
• **グローバル平均プーリング（GAP）**をCAVに適用して、プールドCAVを作成する。このベクトルは、空間的な位置に依存せず、各特徴マップチャネルと概念との相関を表す。

2. コンセプトマップ（空間的接地）

入力画像内のどこで概念 $c$ が認識されているかを局在化するために、Visual-TCAVはコンセプトマップ $M^c$ を生成する：

• 入力画像の特微マップ ($F$) の加重和を計算する。この際、重みとしてプールドCAVの要素 ($p^c_i$) を使用する。
• ReLU関数を適用し、概念と正の相関を持つ領域のみを保持する。
• 正規化: 画像間での比較可能性を確保するため、カスタムのmin-maxスケーリングを用いてマップを正規化する。境界値 ($\ell_c, u_c$) は、正および負の例のセットから生成されたコンセプトマップのメディアン・コントラハーモニック平均からヒューリスティックに導出される。
• 結果として、ネットワークが概念を認識している空間領域を強調する、クラスに依存しない可視化が得られる。

3. コンセプト帰属（インスタンスごとの重要度）

特定のクラス予測に対する概念の寄与の大きさを推定するために、本手法は**Integrated Gradients (IG)**を拡張する：

• 特徴マップIG: 入力ピクセルから勾配を積分する代わりに、選択されたレイヤーの特徴マップ空間でIGを計算する。これにより、ベースライン（ゼロテンソル）に対する、ターゲットクラスのログ率への特徴マップ活性化の帰属を測定する。
• 概念への整合性による重み付け: 正規化されたIGの帰属は、正規化されたプールドCAV ($\hat{p}^c$) によって重み付けされる。これにより、概念と強く整合している特徴マップを強調し、それ以外を減衰させる。
• 空間マスキング: 重み付けされた帰属は、正規化されたコンセプトマップ ($\hat{M}^c$) と要素ごとに乗算され、概念に関連する領域を分離するための空間マスクとして機能する。
• 集約: すべての空間位置にわたって合計することで、スカラー値のコンセプト帰属 ($a_{c,k}$) を得て、特定の入力に対するクラス $k$ への概念 $c$ の寄与を定量化する。

4. グローバルな説明

特定のクラスに対して、一連の入力画像にわたるインスタンスごとのコンセプト帰属を平均化することで、グローバルな洞察を導出する。これにより、そのクラスに対する概念の全体的な重要性を定量化する。

主な貢献

1. 統合フレームワーク: Visual-TCAVは、サリエンシーマップと概念ベースの手法の強みを統合し、3つの要件（D1：空間的接地、D2：インスタンスごとの帰属、D3：集約可能性）を満たしている。
2. 大きさ（Magnitude）を考慮した帰属: 勾配の方向の「符号」（感度）のみに依存するTCAVとは異なり、Visual-TCAVは勾配の「大きさ」（Integrated Gradientsを介して）を利用して、予測スコアに対する概念の実際のインパクトを測定する。
3. 視覚的検証: コンセプトマップの生成により、活性化最大化（activation maximization）を必要とせずに、CAVがユーザーの意図した概念と一致しているかどうかを定性的に検証できる。
4. グラウンドトゥルースによる検証: 著者らは、合成データセット（人工的なタグが付与されたキュウリ、タクシー、シマウマ）を用いた制御実験を導入し、コンセプトの重要性に関するグラウンドトゥルース（正解）が既知であることを示し、Visual-TCAVが標準的なTCAVよりもグラウンドトゥルースとより良く一致することを実証した。

結果

本手法は、ResNet50V2、InceptionV3、VGG16（ImageNet）、およびCelebAで学習されたResNet50V2を用いて評価された。

• 局所的な説明: Visual-TCAVは、高次の概念（例：「車」）が深いレイヤーで認識される一方で、細粒度の概念が初期レイヤーに現れることを可視化することに成功した。また、誤分類（例：「牛」が「ダルメシアン」と誤分類されたケース）が、特定の概念（例：「斑点」）が誤ったクラスのログ率に大きく寄与したことによって引き起こされたことを特定した。
• グローバルな説明: 集約された帰属は、直感的な期待と一致した（例：「縞模様」は「シマウマ」に高く帰属される）。また、モデルのバイアス（例：特定の機能への過度な依存）を浮き彫りにすることにも成功した。
• 定量的検証: タグベースの制御実験において、Visual-TCAVの帰属はグラウンドトゥルースを正確に反映した。モデルがタグ付き画像の割合が増えるにつれて、帰属はエンティティ（例：「シマウマ」）からタグ（例：「Z」）へと移行した。
• TCAVとの比較: TCAVは、モデルが両者を区別できていない場合でも（勾配の符号に依存するため）高いスコアを維持したが、Visual-TCAVは勾配の大きさを測定することで相対的な重要性を正しく区別し、過学習したモデルにおける無関係な概念への帰属をほぼゼロに示した。

意義と主張

本論文は、Visual-TCAVが、単にネットワークが概念に対して敏感であるか（Whether）だけでなく、概念が予測に**どの程度（How much）**影響を与えるかを定量化することで、既存の手法よりも包括的な説明を提供すると主張している。

• TCAVにおける誤分類の評価および空間的接地の検証という限界に対処している。
• モデルがショートカット（例：物体ではなくタグ）に依存していることを検出するメカニズムを提供しており、これは安全性が重要なアプリケーションにおいて極めて重要である。
• 著者らは、概念の例を収集するにはドメイン知識が必要であること、および本手法は完全性の保証（すなわち、テストされた概念がモデルが学習した内容のすべてであることを検証することはできない）を提供しないことを、限界として控えめに述べている。
• 今後の課題として、Vision Transformer (ViT) や回帰タスクへの適用が提案されているが、著者らはアテンションベースのアーキテクチャにおける空間的接地の難しさについても認めている。