技術的概要：FAME – 特徴活性化マップの説明

問題提起

深層学習モデル、特に画像分類（IC）および顔認識（FR）におけるモデルは、高い精度を達成する一方で「ブラックボックス」として動作し、その予測の背後にある推論を隠蔽している。既存の説明可能な AI（XAI）手法は主に 2 つのカテゴリに分類され、それぞれに重大な限界がある。

1. 勾配ベースのクラス活性化マッピング（CAM）: Grad-CAM などの手法は、特徴マップの活性化に基づいて帰属を計算し、画像解像度までアップサンプリングする。このアプローチは、特徴マップの要素が基となるピクセル領域（局所受容野）からのみ影響を受けるという仮定に依存している。著者らは、この仮定は受容野が大きく、重なり合い、非局所的である深層ネットワークでは破綻すると主張しており、その結果として誤った帰属マップが生じるとしている。
2. 摂動ベースの手法: CorrRISE などの手法は、固定されたパッチ（例：黒い正方形やノイズ）で入力画像を摂動させ、出力の変化を観察する。これらの手法は、しばしば人工的なエッジを導入するか、情報除去が不十分である（現代のネットワークはぼやけた入力にもよく対応するため）。さらに、これらは確率的なランダムマスキングと手動で定義されたパラメータに依存しており、摂動に対する原理的なアプローチが欠けている。

手法：特徴活性化マップの説明（FAME）

著者らは、勾配ベースと摂動ベースのパラダイムを橋渡しする統合フレームワークであるFAMEを提案する。FAME は、ある層においてネットワークを特定のターゲット出力へ強制するために画像を修正するように設計された敵対的攻撃技術である**レイヤ単位起源ターゲット合成（LOTS）**に基づいている。

中核メカニズム

固定されたパッチや単純な勾配のアップサンプリングを使用するのではなく、FAME は帰属マップの生成を最適化問題として扱う。

1. 反復摂動: 入力画像 $x$ から開始し、FAME は特定のネットワーク層におけるターゲット $t$ に対して特定の損失関数 $\mathcal{L}$ を最小化するために、正規化された勾配を用いて画像を $\bar{x}$ へ反復的に更新する。
   $$\bar{x} \leftarrow \bar{x} - \eta \frac{\nabla_{\bar{x}}}{\max |\nabla_{\bar{x}|}}$$
   ここで、$\nabla_{\bar{x}} = \frac{\partial \mathcal{L}(f^l(\bar{x}) \mid t^l)}{\partial \bar{x}}$ である。
2. 帰属の導出: 帰属マップは、元の画像と摂動された画像との絶対差から導出される：$\Delta x = |\bar{x} - x|$。
3. 平滑化: 得られたピクセルレベルの摂動マップは、ガウスカーネルを用いて平滑化され、最大値で正規化されて、最終的な帰属マップ $e \in [0, 1]^{H \times W}$ を生成する。

タスク固有の適応

FAME は、タスクに応じて損失関数とターゲットを適応させる。

• 特徴マップ分析: CAM の仮定の妥当性を検証するために、特定の特徴マップ要素 $a[k]$ に対してターゲットをゼロに設定する。損失 $\mathcal{L}_a = \|a[k] - 0\|_1$ は、特定の特徴活性化を無効化するためにどの入力ピクセルを除去すべきかを特定する。
• 画像分類: 損失はターゲットクラスのロジット上で直接定義され（$L_{cls} = z_o$）、入力まで逆伝播させて、そのクラス予測に不可欠なピクセルを強調する。
• 顔認識: この手法は、ギャラリー画像（$x_g$）とプローブ画像（$x_p$）間の類似度スコア $s$ を最小化または最大化する。
  • 類似（$e^+$）: 類似度を最小化（$L_+ = s$）して、一致を支持する領域を特定する。
  • 非類似（$e^-$）: 類似度を最大化（$L_- = 1-s$）して、不一致を引き起こす領域を特定する。
  • 関連手法（例：FGGB）とは異なり、FAME は類似領域と非類似領域を分離するための任意の閾値設定を必要としない。

主要な貢献

1. CAM 仮定の反証: 本論文は、CAM ベースの手法における局所受容野の仮定が深層ネットワークでは成立しないという実証的証拠を提供する。FAME を用いることで、著者らは深層ネットワーク（例：IResNet101）における特徴マップ要素が、入力の大規模でシフトし、重なり合う領域からの情報を集約しており、単純なアップサンプリングが信頼できないことを実証している。
2. 統合フレームワーク: FAME は、タスク固有のアーキテクチャ変更や手動の閾値選択を必要とせず、IC と FR の両方のタスクに適用可能な単一の最適化ベースのアプローチを提供する。
3. 原理的な摂動: 固定されたパッチではなく勾配駆動の摂動を使用することで、FAME は人工的なアーティファクト（黒い正方形からの鋭いエッジなど）の導入を回避し、入力の変化がネットワーク出力にどのように影響するかについてのより自然な解釈を提供する。

実験結果

著者らは、FAME を ImageNet（IC）および 3 つの顔認識データセット（AR Face、SCface、CFP）で、各種アーキテクチャ（ResNet、VGG、ConvNeXt、IResNet）を用いて評価した。

画像分類

• 定性的: FAME は、Grad-CAM や Grad-CAM-EW と比較して、よりコンパクトで意味的に関連性の高い帰属マップを生成する。これら既存手法は、しばしば拡散した背景領域を強調するか、特定の部分（例：鳥の頭部のみ）にのみ焦点を当てる傾向がある。
• 定量的: ImageNet において、FAME は競争力のある交差率（IoU）スコアを達成し、FullGradCAM にわずかに劣るものの、標準的な Grad-CAM 変種を上回る。重要なのは、ROAD-Delete評価（重要なピクセルが除去されるにつれて性能がどのように低下するかを測定）において、FAME が低い除去率（10% および 30%）で最高スコアを達成し、競合他社よりもモデルの決定にとって最も重要なピクセルをより効果的に特定している点である。

顔認識

• 定性的: FAME は、人間の直感と一致する空間的に一貫したマップを生成する。覆われた顔（例：マフラー、サングラス）の場合、FAME は覆われた領域を無視しつつ、目や額などの可視のアイデンティティの手がかりに正しく焦点を当てる。対照的に、CorrRISE や FGGB などの手法は、しばしばノイズの多いマップを生成するか、無関係な背景領域を強調する。
• 定量的: 複数の FR プロトコルおよびネットワークの深さにおいて、FAME はDelete（精度の低下）およびInsert（精度の回復）の両方の指標において、Grad-CAM、CorrRISE、FGGB を一貫して上回る。特に、FAME は最高で CFP において 96.7% の Insert スコアを達成し、復元された際に検証精度を急速に回復させる領域を特定する能力を実証している。

意義と主張

本論文は、FAME が安定したモデル関連の説明をもたらすタスク適応型の最適化ベースのフレームワークを提供すると主張している。その主な意義は以下の点にある。

• 誤解の是正: 深層ネットワークにおける単純な空間的アップサンプリングへの依存に挑戦し、より深いアーキテクチャが局所的特徴ではなく、グローバルに統合されたパターンを符号化していることを示す。
• 頑健性: FAME は、姿勢、遮蔽、解像度の変化に対する、最先端の XAI 手法よりも優れた頑健性を示す。
• 汎用性: 任意の閾値（FGGB の限界）や固定された摂動パラメータ（CorrRISE の限界）の必要性を排除し、帰属に対するより原理的なアプローチを提供する。

著者らは、FAME が反復的な性質により勾配ベースの手法よりも計算的に遅いことを認めているが、早期停止や品質への影響を最小限に抑えたより大きなステップサイズを通じて速度を改善できることを示唆している。今後の研究として、FAME をトランスフォーマーアーキテクチャおよび物体検出タスクへ拡張することが提案されている。