技術要約：Vision Transformerの効率的な説明可能性のための勾配スキップ型関連性伝播（Gradient-Skipping Relevance Propagation）

1. 問題提起

Vision Transformer (ViT) はコンピュータビジョンにおいて最先端の性能を達成していますが、解釈が困難であるという課題があります。既存の説明手法は、勾配ベース、アテンションベース、摂動ベースのカテゴリに分類されますが、トランスフォーマーアーキテクチャに適用する際には重大な制限が生じます。

特定された主な問題は以下の通りです：

• ヘッドの一様処理（Uniform Head Treatment）: ほとんどのアテンションベースのアプローチは、すべてのアテンションヘッドが均一な重要性を持つと仮定しています。しかし、文献によれば、ヘッドは不均一な役割を担っており、あるヘッドは意味的に集中したパターンを符号化し、別のヘッドは拡散的に注意を向けることが示されています。これらを一様に扱うことは、情報量の多い信号と情報量の少ない信号を混合させることで、説明を希薄化させてしまいます。
• 残差接続の軽視（Neglect of Residual Connections）: 既存の手法は、スキップ接続を恒等パスとしてモデル化するか、固定されたヒューリスティックを使用します。これは、学習された変換に起因する関連性と、アイデンティティ経路に沿って単に保持されている関連性を区別できないため、不正確な関連性帰属につながります。
• 効率性と忠実性のトレードオフ（Efficiency vs. Faithfulness Trade-off）: 勾配ベースの手法は計算コストが低いものの、深いトランスフォーマーにおいて不安定な帰属を生じさせます。摂動ベースの手法は高い忠実性を提供しますが、膨大な計算コスト（数千回のフォワードパス）を必要とします。アテンションベースの手法は効率的ですが、因果的な信頼性に欠けることがよくあります。

2. 手法：GradSkip

これらの制限に対処するため、著者らは、適応的なヘッド重み付けとスキップ接続を考慮した伝播という2つの概念的な革新を導入した関連性伝播法である GradSkip を提案しています。

2.1 適応的アテンションヘッド重み付け

すべてのヘッドを平均化する代わりに、GradSkipは2つの相補的な指標を組み合わせることで、動的でヘッド固有の重要度重み（$\omega^l_q$）を計算します。

1. 勾配ベースのフロー指標 ($\tilde{g}^l_q$): アテンションスコアで重み付けされた勾配の大きさを測定することで、モデルの決定に対するヘッドの因果的な影響を定量化します。閾値設定メカニズムにより、勾配フローが無視できるヘッドをフィルタリングしてノイズを低減します。
2. Giniベースのスパース性指標 ($\tilde{s}^l_q$): ヘッドの空間的・意味的な集中度を捉えます。ソートされたアテンション値に対してジニ係数が計算されます。高いジニ係数は、「スパイク状」のアテンションパターン（特定の領域に集中している）を示し、拡散した分布と区別されます。

最終的な重みは、凸結合となります：$\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$。ここで、$\alpha$ は因果的な関連性と空間的な一貫性のバランスを取ります。

2.2 スキップ接続を考慮した関連性伝播

GradSkipは、バックプロパゲーション中にトランスフォーマーブロックの残差構造を明示的にモデル化します。スキップパスを固定されたアイデンティティとして扱うのではなく、相対的な因果的寄与に基づいて、アテンション変換パスとスキップ接続パスの間で関連性を動的に分割します。

各パスの寄与は、勾配で重み付けされた活性化量を用いて定量化されます：

• $\beta^l_{main}$: メインのアテンションパスに対する正規化された関連性ゲート。
• $\beta^l_{skip}$: スキップ接続に対する補完的なゲート（$1 - \beta^l_{main}$）。

層 $l-1$ における関連性は以下のように計算されます：
$$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$$
ここで、$\tilde{W}^l$ は、ヘッドの重要度、勾配の大きさ、および埋め込みの大きさを組み込んだ重み付きアテンション行列です。これにより、主にアイデンティティ写像として機能するブロックが説明に最小限の寄与をするようになり、スキップ接続を通じて関連性が保持されることが保証されます。

2.3 実装の詳細

プロセスには、中間表現、勾配、およびアテンションマップを捕捉するための1回のフォワードパスと、関連性を伝播させるための1回のバックワーズパスが含まれます。この手法には、フローの不均衡に対処し、FullGrad完全性を確保するための勾配再スケーリングが含まれています。

3. 主な貢献

本論文は、主に3つの貢献を述べています：

1. 適応的アテンションヘッド重み付け: 一様な扱いを超え、個々のアテンションヘッドの因果的影響と選択性を捉えるために、勾配ベースのフローとGiniベースのスパース性を組み合わせたメカニズム。
2. スキップ接続を考慮した伝播: トランスフォーマーの基本的な残差構造を尊重し、アテンションと残差パスの間で、それぞれの相対的な因果的寄与に基づいて関連性を分割する動的なルール。
3. 包括的な評価: 分類（ImageNet1K, BloodMNIST）およびセグメンテーション（ADE20K-150）のベンチマークにおける広範な実験により、大幅に削減された計算コストで最先端の忠実性と局在化を実証。

4. 実験結果

4.1 分類性能

ViT-BaseおよびDeiT-Baseモデルを用い、ImageNet1K および BloodMNIST で評価：

• 忠実性 (Faithfulness): GradSkipは、Insertion-Deletion 指標および Faithfulness Violation Test において最先端の性能を達成しました。例えば、ImageNet1KのViT-Baseにおいて、GradSkipは2番目に優れた手法であるMUTEXに対し、Insertion-Deletionスコアで最大12.50%上回りました。
• 局在化 (Localization): Pointing Game 指標において、GradSkipはViT-Baseで最高スコア（0.868）を記録し、DeiT-Baseでも競争力のある結果（0.831）を出しました。
• 効率性 (Efficiency): GradSkipがアトリビューションマップを生成するために要した計算量は 69.39 GFLOPs でした。これはMUTEXよりも 14.45倍少なく、TISよりは 256.66倍少なく、他の効率的なLRP変種と比較しても優れた忠実性を維持しています。

4.2 セグメンテーション性能

SegFormerモデルを用い、ADE20K-150 で評価：

• GradSkipは、最高の Pixel Accuracy (PA) (0.815) と mean Intersection over Union (mIoU) (0.371) を達成しました。
• 2番目に優れた手法であるMUTEXに対し、mIoUで 53.94% 上回りました。
• 高いPAを示すものの、サリエンシーマップが広がりすぎてmIoUが低くなるFiner-CAMなどの手法とは異なり、GradSkipはクラス固有の領域を正確に描写する優れた能力を示しました。
• 効率性: わずか 28.52 GFLOPs を必要とし、最も効率的なLRPベースの手法と同等の計算量でありながら、大幅に高いセグメンテーション精度を実現しました。

4.3 アブレーションと分析

• ヘッドのスパース性: 統計的分析により、アテンションのスパース性（Gini係数で測定）と忠実性スコアの間に有意な相関があることが確認されました。スパース性に基づき上位25%のヘッドのみを選択すると性能が向上しましたが、下位25%を使用すると性能が低下しました。
• ハイパーパラメータ: 勾配フローとスパース性の最適なバランスは $\alpha = 0.50$ であることが分かりました。一方の指標のみに依存すると、性能が最大26.67%低下しました。
• 定性的分析: 可視化の結果、GradSkipは、拡散したり散らかったりした活性化を示す競合手法 outperforms し、識別的な領域（例：テントウムシのような小さな物体や、旗竿のような細い構造）を正しく孤立させ、背景ノイズを抑制する、焦点の絞られた空間的に精密なヒートマップを生成することが示されました。

5. 意義と主張

本論文は、GradSkipがVision Transformerにおける計算効率と説明の忠実性の間のギャップをうまく埋めるものであると主張しています。その意義は以下の通りです：

• アーキテクチャへの意識: アテンションヘッドの不均一な役割と残差接続の動的な性質を明示的にモデル化することで、GradSkipはモデルがどのように入力を処理しているかをより良く反映した説明を提供します。
• 実用的な展開: コストの高い摂動ベースのアプローチに特有の高精度な忠実性を、LRPと同等の極めて低い計算予算で提供するため、リソースが制限されている実用的なアプリケーションに適しています。
• 堅牢性: 本手法は、異なるデータセット（一般的および医療用）、モデルアーキテクチャ（ViT, DeiT, SegFormer）、およびタスクタイプ（分類およびセグメンテーション）にわたって一貫した性能を示しています。

著者らは制限事項についても言及しており、具体的には、GradSkipはモデルの内部情報（勾配と活性化）へのアクセスを必要とするため、純粋なフォワードパスのみの勾配フリーな設定には適用できないこと、また現在の実装ではCLSトークンを破棄しているため、CLSトークンがグローバルな文脈を集約する標準的なViTへの適用には制限があること（ただし、CLSトークンに依存しないSegFormerのようなバリアントには直接適用可能であること）を指摘しています。