Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models

本論文は、トランスフォーマーモデルの予測を解釈しやすくするため、層ごとの統合勾配とクラス固有の注意勾配を融合させ、文脈依存性と階層的な関連性の流れを捉える新たな「文脈認識型層別統合勾配（CA-LIG）フレームワーク」を提案し、多様なタスクとモデルにおいて既存手法よりも忠実で意味的に一貫した説明を提供することを実証しています。

要約

この論文は、**「AI がなぜその答えを出したのか、もっと深く、文脈を踏まえて説明できる新しい方法」**を提案するものです。

AI（特に「トランスフォーマー」という種類の高度なモデル）は、映画のレビューが「良い」のか「悪い」のか、あるいは画像が「猫」なのか「犬」なのかを非常に正確に判断できます。しかし、その判断の**「中身（ブラックボックス）」**は人間には見えません。

これまでの説明方法にはいくつかの欠点がありました。この論文は、それらを解決する**「CA-LIG（文脈を考慮した階層的な統合勾配）」**という新しい仕組みを提案しています。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 問題：これまでの「AI の説明」は不十分だった

AI の判断理由を説明しようとするこれまでの方法は、大きく分けて 3 つの問題がありました。

• 問題①：最終結果だけを見て、過程を無視する
  • 例え話： 料理の味見をして「美味しい！」と言ったシェフに、「なぜ美味しいのか？」と聞くと、「最後の味付けが完璧だったから」としか答えません。でも、実際には、材料選び（1 層目）、下処理（中間層）、炒める火候（深い層）など、工程ごとの積み重ねが味の良さを決めています。これまでの方法は、この「工程ごとの変化」を見逃していました。
• 問題②：単語ごとの重要性と、文脈のつながりを切り離している
  • 例え話： 「この映画は最悪で、演技も酷い」という文があったとします。
    • 従来の方法は、「最悪」という単語だけを赤く光らせて「これが重要だ」と言います。
    • でも実際には、「最悪」と「演技も酷い」がセットになって初めて、強い否定の意味になります。単語単体ではなく、**「どうつながっているか」**という文脈まで説明できていませんでした。
• 問題③：AI の内部構造（残差接続やアテンションなど）を無視している
  • 例え話： 複雑な工場のラインを説明する際、機械の動き（内部構造）を無視して、ただ「完成品」だけを見て理由を推測するのは不正確です。AI の内部には、情報が何度もループしたり、別の経路を通ったりする仕組みがありますが、これまでの説明はこれを考慮していませんでした。

---

2. 解決策：CA-LIG（文脈を考慮した階層的な統合勾配）

この論文が提案するCA-LIGは、AI の「思考プロセス」を**「階層（レイヤー）」ごとに追跡し、「文脈」**を考慮して説明する新しい方法です。

仕組みのイメージ：「探偵が事件を解く過程」

CA-LIG は、事件（AI の判断）を解く探偵のようなものです。

1. 階層ごとの追跡（レイヤー・バイ・レイヤー）：

   • 探偵は、事件の「最初の目撃情報（入力）」から始まり、中継点（中間層）、そして最終的な結論（出力）まで、すべての段階で証拠を集めます。
   • 「この単語は 1 段階目では重要じゃなかったけど、5 段階目では『悲しい』という感情と結びついて重要になった」といった変化を捉えます。

2. 文脈の統合（アテンション・グラデントとの融合）：

   • 探偵は、単に「誰が言ったか」だけでなく、「誰が誰に話しかけたか（文脈）」も重視します。
   • CA-LIG は、**「単語そのものの重要性」と「単語同士のつながり（アテンション）」**を掛け合わせます。
   • 例え話： 「最悪」という単語が、**「演技」**という単語と強く結びついている場合、CA-LIG は「最悪」だけでなく、「演技」というつながりも一緒に「重要度が高い」として赤く光らせます。これにより、単なる単語の羅列ではなく、意味のある塊として説明できます。

3. プラスとマイナスの明確化：

   • 従来の方法は「重要度」だけを示すことが多かったですが、CA-LIG は**「支持する証拠（プラス）」と「反対する証拠（マイナス）」**を区別して表示します。
   • 例え話： 「この映画は最悪（赤：マイナス）」と「面白い（緑：プラス）」が混在している場合、どちらが勝ったのか、どうバランスが取れたのかが一目でわかります。

---

3. 何がすごいのか？（成果）

この新しい方法を実験したところ、以下のような素晴らしい結果が出ました。

• より正確な説明：
  • 従来の方法だと「意味のない単語」が重要視されたり、逆に重要なつながりが見逃されたりしましたが、CA-LIG は人間が納得できるような、論理的な説明を提供しました。
• 長文でも文脈を捉える：
  • 長い文章でも、文の初めと終わりにある単語がどうつながっているかを正しく説明できます（例：「最初の文で言及された『証拠』が、最後の文で『聖書』と結びついている」など）。
• 画像認識でも使える：
  • 文章だけでなく、猫や犬の画像を判別する AI でも使えました。従来の方法は背景のノイズに反応してしまいましたが、CA-LIG は**「耳」や「目」など、本当に重要な部分**を正確に指摘できました。

---

まとめ：なぜこれが重要なのか？

これまでの AI 説明は、**「最終的な答えの裏付け」だけを見ていましたが、CA-LIG は「答えに至るまでの思考の道筋」**全体を可視化します。

• 従来の方法： 「この単語が重要でした」
• CA-LIG： 「この単語は、他の単語とこうつながって、この段階で重要性が増し、最終的にこの結論に至りました」

これにより、AI の判断をより深く理解し、**「なぜ AI はそう判断したのか？」という疑問に対して、人間が納得できる「透明性」と「信頼性」**を与えることができるようになります。

まるで、AI の頭の中にある「思考の地図」を、詳細な案内付きで私たちに見せてくれるような技術なのです。

技術概要

論文「Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models」の技術的サマリー

本論文は、Transformer モデルの予測を解釈するための新しいフレームワーク**「文脈認識型レイヤー別統合勾配（Context-Aware Layer-wise Integrated Gradients: CA-LIG）」**を提案するものです。Transformer の深層構造における意思決定プロセスの「ブラックボックス化」を解消し、より忠実で文脈に敏感な説明（Explainable AI: XAI）を実現することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

Transformer モデル（BERT, GPT など）は自然言語処理（NLP）や画像認識において最高性能を達成していますが、その複雑な階層構造により、どのようにトークンが変換され、最終的な予測に至るかが不明瞭です。既存の説明手法には以下の3 つの根本的な限界があることが指摘されています。

1. 最終層バイアス: 多くの手法が最終出力層でのみ説明を生成しており、モデルの初期層から中間層を経て意味情報がどのように形成・進化していくかを捉えきれていない。
2. 局所と大域の統合不足: 勾配ベースの手法（局所的なトークンの重要度）とアテンションベースの手法（大域的な構造相互作用）が分離されており、両者を統合した一貫した説明表現が欠如している。
3. 文脈認識の欠如: トークン間の依存関係、残差接続、フィードフォワード変換、層間を流れる情報など、Transformer アーキテクチャの中核をなす構造的要因を十分に考慮していない。

特に、単なるアテンション重みの可視化はモデルの推論を忠実に反映しないことが知られており、より理論的根拠に基づいた説明が必要とされています。

2. 提案手法：CA-LIG フレームワーク

CA-LIG は、Transformer の各ブロック（層）で**レイヤー別統合勾配（Layer-wise Integrated Gradients: LIG）**を計算し、これをクラス固有のアテンション勾配と融合させる階層的なフレームワークです。

主要な構成要素

1. レイヤー別統合勾配（LIG）の計算:

   • 従来の IG が最終層でのみ適用されるのに対し、CA-LIG は各 Transformer ブロック $l$ において、隠れ表現 $x^{(l)}$ と基準（baseline）$x'^{(l)}$ の間の経路積分を計算します。
   • これにより、各層におけるトークンの関連性スコア（Relevance Score）を段階的に追跡し、意味情報の進化を捉えます。
   • 式 (2) に示すように、各層で勾配を積分し、トークンごとの関連性スコア $R^{(l)}_t$ を算出します。

2. クラス固有のアテンション勾配の計算:

   • 各ブロック $b$ におけるアテンション行列 $A^{(b)}$ に対して、出力スコア $y_c$ の勾配 $\nabla A^{(b)}$ を計算します。
   • これにより、どのトークン間のアテンション接続が特定のクラスの予測に敏感に反応しているかを特定します。

3. 文脈認識型融合（Context-Aware Fusion）:

   • LIG によるトークンレベルの関連性スコアと、アテンション勾配を融合します。
   • トークンの相対的な重要度でアテンション勾配を重み付け（Hadamard 積）し、局所的な重要度と構造的な依存関係の両方を反映した統合スコアを生成します。
   • 融合係数 $\lambda$ を用いて、アテンション勾配の感度と入力トークンの関連性のバランスを調整可能です。

4. 階層的なアトリビューションの集約:

   • 各層で得られた融合されたアテンション行列を再帰的に乗算（Rollout）することで、入力から深い層への情報の流れを統合し、最終的な署名付き（正負の値を持つ）アトリビューションマップを生成します。
   • これにより、予測を支持する証拠（正）と、それを抑制する証拠（負）を明確に区別できます。

3. 主要な貢献

• 階層的で文脈認識型の XAI フレームワークの提案: トークンの関連性が Transformer 層をどう進化するかを捉え、最終層だけでなく層ごとの解釈性を可能にしました。
• 統合勾配とアテンション勾配の融合メカニズム: 局所的なトークン関連性と大域的な相互作用パターンを橋渡しする新しいアトリビューション機構を開発しました。
• 多頭アテンション経路における関連性保存: 正規化と関連性の保存を強制することで、Transformer 構造に特化した解釈性を向上させました。
• 広範な実証評価: 感情分析、低リソース言語でのヘイトスピーチ検出、長文・多クラス分類、そして画像分類（Vision Transformer）まで、多様なタスクとモデル（BERT, XLM-R, AfroLM, MAE）で検証を行いました。

4. 実験結果

CA-LIG は、IMDB 感情分析、20 Newsgroups（長文分類）、Amharic 語のヘイトスピーチ検出、CIFAR-10/ASIRRA（画像分類）など、多様なデータセットとモデルで既存手法（Integrated Gradients, LRP, Attention Rollout など）と比較評価されました。

• 定量的評価:

  • ERASER ベンチマーク（Movie Reviews）: 人間のラテラル（根拠）との一致度を測る Token-F1 スコアにおいて、CA-LIG はベースライン手法を一貫して上回りました。
  • 画像分類の忠実度: パーチュベーション（挿入・削除）に基づく AUC 評価において、CA-LIG はクラス定義領域（例：猫の目や鼻）に集中した説明を提供し、ベースライン手法よりも高い忠実度を示しました。

• 定性的評価:

  • 長距離依存の捕捉: 「Christian」や「atheist」といったトピックにおいて、文脈的に遠く離れたトークン（例："evidence" と "bible"）間の関連性を正しく捉え、単なる表面レベルの頻度ではなく、深い構造的な意味を反映していることが確認されました。
  • 層ごとの感度分析: 浅い層では構文的特徴、中間層では意味的依存関係、深い層ではタスク固有の意思決定が反映されていることを可視化し、モデルの内部推論プロセスを忠実に追跡できることを示しました。
  • 特殊トークンの偏りの回避: 従来の IG が [CLS] トークンを過剰に重視する傾向があるのに対し、CA-LIG は文脈的に相互作用するトークンに関連性を再分配し、より直感的な説明を提供します。

5. 意義と結論

本論文で提案された CA-LIG は、Transformer モデルの「ブラックボックス」問題に対する重要な進展です。

• 理論的意義: 単なる最終層の説明に留まらず、モデルの階層的な推論プロセス全体を文脈を考慮して追跡する手法を提供しました。
• 実用的意義: 感情分析から低リソース言語、画像認識まで、ドメインを横断して適用可能であり、モデルの信頼性向上、デバッグ、誤り解析に寄与します。
• 将来展望: 現在はエンコーダモデルに焦点を当てていますが、デコーダモデルやマルチモーダルモデルへの拡張、融合係数の自動学習などが今後の課題として挙げられています。

総じて、CA-LIG は「完全性（Completeness）」「文脈認識（Context-Awareness）」「階層的忠実性（Hierarchical Fidelity）」を統合し、Transformer の意思決定を人間に理解可能な形で提示する、より包括的で信頼性の高い XAI 手法として確立されました。