ICE: 統計的根拠に基づく LLM 説明の忠実度評価フレームワーク

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）の出力に対する「説明（Explanation）」が、モデルの実際の推論プロセスをどの程度忠実に反映しているかを評価する新たなフレームワークICE (Intervention-Consistent Explanation) と、それを用いたベンチマークICEBenchを提案するものです。既存の評価手法の限界を克服し、統計的有意性、複数の介入操作、そしてランダムベースラインの導入により、説明の「忠実度（Faithfulness）」をより厳密に測定することを目的としています。

1. 背景と問題提起

LLM の意思決定プロセスを解釈可能にするために、アテンション重みや勾配に基づく説明手法が広く用いられています。しかし、これらの説明が本当にモデルの推論根拠を反映しているか（忠実であるか）を判断する既存の基準には重大な欠陥があります。

• 統計的検証の欠如: 既存のベンチマーク（例：ERASER）は、単一の介入（トークンの削除など）によるスコア（充足性・網羅性）を報告するのみで、統計的検定を行いません。したがって、得られたスコアが偶然の結果なのか、真の忠実度なのかを区別できません。
• 単一操作のバイアス: 従来の「トークン削除（Deletion）」という単一の介入操作は、分布外（OOD: Out-of-Distribution）の入力を生成しやすく、モデルの予測能力そのものを低下させるため、説明の忠実度を過大評価または過小評価するバイアスが生じます。
• 反忠実性（Anti-Faithfulness）の検出不能: ランダムなトークン選択よりも悪い性能を示す「モデルを誤って導く説明（反忠実）」を検出するランダムベースラインが欠落しています。
• 説明と妥当性の混同: 人間が「もっともらしい（Plausible）」と感じる説明と、モデルの内部推論に「忠実（Faithful）」な説明は異なる概念ですが、既存評価では混同されがちです。

2. 提案手法：ICE フレームワーク

ICE は、説明手法が特定したトークンが、ランダムに選択されたトークンよりもモデルの予測に重要であるかを統計的に検証する枠組みです。

2.1 核心的なアプローチ

• 正規化スコア保持率（NSR）: 説明により特定されたトークン（Rationale）のみを残した際、元の予測スコアがどの程度保持されるかを測定します。
  $$NSR(r) = \frac{s(x_r) - s(\emptyset)}{s(x) - s(\emptyset)}$$
  （$s(x)$: 元の入力スコア、$s(x_r)$: 説明トークンのみでのスコア、$s(\emptyset)$: 空入力ベースライン）
• ランダム化検定（Randomization Test）: 説明トークンの NSR を、同じ長さのランダムに選択されたトークンセットの NSR 分布と比較します。
  • 勝率（Win Rate）: 説明トークンがランダムベースラインより高い NSR を示す確率。
  • 効果量（Effect Size）: コーエンの d 値を用いて、忠実度の大きさを定量化。
  • 信頼区間: ブートストラップ法による 95% 信頼区間を算出。

2.2 多様な介入操作（Operators）

ICE は、単一の介入に依存せず、複数の操作を比較することでバイアスを排除します。

1. 削除（Deletion）: 非説明トークンを削除する。短文では過大評価しやすいが、長文では OOD により予測が崩壊しやすい。
2. 検索埋め込み（Retrieval Infill）: 非説明トークンを、他のコーパスから抽出した自然な文脈のトークンで置換する。表面形式を維持しつつタスク関連情報を破壊するため、より現実的な評価が可能。
   • 注: 自動回帰モデルではマスキングは不適切な出力を招くため、削除と検索埋め込みを採用。

2.3 評価プロセス

1. 入力 $x$ と説明 $E$ から重要トークン（Rationale）を抽出。
2. 複数の操作（削除、検索埋め込み）を適用し NSR を計算。
3. ランダムトークンセットに対して同様の操作を $M$ 回繰り返し、NSR の分布を生成。
4. 説明トークンの NSR がランダム分布を上回る頻度（勝率）と p 値を算出。

3. 主要な貢献

1. 操作依存性の忠実度（Operator-aware Faithfulness）:
   忠実度は単一の数値ではなく、介入操作に依存する量であることを実証。操作間の乖離（最大 44 ポイント）は、テキストの長さや言語によって変動し、評価結果を左右する。
2. 統計的根拠の確立:
   ランダムベースラインと勝率、効果量、信頼区間を導入することで、偶然の一致と真の忠実度を区別。さらに、ランダムベースラインがないと検出できない「反忠実性（Anti-Faithfulness）」を特定可能にしました。
3. 多言語・多アーキテクチャへの一般化:
   英語 4 タスク、6 言語（フランス語、ドイツ語、ヒンディー語、中国語、トルコ語、アラビア語）、7 種類の LLM（1.5B〜8B パラメータ）で評価を実施。トークン化の違いだけでは説明できないモデルと言語の相互作用を発見しました。

4. 実験結果と知見

7 つの LLM（GPT-2, Llama 3.x, Qwen, Mistral, DeepSeek, LFM2 等）と 4 つの英語タスク、6 つの非英語言語で評価を行いました。

• 操作間の乖離とテキスト長の影響:

  • 短文（SST-2 など）: 「削除」操作の方が「検索埋め込み」よりも高い勝率を示す傾向（例：Llama-3.2 で最大 44 ポイントの差）。削除により自然な文脈が失われるが、短文では説明トークンが予測を支配しやすいため。
  • 長文（IMDB など）: 逆転現象が発生。「削除」は長文の大半を消去するため OOD となり予測が崩壊する一方、「検索埋め込み」は自然な長さを保つため、後者の方が高い忠実度を示すモデルが多い。
  • 結論: 操作が一致する場合は強い証拠となるが、不一致の場合はその乖離が「方法論的不確実性」を示唆する。

• 反忠実性（Anti-Faithfulness）の発見:
  設定の約 3 割（英語の削除操作では 56 件中 18 件）で、説明がランダム選択よりも悪い結果（勝率 < 50%）を示しました。特に勾配（Gradient）ベースの説明では、文頭の名詞や機能語を重要視し、実際の感情語を無視するケースが多く見られました。

• 忠実度と妥当性（Plausibility）の無相関:
  人間の評価（人間が納得する説明との一致度）と ICE による忠実度スコアの相関はほぼゼロ（$|r| < 0.04$）でした。これは、「人間に納得される説明」と「モデルの推論に忠実な説明」は全く異なる軸であることを示しています。

• 多言語におけるモデル・言語相互作用:
  トークン化の複雑さ（例：ヒンディー語の 8.1 倍のトークン展開）だけで忠実度が決まるわけではありません。モデルと言語の組み合わせによって、どの説明手法が有効かが劇的に変化します（例：ドイツ語では Qwen が卓越、フランス語では GPT-2 が反忠実）。

5. 意義と結論

ICE は、LLM の説明評価において「単一のスコア」に依存する従来のパラダイムを転換し、**「介入操作に依存する比較評価」と「統計的厳密性」**を提唱しました。

• 実用的な指針: 特定のタスクや言語、モデルに対して、どの説明手法（アテンション vs 勾配）が信頼できるかを提示するガイドラインを提供します（例：短文の感情分析にはアテンション、長文には勾配が有効な場合があるなど）。
• 安全性への寄与: 反忠実な説明（モデルを誤って導くもの）を検出できるため、医療や法廷などハイスケールな分野での LLM 利用におけるリスク管理に貢献します。
• オープンソース: ICE フレームワークと ICEBench ベンチマークを公開し、再現性を保証しています。

本論文は、説明可能性（XAI）の分野において、より厳密で統計的に裏付けられた評価基準の必要性を強く訴え、今後の研究の方向性を示す重要な成果です。