💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

本論文は、デコーダ専用 LLM における帰属忠実性の評価時に保持語数を制御するための $\pi$ -Soft-NC および $\pi$ -Soft-NS 評価フレームワークを導入するとともに、勾配とアテンション信号を効果的に組み合わせることで包括性指向の優れた性能を達成する Grad-ELLM 手法を併せて提示する。

原著者： Xin Huang, Antoni B. Chan

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xin Huang, Antoni B. Chan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を平易な言葉と日常的な比喩を用いて説明したものです。

大きな問題：リンゴとオレンジを比較すること

あなたが探偵のどちらが事件解決に優れているかを決める裁判官だと想像してください。あなたには探偵Aと探偵Bという二人の探偵がいます。

探偵Aは5つの手がかりを見つけますが、それらはすべて非常に重要です。
探偵Bは50の手がかりを見つけますが、実際に有用なのは5つだけで、残りは単なるノイズです。

過去、研究者たちはAIが自身の思考をどの程度忠実に説明しているか（「忠実性」）を測定するために、探偵が指摘した手がかりを取り除いたときにAIの答えがどの程度変化するかどうかを見ていました。

欠陥： 従来の測定方法は以下のようでした。探偵Bが50の手がかりのリストを提示し、そのうち45を取り除いた場合、AIの答えが大きく変化したとしても、それは手がかりが悪かったからではなく、単に多くの単語を取り除いたからかもしれません。一方、探偵Aが5つの短いリストを提示した場合、それらを取り除いても答えの変化は小さくなるかもしれません。それは最初から単語数が少なかったからに過ぎません。

従来の指標は不公平でした。それは、多くの情報を保持する探偵と、非常に少ない情報を保持する探偵を比較するものであり、論理がごちゃごちゃしていても、より多くの情報を保持する方が「説明が上手い」ように見せていました。

解決策：「等しい保持」のルール

この論文の著者たちは、ゲームに対する新しいルールを提案しています：誰もが正確に同じ量の情報を保持しなければならないというルールです。

彼らは $\pi$ -Soft-NCと $\pi$ -Soft-NSという新しい手法を導入しました。ここで $\pi$ （パイ）を情報の「音量調節つまみ」と考えてください。

つまみを0.5に設定すると、探偵Aも探偵Bも、文に含まれる単語の正確に50%を保持しなければなりません。
0.1に設定すると、両者とも10%のみを保持しなければなりません。

両方の手法に「同じ量の情報」を保持させることで、AIの決定を説明するために最も多くの単語を選んだ誰かではなく、実際に正しい単語を選んだ誰かが誰なのかを、初めて確認できるようになります。

新しい探偵：Grad-ELLM

著者たちは、この新しいルールをテストするために、Grad-ELLMという新しい探偵手法も構築しました。

仕組み： AIが単語を一つずつ（連鎖反応のように）物語を書いていると想像してください。AIが次の単語を選んだ理由を理解するために、Grad-ELLMは同時に2つのことを確認します。
1. 「Attention」マップ： AIはどの単語を見ていたか？（部屋の中でAIが誰をじっと見つめているかのようなもの）
2. 「Gradient」マップ： それらの単語を変更すると、実際には結果がどの程度変化したか？（特定のヒーターを動かすと部屋の温度がどの程度変化するようなもの）

Grad-ELLMはこれら2つの視点を組み合わせています。単に「最も重要な」単語を1つ選ぶのではなく、文全体にわたって重要度の滑らかで連続的なマップを作成します。これは、ある一点を指差すのではなく、どこに「熱」（重要度）があるかを正確に示すヒートマップのようなものです。

彼らが発見したこと

著者たちは、LlamaやMistralといった有名なAIモデルを用いて、新しいルールと新しい探偵をテストしました。タスクには以下のようなものがありました。

感情分析： 映画レビューが肯定的か否定的かを判断する。
オープン生成： 質問への回答を記述したり、物語を続けたりする。

結果：

古いルールはバイアスがあった： 従来の指標を使用すると、多くの単語を保持する手法が人為的に良く見える傾向がありました。
新しいルールは真実を明らかにする： 新しい「等しい保持」ルールのもとでは、Grad-ELLMが広範な証拠を見つけるのに優れていることが証明されました。それは、AIの決定が、合唱のように多くの単語が協力して支えていることを示しました。
単一の勝者はいない： 興味深いことに、すべての面で最良の手法は一つだけではありませんでした。
- いくつかの手法は、1つか2つの最も重要な単語を見つけること（「決定的な証拠」を見つけること）に優れていました。
- Grad-ELLMは、いくつの単語が答えに貢献したかという全体像を示すことに優れていました。

結論

この論文は、パン屋のための新しい秤のようなものです。以前は、重い皿に乗せたケーキと軽い皿に乗せたクッキーを量っても、どちらのデザートが実際により重いのかは分かりませんでした。著者たちは両方の側に標準的な皿を追加しました。

彼らはまた、いくつかの甘い部分を持つだけでなく、風味を全体に均等に広げる新しい種類のケーキ（Grad-ELLM）も焼きました。彼らの新しい秤は、いくつかの手法が「甘い部分」を見つけるのに優れている一方で、彼らの新しいケーキの方が、デザート全体がどのように組み立てられているかを示すのに優れていることを示しています。

要約すると： 彼らは、AIの説明をテストする方法を修正し、単語の量に騙されないようにするとともに、AIの思考のより完全で誠実な姿を示す新しい手法を導入しました。

技術的サマリー：制御された保持情報を用いたデコーダ専用 LLM 帰属の忠実度評価

問題定義

大規模言語モデル（LLM）、特に Llama や Mistral などのデコーダ専用アーキテクチャは、意思決定プロセスを説明するための入力帰属手法を用いて評価されるケースが増えています。しかし、これらの説明の「忠実度（信頼性）」を比較することは依然として困難です。

既存のソフト摂動に基づく忠実度指標、具体的にはSoft-NC（正規化ソフト包括性）とSoft-NS（正規化ソフト十分性）は、重大なバイアスを抱えています。これらの指標は、帰属スコアに基づいて入力を摂動させることで帰属の品質を評価します。しかし、異なる帰属手法はしばしば異なる平均値を持つスコア分布を生成します。その結果、平均スコアが高い手法は、ソフト摂動中に多くの単語を保持することになり、帰属がより正確であるからではなく、摂動された入力により多くの情報が含まれているという理由だけで、忠実度スコアが人為的に膨らんでしまいます。この問題は、帰属スコア分布が生成ステップによって大きく変動し得る自己回帰型のデコーダ専用 LLM において、特に顕著です。

手法

1. $\pi$ -Soft-NC と $\pi$ -Soft-NS

既存の指標におけるバイアスを解消するため、著者は $\pi$ -Soft-NCと $\pi$ -Soft-NSを提案します。これらは、**制御された目標保持確率（ $\pi$ ）**の下で帰属手法を比較する評価フレームワークです。

メカニズム: 生の帰属スコアを比較する代わりに、このフレームワークは各帰属分布をアルファ変換（ $\tilde{s}_i = s_i^\alpha$ ）を用いて変換します。パラメータ $\alpha$ は、変換されたスコアの期待保持確率が特定の目標 $\pi \in [0, 1]$ と一致するように数値的に求解（例えば、二分探索を用いる）されます。
公平な比較: 異なる手法に同じ期待情報量（同じ $\pi$ ）を保持させることで、摂動強度の違いから、帰属分布の品質と較正を分離して評価します。
評価プロトコル: 著者は、帰属の異なる側面を評価するための 2 つのプロトコルを導入します。
- Dynamic-Routing（動的経路）: 摂動された入力に基づいてトランスフォーマの注意を動的に再計算します。これは、変化するモデル条件下で帰属がどの程度有用な単語を特定できるかを測定します。
- Fixed-Routing（固定経路）: 注意マップを元の摂動されていない入力からキャッシュし、摂動中に再利用します。これは、注意の再配分からトークン内容の因果的寄与を分離します。
可視化: $\pi$ を 0 から 1 まで掃引することで曲線（ $\pi$ -Soft-NC/NS 対 $\pi$ ）を生成します。曲線下面積（AUC）が性能を要約します。低い $\pi$ における高いスコアは、コンパクトな十分証拠を示し、高い $\pi$ 全体での強力な性能は、広範な包括性を示します。

2. Grad-ELLM

著者は、自己回帰型のデコーダ専用 LLM に特化した勾配ベースの帰属手法であるGrad-ELLMを導入します。

着想: 双方向エンコーダ型視覚言語モデル向けに設計された Grad-ECLIP からの勾配 - 注意集約の概念を、逐次的なテキスト生成に適応させたものです。
メカニズム:
- 各デコードステップにおいて、次のトークンのロジットに対する帰属を計算します。
- 勾配由来のチャネル重要度（ロジットに対する注意出力チャネルの感度）と注意由来のトークン重要度（トークン重み）を組み合わせます。
- 過度にスパースな「ピーキー」なソフトマックス重みを避けるため、クエリ - キー類似度に対して「緩められた」正規化（最小 - 最大正規化）を採用し、連続的な帰属分布を生成します。
- 帰属スコアは、選択されたデコーダレイヤー全体で集約され、最終的なヒートマップを形成します。

主要な貢献

バイアスの特定: 既存の Soft-NC/NS 指標が、異なるスコア平均を持つ手法を不公平に比較していることを特定しました。これらは本質的に異なる量の保持情報を評価しているためです。
新しい評価指標: 目標確率 $\pi$ による期待保持情報を制御することで比較を正規化する、 $\pi$ -Soft-NC と $\pi$ -Soft-NS の提案。
新しい帰属手法: デコーダ専用 LLM の逐次的性質に特化して勾配と注意信号を統合する、Grad-ELLM の導入。
包括的な実証分析: 分類タスクとオープン生成タスクにおいて、代表的な帰属手法（Attention、Saliency、Integrated Gradients、DeepLIFT、Value Zeroing、ReAGent を含む）の厳密な比較。

実験結果

実験は、5 つのデータセット（IMDb、SST2、BoolQ、TellMeWhy、WikiBio）において、Llama-3.1-8BおよびMistral-7B（70B に関する追加結果あり）に対して実施されました。

元指標の診断: 生の Soft-NC/NS の分析はバイアスを確認しました。Random や Grad-ELLM などの手法は、DeepLIFT などのスパースな手法に比べて有意に多くのトークン（高い $\pi$ ）を保持しており、比較不可能なスコアにつながりました。
$\pi$ -Soft-NC 下での性能: Grad-ELLMは、Llama と Mistral の両方で、包括性指向の忠実度（平均 AUC 最高）を達成しました。これは Grad-ELLM が広範な証拠カバレッジを効果的に特定することを示唆しています。
$\pi$ -Soft-NS 下での性能: 単一の手法が十分性指向の評価（ $\pi$ -Soft-NS）を支配することはありませんでした。Input $\times$ Gradient などのスパースな手法がトップ 3 で良好な性能を示し、最も重要な単語をより正確に特定している可能性を示しましたが、普遍的に優位な手法はありませんでした。
Random との比較: ほとんどの手法は、保持確率 $\pi > 0.5$ の場合のみ、Random 帰属に対して優位性を示しました。これは、これらのタスクでは、上位ランクのトークンだけでなく、重要な文脈情報（より多くの情報）が必要であるか、あるいは現在の手法が上位帰属の正確な順序付けに苦労していることを示唆しています。
定性的分析: 感情分類の例において、Grad-ELLM は孤立したトークン（例：「positive」）ではなく、構成的なフレーズ（例：「very little positive」）を正常に強調し、ベースラインよりも否定のニュアンスをよりよく捉えました。

意義と主張

本論文は、提案された評価フレームワークが LLM 向けの XAI 手法を比較するための厳密な基準を提供すると主張しています。保持情報を制御することで、 $\pi$ -Soft-NC/NS は、コンパクトな十分証拠を提供する手法と、広範な包括性指向証拠を提供する手法を区別することを研究者に可能にします。

著者は、Grad-ELLM は極端にスパースなランキングではなく、較正された高密度な帰属分布を生成するように設計されていることを強調しています。したがって、Grad-ELLM は提案されたソフト摂動指標では卓越していますが、上位少数のトークンの順序付けが支配的なハード摂動ランキング指標（Insertion/Deletion など）では最適ではない可能性があります。論文は、忠実な帰属は単一の指標に依存するのではなく、複数の軸（十分性対包括性）に沿って評価されるべきであり、提案された指標は自己回帰モデルにおける帰属証拠の組織化の理解の進展を支援すると結論付けています。

著者が認める限界:

Grad-ELLM はモデル内部の状態（勾配、注意）へのアクセスを必要とするため、オープンソースモデルに限定されます。
本研究は忠実度に焦点を当てており、人間による解釈可能性（plausibility）には焦点を当てていません。これは依然として客観的に定量化することが困難です。
指標は依然として埋め込みレベルの摂動に依存しており、自然なテキスト分布と完全に一致するとは限りません。