Probabilistic Attribution For Large Language Models

技術的サマリー：大規模言語モデルのための確率的帰属

問題定義
大規模言語モデル（LLM）の生成性は、前の文脈に基づいて応答トークンをサンプリングするために条件付き確率を計算することに依存しています。これらのモデルが高リスク分野でますます展開される一方で、その「ブラックボックス」性は、出力の妥当性、不確実性、および入力トークンが生成された応答に与える具体的な影響の評価を複雑にしています。既存の説明可能な AI（XAI）手法は、内部アーキテクチャへのアクセスを必要とするモデル固有のアプローチ（例えば、勾配ベースのセリファマップ）と、入力 - 出力の摂動に依存するが安定性や因果的な忠実性が欠ける可能性があるモデル非依存のアプローチ（例えば、SHAP、LIME）の 2 つの範疇に陥ることが多いです。トークンの感度、モデルの安定性、および学習収束をよりよく理解するために、基盤となる計算構造に依存せず、統計学の第一原理のレンズを通じて LLM の振る舞いを解釈する手法が必要です。

手法
著者は、LLM の推論を確率過程の数学的理論の中に位置づけます。この枠組みにおいて、LLM はモデルの学習データから構築された確率測度を持つトークンの系列に対する確率分布を定義するものとして扱われます。手法の核心は、生成された応答が与えられたプロンプト内の特定のトークンの重要性を定量化するように設計されたモデル非依存の指標である**帰属スコア（AS）**です。

AS は、ベイズの定理を用いて次のトークンの対数確率を逆算することで導出されます。具体的には、プロンプト $p$ と応答 $r$ に対して、プロンプト内の $\mu$ 番目のトークンの帰属スコア $A_\mu$ は、以下の 2 つの確率の対数比として定義されます：

1. 完全なプロンプト $p$ が与えられた場合の応答 $r$ の確率。
2. $\mu$ 番目のトークンが周辺化された（すなわち、$p_\mu$ が語彙内の任意の値を取り得る）プロンプト $p$ が与えられた場合の応答 $r$ の確率。

数学的には、$A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$ です。

LLM は直接、非連続または周辺化された系列の確率を出力しないため、著者はモデルが放出する標準的な条件付き確率のみを使用して分母を再構築する手法を導出しました（数式 4–9）。これには、周辺化された位置におけるすべての可能な語彙トークンに対して、残りの文脈の確率で重み付けして合計することが含まれます。

AS を補完するものとして、著者は文脈エントロピー指標を導入しました：

• プロンプトのみの文脈エントロピー（$S^{(P)}$）： 残りのプロンプトトークンのみで条件付けられた、特定の位置におけるトークン分布のエントロピー。
• プロンプト＋応答の文脈エントロピー（$S^{(P+R)}$）： 残りのプロンプトと生成された応答の両方で条件付けられたエントロピー。
• KL ダイバージェンス： 2 つの文脈下でのトークン分布間のダイバージェンス。応答がプロンプトトークンに関するモデルの不確実性を大幅に変化させる異常を検出するために使用されます。

さらに、プロンプトトークンを上位 90% の候補トークンに置換した際の正確な応答一致の頻度分布を測定することで置換エントロピーを計算し、応答の安定性の実証的指標を提供します。

主要な貢献
本論文は、4 つの主要な貢献を概説しています：

1. モデル非依存の帰属： AS は、内部重みや勾配へのアクセスを必要とせず、放出された対数確率のみに依存して、あらゆる LLM におけるテキスト生成タスクに適用可能です。
2. パラメータフリーの設計： この手法は、LIME や ReAgent とは異なり、ハイパーパラメータを必要としません。これにより再現性と客観性が向上します。
3. 安定性と収束指標： 文脈エントロピーおよび置換エントロピーの指標は、モデルの安定性およびモデルが学習データ分布にどの程度収束したかの程度を示す指標として機能します。
4. 組み込みの感度： この手法は統計学の第一原理に基づいているため、帰属スコアは説明可能な結果の正しさをその中核的手法の一部として本質的に評価します。

実験結果
著者は、GPT-2、GPT-Neo、Llama、Qwen の変種を含む 1 億 3700 万から 17 億のパラメータを持つ 8 つの LLM を、読解、事実検索、欺瞞的なクエリなど様々なタスクを含む 7 つのプロンプトで評価しました。

• トークン感度： 高い AS 値は、特定の応答にとって重要なトークンに対応し、負の AS 値は、応答の文脈を考慮した場合、モデルが置換を好んだトークンを示しました。
• モデル収束： 文脈エントロピーの分析により、古いモデル（GPT-2、GPT-Neo）は、現代の指示チューニングモデル（例：Llama 3.1）と比較して、ほぼゼロの AS 値においてより高いエントロピーを示すことが明らかになりました。著者は、ほぼゼロの AS における高いエントロピーを「ノイズトークン」（応答確率にほとんど寄与しないが、文脈によって制約されていないトークン）として解釈し、古いモデルにおける学習収束の悪さを示唆しています。
• 異常検出： この枠組みは、モデルがプロンプトの言い換えを好む特定のトークン（例えば、特定の質問において「？」よりも「in」を好む場合）や、応答の文脈が予想外にトークン分布を広げ（エントロピーを増加させ）る場合などの特定の異常を正常に識別しました。
• XAI ベースラインとの評価比較： AS は、Infidelity、Deletion/NAOPC、Comprehensiveness、Sufficiency などの指標を用いて、Input X Gradient、Gradient Shapley、LIME、Occlusion、ReAgent と比較されました。AS は競争力のある性能を発揮し、他の手法と同等かそれ以上の性能を示すことが多く、特にアーキテクチャ固有のチューニングなしで異なるモデル全体にわたる堅牢性を示しました。
• 計算コスト： この手法は計算集約的であり、すべての可能な置換トークンに対する合計を行うため、語彙サイズに比例する GPU 時間を必要とします。ただし、著者は、合計を確率の高いトークンに制限することで最適化の可能性があることに言及しています。

意義と主張
本論文は、LLM を確率過程として枠組み化することで、内部の「知識表現」に関する仮定を避ける、厳密かつモデル非依存の解釈可能性の枠組みを提供すると主張しています。その意義は、以下の点にあります：

• モデルの内部にアクセスすることなく、プロンプトトークンが応答に与える因果的影響を定量化する。
• エントロピー分析を通じてモデルの学習の質（収束）を診断し、不良な学習を示す「ノイズトークン」を特定する。
• ユーザーを生成物の不確実または不安定な部分に誘導し、解釈可能性を向上させる。
• 他の高速な XAI 手法におけるハイパーパラメータの調整のためのパラメータフリーの基準として機能する。

著者は、このアプローチはより高い計算コストを伴うものの、LLM の振る舞いに対するより深く、統計的に裏付けられた理解を提供し、学習の欠陥の特定と、より一貫性のある応答を生成するためのプロンプトの設計を可能にすると結論付けています。