💬 NLP

Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs

この論文は、デコーダー専用の言語モデルにおける生成タスクの解釈性を向上させるため、セマンティック遷移ベクトル、ヘッセ行列に基づく感度スコア、そして KL 発散を組み合わせた新しいアトリビューション手法「HETA」を提案し、既存手法を上回る忠実性と人間のアノテーションとの整合性を示したことを述べています。

原著者： Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

HETA：AI の「思考の痕跡」を解き明かす新技術

こんにちは！今日は、2026 年の国際会議「ICLR」で発表された、非常に面白い研究論文についてお話しします。タイトルは**「HETA（ヘタ）」**というものです。

この論文は、**「AI（特に文章を書く AI）が、なぜその言葉を選んだのか？」**という謎を解き明かすための新しい方法を紹介しています。

🕵️‍♂️ 従来の方法が抱えていた「黒箱」問題

まず、今の AI は「黒箱（ブラックボックス）」と呼ばれています。
AI が「今日は晴れですね」と答えたとき、なぜそう思ったのか、人間には分かりません。
これまでの研究では、AI の「注意力（どこを見ていたか）」や「一次の反応（単純な計算）」を調べることで、AI の思考を推測しようとしてきました。

しかし、これには大きな欠点がありました。

注意力は嘘をつくことがある： AI が「ここを見ていた」と言っても、実はその言葉が答えに直接関係していないことがあります。
単純な計算では見逃す： AI の思考は複雑な非線形（直線的ではない）なプロセスです。単純な「足し算」のような計算では、重要な要素を見逃してしまいます。

まるで、「料理人が鍋を眺めている姿（注意力）」だけを見て、「なぜこの料理が美味しいのか？」を推測しようとするようなものです。鍋を眺めているからといって、それが味を決める唯一の要因とは限りませんよね？

🚀 HETA の登場：3 つの魔法の道具

そこで登場するのが、**HETA（Hessian-Enhanced Token Attribution）です。
これは、AI が「次の言葉」を生成する際に、「どの入力単語が、どれだけ重要な役割を果たしたか」**を、より正確に、より深く分析する新しい方法です。

HETA は、3 つの異なる「視点」を組み合わせることで、AI の思考を解き明かします。

1. 🧭 道しるべ（意味の流れを追う）

まず、AI の内部を流れる「情報の流れ」を追跡します。
AI は文章を生成する際、過去の単語から未来の単語へ、層（レイヤー）を越えて情報を伝達します。HETA は、**「この単語が、最終的な答えにたどり着くための『道』を作っているか？」**を確認します。

例え話： 迷路でゴールにたどり着くための「正しいルート」だけを追うように、AI が無関係な単語に惑わされないようにします。

2. 🌊 波の揺らぎ（曲率で敏感さを測る）

次に、AI の反応が「どれくらい敏感か」を測ります。
従来の方法では、AI の反応が「平坦（変化しない）」な場所では、その単語の重要性を見逃していました。HETA は、**「AI の思考の山や谷（曲率）」**を調べることで、微妙な変化も捉えます。

例え話： 静かな湖（平坦な場所）では、小さな石を投げても波立たないように見えますが、実は水面下で大きなうねりが起きていることがあります。HETA はその「水面下のうねり」まで感じ取れる、非常に敏感なセンサーのようなものです。

3. 📉 情報の損失（消去して確認する）

最後に、「もしこの単語がなかったらどうなるか？」を実験します。
特定の単語を消去（マスク）して、AI の答えがどう変わるか（確率分布がどう変わるか）を計算します。

例え話： パズルから「キモとなるピース」を一つ取り除いて、全体がどう崩れるかを見るようなものです。もし答えが全く変わらなければ、そのピースは重要ではありません。大きく変われば、それは重要なピースです。

🎯 HETA がすごい理由

HETA は、この 3 つの要素（道しるべ、波の揺らぎ、情報の損失）を**「掛け算」**のように組み合わせて、最終的な「重要度スコア」を出します。

これまでの研究（LIME や Integrated Gradients など）は、これらの中の「1 つ」や「2 つ」しか見ていませんでした。そのため、AI の複雑な思考を正しく捉えきれませんでした。
しかし、HETA は**「道筋（因果関係）」「敏感さ（非線形性）」「情報量」**のすべてを一度に考慮するため、人間が「あ、ここが重要だ」と思う部分と、AI が実際に重視している部分が、驚くほど一致することが実験で証明されました。

📊 実験結果：他の方法よりも優れている

研究者たちは、GPT-J や LLaMA などの様々な AI モデルでテストを行いました。
その結果、HETA は以下の点で既存のどんな方法よりも優れていました。

信頼性が高い： AI が「なぜその答えを出したか」を、人間が納得できる形で説明できる。
頑丈（ロバスト）： AI の設定（温度パラメータなど）を少し変えても、重要な単語の特定は安定している。
人間との一致： 人間が「ここが重要だ」とラベル付けした部分と、HETA が重要だとした部分が、非常に高い精度で一致する。

🌟 まとめ：AI の「心」に寄り添う技術

HETA は、AI を単なる「計算機」ではなく、**「文脈を理解し、複雑な判断を下す存在」**として理解するための、新しい窓を開く技術です。

従来の方法： 「AI がどこを見ていたか」を推測する（推測に頼る）。
HETA： 「AI が実際にどう反応し、どう変化するか」を多角的に分析する（証拠に基づいた分析）。

この技術が普及すれば、医療や法律、自動運転など、**「AI の判断理由が明確であることが命題となる分野」**で、AI への信頼がさらに高まるでしょう。AI の「黒箱」が、透明で理解しやすい「ガラス箱」に変わる、そんな未来への一歩と言えるかもしれません。

参考： この研究は、フロリダ大学やオクラホマ大学、アメリカ陸軍士官学校などの研究者たちによって行われ、コードとデータセットも公開されています。AI の「透明性」を高めるための、非常に重要なステップです。

論文要約：Hessian-Enhanced Token Attribution (HETA)

タイトル: Hessian-Enhanced Token Attribution (HETA): INTERPRETING AUTOREGRESSIVE LLMS
掲載: ICLR 2026 (Conference Paper)

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の解釈可能性（Interpretability）は、医療や金融などの高リスク分野での信頼性向上のために不可欠です。しかし、既存の帰属分析（Attribution）手法には以下の重大な限界があります。

アーキテクチャのミスマッチ: 多くの既存手法（LIME, Integrated Gradients, Attention Rollout など）はエンコーダ型モデル向けに設計されており、デコーダ型（自己回帰型）モデルの生成タスクに直接適用すると、因果関係や文脈的な複雑さを捉えきれません。
線形近似の限界: 既存の多くは一次微分（勾配）や線形近似に基づいています。しかし、LLM の生成プロセスは非線形であり、勾配がゼロになる領域（平坦な領域）でも有限の摂動が出力に大きな影響を与える場合があります。このため、勾配ベースの手法は重要なトークンの影響を見逃す（Under-attribute）傾向があります。
注意機構（Attention）の信頼性不足: Attention 重みは「モデルがどこを見るか」を示すだけであり、「何が出力に因果的に影響を与えたか」を必ずしも反映していません。
不安定性: 既存手法は、デコード時のハイパーパラメータ（温度、top-p など）や構文の言い換えに対して不安定であり、一貫した説明を提供できません。

2. 提案手法：HETA (Methodology)

著者らは、デコーダ型 LLM 向けに設計された新しい帰属分析フレームワーク**「Hessian-Enhanced Token Attribution (HETA)」**を提案しました。HETA は、以下の 3 つの相補的なコンポーネントを統合し、トークンレベルの因果的・半構造的な説明を生成します。

3 つの主要コンポーネント

意味遷移影響 (Semantic Transition Influence):
- 目的: 因果的な方向性を確保し、ターゲットトークンへの影響経路を追跡する。
- 手法: デコーダの因果マスク下で、アテンション重み付きのバリューフロー（Attention-Value Flow）をターゲット位置まで転送（Rollout）します。これにより、入力トークンがどの層・どのヘッドを通じて最終的な予測に寄与したかを、因果的にフィルタリングされたスコアとして算出します。
Hessian ベースの感度分析 (Hessian-Based Sensitivity):
- 目的: 非線形相互作用と二次的な効果（曲率）を捉える。
- 手法: ターゲットの対数尤度に対する入力埋め込みの Hessian 行列（二次微分）を考慮します。勾配がゼロでも関数が敏感に変化する領域（平坦な領域）での影響を捉えるため、Hessian-Vector Product (HVP) を用いて二次の感度スコアを推定します。これにより、一次近似では見逃される非線形な依存関係を捉えます。
情報理論的インパクト (KL Divergence for Information Contribution):
- 目的: トークンの情報論的な寄与を定量化する。
- 手法: 特定のトークンをマスクした際、ターゲットトークンの予測分布がどのように変化するかを KL 発散（Kullback-Leibler Divergence）で測定します。これにより、そのトークンが予測の不確実性をどの程度減少させたか（情報損失）を評価します。

最終スコア

これら 3 つの要素を統合し、ターゲット条件付きの帰属スコア Attr(xi → xT) を算出します。
$Attr(x_i \to x_T) = M_T[i] \cdot (\beta \cdot S_i^{(T)} + \gamma \cdot I(x_i \to x_T))$

$M_T[i]$ : 因果ゲート（意味遷移スコア）。ターゲットへの因果経路がないトークンのスコアを 0 にします。
$S_i^{(T)}$ : Hessian ベースの感度スコア（非線形性の捕捉）。
$I(x_i \to x_T)$ : KL 発散に基づく情報貢献度。
$\beta, \gamma$ : 重み係数。

3. 主要な貢献 (Key Contributions)

HETA フレームワークの提案: デコーダ型 LLM 向けに特化し、因果的意味フロー、二次感度（Hessian）、情報理論的損失を統合した、忠実性（Faithfulness）の高いトークン帰属手法を開発しました。
新規評価データセットの構築: 生成タスクにおけるトークンレベルの帰属品質を体系的に評価するための、キュレーションされたベンチマークデータセット（NarrativeQA と SciQ を組み合わせた 2,000 件のデータ）を公開しました。これには、正解に関連する証拠トークンと、無関係な文脈（ディストラクタ）を明確に区別する構造が含まれています。
広範な実験と SOTA 性能: 4 つの異なるデコーダ型モデル（GPT-J, LLaMA, Phi-3, Qwen2.5）と複数の強力なベースライン手法に対して評価を行いました。その結果、HETA は既存手法を凌駕する性能を示しました。

4. 実験結果 (Results)

HETA は、以下の指標において既存手法（Integrated Gradients, Attention Rollout, ContextCite, ReAgent など）を大幅に上回りました。

忠実性 (Faithfulness): 入力摂動に対する出力分布のシフトを評価する Soft-NC および Soft-NS スコアで、すべてのモデルとタスクで最高値を記録しました（例：GPT-J 6B において、LongRA タスクで 10.3 を達成し、2 位の ReAgent を 2 倍以上上回りました）。
人間のアノテーションとの整合性: 提案した「依存文帰属 (DSA)」メトリックにおいて、HETA は無関係な文脈（ディストラクタ）への重みを抑え、正解に必要な証拠トークンに高い重みを割り当てました（DSA スコア 4.80〜5.10）。一方、勾配や注意機構ベースの手法は負のスコアを示すなど、因果的トークンの特定に失敗していました。
ロバスト性:
- デコードハイパーパラメータ: 温度、top-p、top-k などの設定変更に対して、HETA のスコア変動は 1% 未満であり、極めて安定していました（ベースラインは 2〜5% 変動）。
- 構文変化: 能動態・受動態の言い換えなどに対するアテンションの整合性（Spearman 相関）も最も高く、構文に依存しない安定した説明を提供します。
アブレーション研究: 3 つのコンポーネント（意味フロー、Hessian、KL）のいずれかを除去すると性能が顕著に低下することが確認され、これらが相補的に機能していることが示されました。

5. 意義と結論 (Significance)

解釈可能性の新たな基準: 自己回帰型 LLM におけるトークンレベルの説明において、単なる線形近似や注意機構の可視化を超え、**「因果的」「非線形」「情報論的」**な側面を統合した新しい標準を確立しました。
実用的な信頼性: 生成モデルの「ブラックボックス」性を解きほぐし、モデルの判断根拠を人間が理解可能な形で提示することで、医療や法務など高リスク分野での LLM 導入における信頼性向上に寄与します。
限界と将来展望: HESSIAN の計算コストは高いものの、低ランク近似やウィンドウ処理による高速化により、実用的なスケーラビリティを確保しています。将来的には、さらに効率的な近似手法の開発や、より長文脈への対応が期待されます。

総じて、HETA は生成型言語モデルの内部動作をより深く、正確に、かつ頑健に解釈するための画期的なアプローチとして位置づけられます。