論文「Probing for Knowledge Attribution in Large Language Models」の技術的サマリー

この論文は、大規模言語モデル（LLM）が生成する回答が、**プロンプト内の文脈（Contextual Knowledge）に基づいているのか、それともモデル内部の重みに蓄積された知識（Parametric Knowledge）**に基づいているのかを、生成過程の隠れ状態（Hidden States）から検出する手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

LLM は流暢だが根拠のない主張（ハルシネーション）を生成する傾向があります。ハルシネーションは大きく 2 つのタイプに分類されます。

1. 忠実性の違反 (Faithfulness violations): ユーザーが提供した文脈を誤って使用する場合。
2. 事実性の違反 (Factuality violations): 内部知識の誤りによる場合。

既存のハルシネーション検出手法は「回答が正しいか（事実性）」に焦点を当てがちですが、**「回答がどの情報源に基づいているか（帰属/Attribution）」**を特定する技術は不足しています。特に、検索拡張生成（RAG）システムにおいて、モデルが検索された文脈を無視して内部知識に依存してしまう（またはその逆）という「知識の競合」が重大な問題となっています。ユーザーは、回答の真偽だけでなく、その出所（プロベナンス）を知ることで信頼性を判断する必要があります。

2. 手法とアプローチ

2.1 データセット構築：ATTRIWIKI

既存のデータセットでは、文脈と内部知識が同時に存在し、どちらが使用されたかを明確に区別するのが困難でした。そこで、著者らはATTRIWIKIという自己教師ありデータパイプラインを提案しました。

• データソース: Wikipedia の記事（2 万件をサンプリング）。
• 生成プロセス:
  1. エンティティ選択: 記事から特定の固有名詞（エンティティ）を選択。
  2. 知識テスト: 対象モデルに、文脈なしでそのエンティティを思い出せるかテストします。
     • 既知 (Known): モデルが内部知識で答えられる場合 → 文脈からエンティティを削除し、パラメトリック（内部知識）からのみ回答させる。
     • 未知 (Unknown): モデルが答えられない場合 → エンティティを文脈に残し、文脈からのみ回答させる。
  3. 対称性の確保: 文脈と内部知識のどちらか一方のみが利用可能な状態を厳密に制御し、ラベル付きのペアデータを自動生成します。
• 特徴量抽出: 生成中の隠れ状態（Hidden States）から、特に「生成開始トークン (FTG)」と「エンティティの最終トークン (LTE)」の 2 点で特徴量を抽出します。

2.2 帰属分類（Attribution Classification）

抽出した隠れ状態を用いて、どの知識源が支配的かを分類する**プローブ（単純な線形分類器）**を学習します。

• モデル: 3 つのオープンウェイトモデル（Llama-3.1-8B, Mistral-7B, Qwen2.5-7B）を対象。
• 分類器の構成:
  1. Final-LR: 最終層の隠れ状態のみを使用するロジスティック回帰。
  2. Layer-LR: 全層の隠れ状態を重み付けして結合し、ロジスティック回帰で分類（層ごとの重みを学習）。
  3. Layer-MLP: 結合された表現に対して 2 層の MLP を使用。
• 評価: ATTRIWIKI 内での性能と、外部データセット（SQuAD, WebQuestions）への転移学習（再学習なし）での汎化性能を評価。

3. 主要な結果

3.1 高い分類精度

ATTRIWIKI データで学習したプローブは、LLM の隠れ状態から帰属情報を非常に高精度に予測できました。

• Llama-3.1-8B, Mistral-7B, Qwen-7B において、Macro-F1 スコアが 0.96 に達しました。
• 特にLayer-LR（層重み付けロジスティック回帰）が最も性能が高く、最終層のみを使うベースライン（Final-LR）より 7〜11 ポイント向上しました。
• 層の分析: 帰属情報は、モデルの**中層から上層（Mid-to-Upper Layers）**で最も明確に線形分離可能であることが PCA 分析で示されました。

3.2 外部データセットへの汎化

ATTRIWIKI で学習した分類器を、再学習なしで外部の QA データセット（SQuAD: 文脈依存、WebQuestions: 内部知識依存）に適用したところ、0.94〜0.99 の高精度を維持しました。これは、帰属信号がモデルアーキテクチャやドメインに依存しない普遍的な性質であることを示唆しています。

3.3 帰属ミスマッチとエラー率

「帰属の不一致（Attribution Mismatch）」、すなわちモデルが誤った知識源（例：文脈があるのに内部知識で答える、あるいはその逆）を選択した場合の分析を行いました。

• 帰属ミスマッチはエラー率を最大 70% 増加させました。
• 特に、誤った文脈に依存して内部知識を無視した場合、エラーリスクが顕著に高まりました。
• ただし、帰属が正しくても回答が事実と異なる場合もあり、帰属検出だけでハルシネーションを完全に防ぐことはできないことが示されました。

3.4 簡易プローブの有効性

複雑な MLP 分類器よりも、単純な線形分類器（Layer-LR）の方が、デコイ（答えが文脈に含まれているが無関係な場合）に対するロバスト性が高く、過学習（レキシカルなショートカット）に陥りにくいことが示されました。

4. 主要な貢献

1. ATTRIWIKI の提案: 文脈と内部知識を厳密に分離し、自己教師ありで大量のラベル付きデータを生成するパイプライン。
2. 帰属信号の線形可読性の実証: LLM の隠れ状態（特に中〜上層）には、知識源を区別する線形に分離可能な信号が存在することを初めて大規模に実証。
3. 帰属ミスマッチの定量化: 知識源の混同がハルシネーションや誤答に直接結びつくことを示し、帰属検出の重要性を立証。
4. 汎用性の確認: 特定のドメインやモデルに特化せず、異なる QA データセットやモデルアーキテクチャに転移可能なことを示した。

5. 意義と今後の展望

• RAG システムへの応用: 検索された文脈がモデルに無視されているかどうかをリアルタイムで検知し、再検索や検証をトリガーするメカニズムの実装が可能になります。
• 信頼性の向上: ユーザーに対して「この回答は検索結果に基づいていますか、それともモデルの記憶に基づいていますか」を明示することで、回答の信頼性を高めることができます。
• ハルシネーション検出の新たな軸: 「正誤」だけでなく「出所」を監視する新たな診断軸を提供し、既存のハルシネーション検出手法を補完します。

限界点:

• 現在の手法はエンティティ（固有名詞）に焦点を当てており、エンティティの明確な区切りがない自然な会話や長文生成への適用には課題が残ります。
• 分類器はモデルごとに再学習が必要であり、モデルの知識が更新されるたびにデータ再生成と再学習が必要です。

結論として、この研究は LLM の「内部状態」を解析することで、回答の信頼性を高めるための実用的な診断ツールを提供し、ハルシネーション対策における「帰属（Attribution）」の重要性を浮き彫りにしました。