HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models

本論文は、大規模言語モデルのハルシネーションをスパンレベルで局所化し、その生成メカニズムを特定するとともに外部証拠を因果的に追跡する新しいフレームワーク「HART」と、その評価に特化した構造化データセットを提案し、既存の検索ベース手法を上回る性能を実証したものである。

Shize Liang, Hongzhi Wang

公開日 2026-03-09
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ 物語の舞台:AI という「自信満々の嘘つき」

現代の AI(大規模言語モデル)は、本を読むのも書くのも得意な天才です。でも、たまに**「ハルシネーション(幻覚)」という病気を発症します。
これは、
「一見もっともらしいけど、実は完全な嘘」**を、自信満々に話してしまう状態です。

  • 例: 「アインシュタインは、1921 年にノーベル賞を『相対性理論』のために受賞し、オッペンハイマーと協力して核兵器の設計図を描いた」と言われたとします。
    • ⚠️ 嘘の箇所: 核兵器の設計や、プリンストンでのオッペンハイマーとの協力関係は事実と異なります。
    • これまでの問題: 従来の AI 研究は、「ここが嘘だ!」と指摘するだけでした。「なぜ嘘をついたのか?」「本当の事実は何なのか?」までは追及していませんでした。

🛠️ 解決策:HART(ハート)という「真実の追跡システム」

この論文では、HARTという新しいシステムを提案しています。これは単なる「嘘発見器」ではなく、**「嘘のルーツをたどり、証拠を突きつける探偵」**のようなものです。

HART は、嘘を 4 つのステップで解き明かします。

1. 📍 ステップ 1:嘘の場所を特定する(スパンの局所化)

まず、長い文章の中から「ここが嘘だ!」という特定のフレーズをピンポイントで見つけます。

  • 例:「核兵器の設計図を描いた」という部分だけを切り取ります。

2. 🧠 ステップ 2:なぜ嘘をついたのか?原因を特定する(メカニズムの帰属)

次に、AI がなぜその嘘をついたのか、**「病名」**をつけます。

  • 作り話(Fabrication): 何も根拠がないのに勝手に作り上げた。
  • 一般化しすぎ(Overgeneralization): 一部の事実を拡大解釈してしまった。
  • 文脈の漏れ(Context Leakage): 前の話と混同してしまった。
  • HART は、「あ、この嘘は『作り話』という病気で発生したんだな」と診断します。

3. 📚 ステップ 3:本当の証拠を探す(証拠の検索)

ここが最大の特徴です。HART は、**「AI の嘘を否定する、本当の事実(証拠)」**を外部の図書館(インターネットや百科事典)から探してきます。

  • 探した結果:「アインシュタインは核兵器の設計図を描いていない。実際には、核兵器開発の『マンハッタン計画』には関与したが、設計図を描いたわけではない。また、ノーベル賞は光電効果で受賞した」という本当の事実が見つかります。

4. 🔗 ステップ 4:嘘と証拠を結びつける(因果の追跡)

最後に、**「嘘の箇所」「本当の証拠」**を明確に結びつけます。

  • 「ここ(嘘)は、ここ(証拠)と矛盾しています。原因は『作り話』でした」という完全なレポートが完成します。

🧩 比喩で理解しよう:「料理の味見」

このシステムを料理に例えてみましょう。

  • 従来の AI 研究:
    「このスープ、塩すぎ!」と指摘するだけ。
    (どこが塩すぎるのか、なぜ塩すぎになったのか、どう直せばいいかはわからない。)

  • HART(この論文のシステム):

    1. 場所特定: 「このスプーンで掬った部分(特定のフレーズ)が塩すぎだ!」
    2. 原因特定: 「あ、これは**『塩を間違えて入れた』**(エラーメカニズム)のせいだ!」
    3. 証拠検索: 「レシピブック(外部証拠)を見ると、塩は小さじ 1 杯で、大さじ 1 杯は間違いだと書いてある!」
    4. 追跡完了: 「だから、この部分は『塩を間違えた』という原因で、レシピブックの『小さじ 1 杯』という事実と矛盾している」と証拠付きで説明できる

🌟 なぜこれがすごいのか?

  1. 透明性が高い: AI がなぜ間違ったのか、その「思考のミステリー」が解き明かされます。
  2. 証拠ベース: 単に「間違ってる」と言うだけでなく、「こう書かれているから間違ってる」と根拠を示せます。
  3. 医療や法律に役立つ: 病院や法廷では、AI の「根拠のない嘘」は命取りになります。HART は、そのリスクを減らし、AI を信頼できるパートナーにします。

📝 まとめ

この論文は、**「AI の嘘を『発見する』だけでなく、『なぜ嘘をついたのか』を分析し、『本当の事実』と結びつけて説明する」**という、新しい探偵手法(HART)を提案しました。

これにより、AI は単に「答えを出す機械」から、「自分の間違いを説明し、正しく修正できる信頼できるパートナー」へと進化するための第一歩を踏み出しました。