From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

大きな問題：AIが作り話をする時

非常に賢い学生（大規模言語モデル、LLM）がテストを受けている場面を想像してみてください。時には、この学生は答えを知っていて正解します。しかし時には、答えを知らないにもかかわらず、もっともらしく聞こえるけれど実際には完全に作り話である内容を、自信満々に書き込んでしまうことがあります。AIの世界では、これを**ハルシネーション（幻覚）**と呼びます。

AIが嘘をついているかどうかを見抜くのは困難です。既存の手法は、学生の答案を採点するために別の教師を雇うようなもの（コストがかかり、時間がかかる）、あるいは学生に同じテストを10回受けさせ、回答が食い違うかどうかを確認するようなものです（計算負荷が高く、複雑な推論タスクにおいては混乱を招きます）。

新しいアイデア：「分布外（Out-of-Distribution）」からの借用

この論文の著者たちは、賢いアイデアを思いつきました。**「ハルシネーションを、パーティーに紛れ込んだ見知らぬ客のように扱ってみよう」**というアイデアです。

コンピュータサイエンスには、**「分布外（OOD）検知」**と呼ばれる、よく研究されている問題があります。クラブのセキュリティガードを想像してください。ガードは、常連客がどのような見た目であるかを正確に把握しています。もし、奇妙なコスチュウムを着た知らない人が入ってきたら、ガードは「おい、この人はここにはふさわしくないぞ」と判断できます。

• 旧来の世界では： セキュリティガード（AI）は、特定の顔（学習データ）を認識するように訓練されています。新しい顔が現れたとき、ガードはそれでも誰であるかを推測しようとしますが、それは実際にはただの当てずっぽうに過ぎません。これが分類器における「ハルシネーション」です。
• 論文の洞察： 著者たちは、AIがハルシネーションを起こしているとき、本質的にこれと同じことをしているのだと気づきました。つまり、AIは自分が本当に答えるように訓練されていない質問に答えようとしたり、自分の知識の「コンフォートゾーン（快適な領域）」から踏み出したりしているのです。

そこで、ゼロから新しい検知器を作る代わりに、こう問いかけました。「セキュリティガードの道具を使って、AIの嘘を見抜けないだろうか？」

解決策：幾何学的な視点（「地図」の比喩）

この論文は、AIの内部的な思考をテキストとしてではなく、**巨大な地図上の「点」**として捉えることを提案しています。

1. 地図： AIの脳は、多次元の巨大な部屋だと想像してください。AIが発しうるあらゆる言葉は、その部屋の中に植えられた特定の「重みベクトル（旗）」を持っています。

2. 旅： AIが文章を書くにつれて、ドット（現在の思考を表すもの）がこの部屋の中を移動していきます。

3. 2つの検知器： 著者たちは、このドットを見張るために、2つの「セキュリティガード」の道具を応用しました。

   • ツールA：「ハグ」検知器（NCI）

     • 比喩： AIが、今選んだ単語を表す「旗」にハグしようとしていると考えてください。AIが自信を持っているなら、ドットは旗のすぐ隣にあり、「ハグ」はタイトになります。
     • ハルシネーション： AIがハルシネーションを起こしているとき、ドットは旗から遠く離れています。「ハグ」は弱くなっているか、存在しません。論文ではこれを**特徴量の近接性（Feature Proximity）**と呼んでいます。ドットが旗から遠すぎる場合、それは嘘です。

   • ツールB：「壁」検知器（fDBD）

     • 比喩： 部屋が、目に見えない壁によってゾーンに分割されていると考えてください。各ゾーンには特定の単語が割り当てられています。「猫」のゾーンにいれば、AIは「猫」と考えています。
     • ハルシネーション： AIがハルシネーションを起こしているとき、ドットは「犬」のゾーンや「鳥」のゾーンの近く、つまり壁のすぐそばでフラフラしています。どちらの側にあるのか確信が持てなくなっているのです。論文ではこれを**決定境界への距離（Distance to Decision Boundary）**と呼びます。ドットが壁に近すぎる場合、それは嘘です。

課題と解決策

著者たちは、これらのツールを他の分野からそのままコピー＆ペーストすることはできないと分かっていました。なぜなら、AIは巨大で複雑だからです。彼らは3つの大きな問題を解決しなければなりませんでした。

1. 「欠落した地図」問題（学習統計量）

• 問題点： ドットが旗から「遠い」かどうかを知るためには、セキュリティガードは通常、正しいドットが普段どこに集まっているかを示す地図を必要とします。しかし、AIの学習データは膨大で、秘密であり、あまりにも大きすぎて地図化できません。
• 解決策： データから地図を描く代わりに、彼らは数学的な魔法を用いました。AI自身の内部構造に基づいた「中立的な点」を計算したのです。これは、セキュリティガードが「自分はクラブの地図を持っていなくても、みんなが迷っているときはダンスフロアの中心に集まるということが分かっている」と気づくようなものです。これにより、元の学習データを必要とせずに嘘を検知できるようになりました。

2. 「多すぎる旗」問題（膨大な語彙数）

• 問題点： AIには何十万もの可能な単語（旗）があります。すべての単語に対して、部屋の中のすべての「壁」への距離をチェックするのは、あまりにも時間がかかりすぎます。
• 解決策： 彼らは、最も可能性の高い上位1,000単語の壁だけをチェックすることに決めました。これは、セキュリティガードが、出口の近くに立っている人々だけを気にかけ、部屋の奥の方で明らかに立ち去る様子がない人々は無視するようなものです。これにより、検知器は高速かつ正確になりました。

3. 「ランダム性」問題（確率的デコーディング）

• 問題点： 時にはAIが、絶対的な最適解を選ぶのではなく、ランダムに（サイコロを振るように）単語を選ぶことがあります。これにより、ドットが飛び跳ね、セキュリティガードを混乱させる可能性があります。
• 解決策： 彼らは、たとえAIが少し飛び跳ねたとしても、文章全体を通じたドットの平均的な位置は真実を伝えていることを見出しました。AIがハルシネーションを起こしている場合、たとえ動き回っていたとしても、ドットは壁の近くに滞在する時間が長くなります。このため、検知器はこのランダム性があっても完璧に機能します。

結果

この論文は、これらの新しい「セキュリティガード」ツールを、数学や論理パズルなどの難しい推論タスクでテストしました。

• 追加学習なし： AIに新しいことを教える必要はありませんでした。
• シングルショット： 回答を一度見るだけで済みました（AIに同じ質問を10回繰り返させる必要はありません）。
• より高い精度： これらの幾何学的なツールは、AIが創造的であったりランダムであったりする場合でも、従来の手法よりもはるかにうまくハルシネーションを検知しました。

まとめ

この論文はこう言っています。「新しい嘘発見器を作ろうとするのはやめましょう。」 代わりに、AIの内部的な幾何学構造を見てください。もしAIの思考が、選んだ単語の「旗」から遠かったり、あるいは他の単語の「壁」のすぐそばでフラフラしていたりするなら、それはおそらく嘘をついています。これらのシンプルな幾何学的なルールを用いることで、私たちはAIのハルシネーションを、速く、安価に、そして正確に捉えることができるのです。