🤖 machine learning

Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction

本論文は、LLM の応答をコップマン作用素理論を用いて動的システムとしてモデル化し、高価なサンプリングや外部知識の検索を必要とせずに単一パスで最先端の性能を達成する、低コストかつブラックボックス型の幻覚検出手法を提案する。

原著者： Dan Wilson, Mohamed Akrout

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

原著者： Dan Wilson, Mohamed Akrout

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。あなたが語り手を聞いているとします。時には、過去に関する真実の話をしてくれます。他の時には、完璧に滑らかで自信に満ちているように聞こえるが、完全に作り話の物語を紡ぎます。これが大規模言語モデル（LLM）が行うことです：彼らは「幻覚」を起こし、現実のように聞こえるが実際には存在しない事実を創造します。

通常、これらの嘘を見抜くのは困難です。AI に同じ質問を百回も繰り返して、話が変化するかどうかを確認するか（これは時間がかかり高価です）、あるいは回答を別の事実確認者に送信する必要があります（これにはインターネット接続と追加のツールが必要です）。

この論文は、巧妙で低コストなショートカットを提案します。話の「内容」をチェックする代わりに、著者たちは話の「リズム」に耳を傾けます。

核心となるアイデア：「踊る」物語

著者たちは、AI を作家ではなく、力学系として扱います。これは、ステージを移動するダンサーのように、予測可能なパターンを通じて移動する機械という意味の、少し難解な表現です。

ステージ（埋め込み空間）： AI が発するすべての単語は、巨大で目に見えない 3 次元（あるいは 1000 次元）の空間内の数学的な点に変換されます。AI が文章を生成するにつれて、それは点から点へと移動し、経路、つまり「軌道」を作成します。
2 つのダンスフロア： 研究者たちは、AI が真実を語る場合、その経路は特定のダンスフロア（「多様体」）に従うことを発見しました。一方、嘘をつき（幻覚を起こす）場合、それは全く異なるダンスフロアに足を踏み入れます。単語自体は似て見えるかもしれませんが、単語間の数学的な「ステップ」は異なります。
予測ゲーム： 彼らは 2 つの「予測器」（2 人の異なるダンスコーチのようなもの）を構築しました。
- コーチ A は「真実のダンス」のステップを学びました。
- コーチ B は「嘘のダンス」のステップを学びました。
スコア： 新しい文章が入ってくると、両方のコーチに次のステップを予測させます。
- 文章が真実の場合、コーチ A（真実）は次のステップを完璧に予測しますが、コーチ B（嘘）はつまずきます。
- 文章が嘘の場合、コーチ B がうまく予測し、コーチ A がつまずきます。
- 彼らは**「微分残差スコア」**を計算します。つまり、一方のコーチが他方よりもどれだけうまくいったかです。「嘘コーチ」が勝った場合、システムはそれを幻覚としてフラグ付けします。

これが画期的な理由

ワンパスの驚異： ほとんどの他の手法は、AI に同じ質問を複数回繰り返したり、データベースで事実を検索したりする必要があります。この手法は、回答を1 回見るだけで即座に判断します。本物の絵画のギャラリーと比較するのではなく、筆致を一度見るだけで偽物を見分けるようなものです。
ブラックボックス対応： 大手企業が隠している AI の内部の脳を見る必要はありません。必要なのは出力されたテキストだけです。これは「ブラックボックス」検出器のように機能します。
調整可能な厳格さ： 著者たちは「較正」機能を追加しました。あなたが裁判官だと想像してください。時には非常に厳格にして、些細な誤りさえも捉えたい場合があります。他の時には、大きく明白な嘘だけを気にする場合もあります。このシステムは、あなたからの数例のサンプルだけで調整でき、「嘘発見器」の感度を完璧に設定できます。

彼らがどのようにテストしたか

彼らはこの「リズム検出器」を 3 つの異なるデータセットでテストしました。

WikiBio： 伝記の事実誤認をチェック。
HaluEval： 要約の作り話の詳細をチェック。
FELM： 数学と科学における推論をチェック。

結果：

彼らの手法は、現在利用可能な最も高価でリソースを消費する手法と同程度か、それ以上の性能を発揮しました。
興味深いことに、文章が長いほど（ダンスが長いほど）、「真実のダンス」と「嘘のダンス」の違いを見分けるのが容易であることがわかりました。
1 つの AI モデル（Llama-3 など）でシステムを訓練し、別のモデル（Mistral など）でテストしても、驚くほどうまく機能しました。これは、「嘘のリズム」が異なる AI 間でも普遍的な特徴であることを示唆しています。

結論

この論文は、単語そのものではなく、単語の数学的な流れを分析することで AI の嘘を見抜く方法を導入しました。それは高速で、安価で、外部データベースを必要とせず、テキストを 1 回見るだけで機能します。歌詞ではなく、発話の「音楽」に耳を傾ける嘘発見器を持っているようなものです。

言及された限界：
この論文は、この手法が嘘を見抜くのに優れている一方で、真実が実際には何かを教えるものでも、AI の振る舞いを修正するものでもないことを指摘しています。これは修正器ではなく、検出器です。

技術的概要：動的システム予測による LLM 幻覚の低コスト・ブラックボックス検出

問題提起

大規模言語モデル（LLM）は、流暢だが事実と異なる内容を生成する「幻覚」と呼ばれる現象を頻繁に引き起こします。この問題は、医療、法務、金融などの高リスク分野における LLM の展開にとって重大な障壁となっています。幻覚は、有限の訓練データとオープンエンドな生成とのトレードオフにより理論上避けられないものですが、現在の検出手法には重大な限界があります。

ホワイトボックス/グレーボックス手法: 内部モデル状態（隠れ状態、アテンションマップ）やトークンレベルの確率へのアクセスを必要としますが、API 経由でアクセスされる商用のクローズドソースモデルでは利用できません。
既存のブラックボックス手法: 一般的に、計算コストの高いサンプリングベースの一貫性チェック（例：SelfCheckGPT）や外部知識の検索に依存しています。これらのアプローチは、高い API コスト、遅延、リソースオーバーヘッドを伴うため、リアルタイムの単一サンプルアプリケーションには実用的ではありません。

外部のグラウンディングや複数のサンプリングパスを必要とせず、生成されたテキストのみで動作する、自己完結型かつ低コストな検出フレームワークが緊急に必要とされています。

手法

著者らは、LLM を**ブラックボックス動的システム（DS）**として扱うことを提案します。トークンを独立した単位として分析するのではなく、この手法はトークン埋め込みの時間的進化を、モデルの潜在状態空間ダイナミクスの観測可能な実現としてモデル化します。

中核フレームワーク

動的システム定式化:
LLM の出力は、離散時間非線形システムとしてモデル化されます。
$x_{k+1} = F(x_k), \quad y_k = H(x_k)$
ここで、 $x_k$ は内部状態を、 $y_k$ は観測可能なトークン埋め込みを表します。著者らは、これらの観測値のダイナミクスを線形化するためにクープマン作用素理論を利用し、過去の観測に基づいて未来の状態を予測できるようにします。
フェーズ 1: データ駆動型動的システム推論（オフラインフィッティング）:
- この手法は、事実と幻覚の両方を含むラベル付きデータの少量セットを利用します。
- トークン埋め込みは、拡張ダイナミックモード分解（Extended DMD）を用いて高次元空間へ「リフト」されます。
- 2 つの異なる線形動的モデルが推論されます。
  - $A_c$ : 事実的（正しい）応答の遷移作用素。
  - $A_h$ : 幻覚的応答の遷移作用素。
- 仮説として、事実的応答と幻覚的応答は、埋め込み空間内の異なる多様体（ $M_c$ および $M_h$ ）上で進化し、異なるクープマン作用素推定値をもたらすというものです。
フェーズ 2: 微分残差スコアによる分類（推論）:
- 新しい未見の LLM 応答に対して、この手法は両方のモデル（ $A_c$ および $A_h$ ）を用いて、トークン埋め込み軌道の予測誤差（残差）を計算します。
- 応答レベルで**微分残差スコア（ $\Delta E$ ）**が計算されます。
  $\Delta E = \sqrt{\sum \epsilon_{h,j}^2} - \sqrt{\sum \epsilon_{c,j}^2}$
  ここで、 $\epsilon$ は予測誤差を表します。
- ロジック: 応答が幻覚的である場合、幻覚に適合したモデル（ $A_h$ ）は、事実的モデル（ $A_c$ ）よりも軌道をより正確に予測するはずであり、その結果として負の $\Delta E$ となります。逆に、事実的テキストは正の $\Delta E$ をもたらします。
- 決定閾値 $\eta$ を $\Delta E$ に適用し、出力を事実的（0）または幻覚的（1）として分類します。
好意を考慮した較正:
厳格さから軽微な不正確さへの許容まで、さまざまなユーザー要件に対応するために、著者らは較正メカニズムを導入します。ユーザーが注釈をつけた少量のデモンストレーションを用いて、閾値 $\eta$ を最適化し、特定の感度好みに適合させ、検出器を個々のユースケースに適応できるようにします。

主要な貢献

新規な動的視点: 本論文は、事実的および幻覚的応答が状態空間内の異なる多様体上で進化するという点で、LLM の出力をブラックボックス動的システムとして扱う最初の研究です。
計算効率の高い単一パス検出: 検索ベースまたは複数サンプルの手法とは異なり、このアプローチはトークン確率、外部知識ベース、または複数のフォワードパスを必要とすることなく、単一サンプルパスで幻覚を識別します。
最先端のパフォーマンス: この手法は、3 つの多様なベンチマーク（WikiBio、HaluEval、FELM）において、リソース集約的なベースラインと比較して、競争力のある、あるいは優れたパフォーマンスを達成します。
ユーザー中心の較正: ユーザー定義の厳格さレベルに基づいて分類閾値を調整するメカニズムの導入により、個別化された検出を可能にします。

実験結果

この手法は、3 つのデータセットで評価されました。WikiBio（伝記）、HaluEval（要約）、およびFELM（数学、科学、論理における推論）です。

パフォーマンス:
- HaluEval要約タスクにおいて、Llama-3 埋め込みモデルを使用したこの手法は99.3% の精度を達成し、ゼロショット検出器や他のブラックボックスベースラインを大幅に上回りました。
- WikiBioにおいて、この手法は非事実文の検出に際し、Llama-3 を使用して AUC-PR 85.3を達成し、SelfCheckGPT（81.96）を上回りました。
- FELMにおいて、Llama-3 変種は68.4のバランス精度を達成し、GPT-4 や他の強力なベースラインと同等かそれ以上の性能を示しました。
シーケンス長: より長いトークンシーケンスほどパフォーマンスが向上します。これは、より長い軌道がより豊かな意味論的情報を提供するためです。より小さな埋め込みモデルはシーケンス長の増加から最も恩恵を受け、Llama-3 のようなより大きなモデルは、より短いシーケンスであっても高いパフォーマンスを維持します。
クロス埋め込み汎化: 本研究は驚くべき転移性を観察しました。ある埋め込み空間（例：Qwen3）で適合された動的モデルは、異なる空間（例：Llama-3）に埋め込まれた応答の評価にも部分的に転用可能であり、異なる埋め込み多様体全体で事実性の普遍的な動的シグネチャが存在することを示唆しています。
効率性: このアプローチは、外部検索や複数サンプリングに伴う遅延とコストを回避し、リアルタイムアプリケーションに適した低オーバーヘッドのソリューションを提供します。

意義と主張

著者らは、この研究が既存の幻覚検出手法に対する低コストでスケーラブルな代替案を提供すると主張しています。動的システムの観点を通じて問題を再定義することで、トークン埋め込みの時間的進化が本質的に事実的内容と幻覚的内容の区別を符号化していることを実証しました。

本論文は、その手法が以下の点に特筆すべきであると強調しています。

モデル内部へのアクセスを必要としない（真のブラックボックス）。
外部知識の検索を必要としない。
複数のサンプリングパスを必要としない。
削減されたリソースオーバーヘッドで最先端の結果を達成する。

著者らは限界を認め、この手法は幻覚を検出するものの、外部の事実修正を提供したり、（プロンプト変更などによる）幻覚を軽減する戦略を提供したりはしないことを指摘しています。しかし、彼らはこの研究を、重要な分野での LLM の信頼性ある展開に必要な、自己完結型かつ自律的な検出フレームワークへの基礎的な一歩として位置づけています。