💬 NLP

Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry

本論文は、隠れ状態輸送幾何学における局所的な逸脱として推論誤りを特定するステップレベルの幻覚検出フレームワークを提案し、対照的 PCA ベースの教師モデルと蒸留された BiLSTM 学生モデルを活用して、単一パス推論中に最初の誤りを局所化する既存のベースラインを上回る性能を実現する。

原著者： Tyler Alvarez, Ali Baheri

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tyler Alvarez, Ali Baheri

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）が複雑な数学の問題を解いたり、物語を書いたりする様子を想像してみてください。それは、細くよく歩かれた山道を歩くハイカーのようなものです。ハイカーが道の上にとどまっている限り、彼らは「正しく」移動しています。しかし、時にはハイカーが間違った方向へ曲がることがあります。一度道から外れると、彼らはさまよい歩き、最終的には似ているように見える別の小径にたどり着くかもしれませんが、その時点で彼らは道に迷っています。問題は、彼らが目的地に到達する頃には、数マイルも前に間違った方向へ曲がったにもかかわらず、自信を持って頂上に到達したと主張してしまうことです。

この論文「推論はどこで破綻するか（Where Does Reasoning Break?）」は、単に間違った目的地に到達したかどうかを確認するのではなく、ハイカーが道から外れたその瞬間を捉える新しい方法を導入します。

以下に、彼らのアプローチを簡単な比喩を用いて解説します。

1. 問題：旅全体をチェックすること vs 間違った曲がり角

AI の「幻覚（事実と異なる内容を生成すること）」を検出する現在のほとんどの方法は、旅の最終的な写真だけを見るツアーガイドのようです。彼らは、「この写真は奇妙だ。旅全体が失敗だった」と言います。

欠点: ハイカーがどこで間違ったのかを特定できません。2 歩目か、50 歩目か？
目標: 著者たちは、ハイカーが道から外れる最初のステップを捉えたいと考えています。そうすれば、エラーを即座に修正できるからです。

2. 中核的なアイデア：「潜在状態」の軌跡

著者たちは、AI の内部的思考プロセス（「潜在状態」）を単語のリストとしてではなく、高次元空間内を移動する動きの映画として扱います。

安定多様体: 「正しい推論」を、滑らかで目に見えない高速道路だと考えてください。AI が正しく思考しているとき、その内部的な「映画」はこの高速道路に張り付いたままです。
逸脱: AI が誤りを犯すと、その内部的な映画は突然高速道路から外れます。これは「局所的な逸脱」、つまりデータにおける突然の奇妙なジャンプです。
洞察: AI が後にもう一度正常に振る舞おうとしても、その最初のジャンプは測定可能な幾何学的な傷跡を残します。

3. 二部構成のシステム：教師と生徒

この論文は、教師と生徒という 2 人の登場人物を持つシステムを提案しています。

教師（「魔法の眼鏡」）

仕組み: 教師は、答え合わせのリスト（ラベル）を持っている超スマートな診断ツールです。AI の推論のどのステップが正しく、どのステップが間違っていたかを正確に知っています（ラベル付きで訓練されたためです）。
トリック: 教師は**対照的主成分分析（Contrastive PCA）**と呼ばれる特別な眼鏡を使います。色とりどりのシャツを着た人々が集まった部屋を想像してください。教師の眼鏡は、シャツの色、部屋の大きさ、会話のトピックといったすべての「ノイズ」をフィルタリングし、「間違った曲がり角」が発生する特定の方向にのみズームインします。
結果: 教師は、AI が高速道路から外れる瞬間を驚くほど正確に検出できます。
欠点: 教師は、答え合わせのリスト（ラベル）を必要とするため、現実世界では役に立ちません。AI が実際に問題を解いている間に、その AI に答え合わせのリストを与えることはできないからです。

生徒（「現場の探偵」）

仕組み: 生徒は、答え合わせのリストなしで機能するように設計された軽量で展開可能なモデルです。教師が見ているものを学ぼうとしますが、アクセスできるのは AI の思考の生々しい「映画」だけです。
訓練: 生徒は教師を観察することで訓練されます。教師の「不安定度スコア」を模倣することを学びます。
目標: 生徒は、現実世界で実際に使用され、単一のパスでエラーを検出するツールとなるはずです。

4. 大きな発見：「マージン」の問題

この論文は多数の実験を行い、驚くべき結果を見つけました。

教室の中（ドメイン内）: 生徒が訓練されたのと同じ種類の AI とデータでテストされると、非常にうまく機能します。教師とほぼ同様に間違った曲がり角を捉えます。
野原の中（モデル間/データセット間）: 生徒が異なるAI モデルや異なる種類の問題でテストされると、崩壊します。その性能はほぼランダムな推測レベルまで低下します。

なぜか？
著者たちは、**「輸送マージン（Transport Margin）」**という概念を用いてこれを説明します。

「正しい道」を広く安全なゾーン、「間違った曲がり角」を崖だと想像してください。
教師は、安全なゾーンと崖の間の大きくて明確な隙間（広いマージン）を見ています。
生徒は崖を認識することを学びますが、それは訓練室にある地面の質感に基づいて崖を認識するように学んでいます。
生徒を新しい部屋（新しい AI モデル）に移動させると、地面の質感が変わります。生徒は混乱します。なぜなら、それは実際の崖までの距離ではなく、間違った質感を探していたからです。
結論: 現実世界でこれを機能させるための中心的な障壁は、エラーを見つけることではなく、地面がどう見えても正解と不正解の間の**幾何学的な距離（マージン）**を認識することを生徒に教えることです。

まとめ

この論文は、AI の幻覚検出を幾何学の問題として再定義します。「この文は真実か？」と問うのではなく、「AI の内部的な動きは直前に高速道路から奇妙なジャンプをしたか？」と問うのです。

彼らは数学的に、これらのジャンプを見つけるための最良の方法が「魔法の眼鏡」（対照的主成分分析）であることを証明しました。彼らは現実世界でこの作業を行うための「生徒」を構築しましたが、環境が変化すると生徒が現在失敗することを発見しました。この論文は、これを修正するためには、訓練データの特定のパターンを単に暗記するのではなく、正解と不正解の間の**幾何学的な距離（マージン）**を維持することを生徒に教える必要があると結論付けています。

技術的概要：推論はどこで破綻するか？隠れ状態輸送幾何学によるステップレベル幻覚検出

1. 問題定義

大規模言語モデル（LLM）は、多段階推論タスクにおいて頻繁に幻覚を発生させ、流暢だが誤った中間ステップを生成し、その誤りを最終出力に伝播させる。既存の検出手法は、主に以下の 3 つの限界に苦しんでいる：

トレースレベルの集約：大半の検出器（セマンティックエントロピー、自己整合性、SelfCheckGPT など）は、出力全体に単一の信頼スコアを割り当てており、最初の誤りを局所化できない。
推論オーバーヘッド：自己整合性などの手法は、複数のフォワードパスとサンプリングを必要とし、計算コストが高い。
静的対動的：現在のプロービング技術は、展開する推論軌跡のダイナミクスではなく、静的な事実記述を分析することが多い。

本論文は、信頼性の高い展開の前提条件として、単一のフォワードパス内で推論が破綻する正確な瞬間（最初の誤りの局所化）を検出することを主張する。核心的な課題は、外部検証器、サンプリング、推論時のラベルに依存することなく、推論連鎖が整合的な経路から逸脱する箇所を特定することである。

2. 手法：GeoReason

著者らは、単一のフォワードパスにおける隠れ表現の系列を、表現空間内の軌跡として扱うフレームワークGeoReasonを提案する。幻覚は、意味的な誤りではなく、局所的に整合的な遷移の安定多様体からの輸送コストにおける局所的な逸脱として捉えられる。

このシステムは、ラベル条件付きティーチャーと展開可能な学生の 2 つのコンポーネントで構成される。

2.1. ティーチャー（診断的上限）

ティーチャーは、隠れ状態に幾何学的シグナルの存在を定量化するために用いられる、展開不可能なモデルである。その動作は以下の通り：

トレース正規化：ラベル付きトレースに対して、ティーチャーは「正しいプレフィックス」（最初の誤り前のステップ）を中心とした局所座標系を計算する。隠れ状態は、これらの正しいステップの平均と分散に対して正規化される。
対比 PCA（cPCA）レンズ：ティーチャーは、対比 PCA を用いて射影行列 $U$ $U$ を学習する。このレンズは、正しい推論に固有の分散の大きい方向を抑制しつつ、正しい遷移の分布 ( $P_0$ $P_{0}$ ) と最初の誤りの遷移 ( $P_1$ $P_{1}$ ) の分布間の分離を最大化するように最適化される。
- 目的関数は輸送分離を最大化する： $\Gamma(U) = \text{Tr}(U^\top M U)$ 。ここで、 $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$ である。
幾何的特徴抽出：射影された空間において、ティーチャーは各ステップに対して特徴ブロックを抽出する。これには以下が含まれる：
- 位置：正しい多様体からの距離。
- 運動：速度 ( $\|\Delta z_t\|$ ) と加速度 ( $\|\Delta^2 z_t\|$ )。
- 方向持続性：連続する遷移ベクトル間のコサイン類似度。
スコアリング：軽量な MLP が、これらの幾何学的特徴をステップレベルの幻覚確率にマッピングする。

2.2. 学生（展開可能な検出器）

学生は、推論時のラベル、サンプリング、外部検証器なしで動作するように設計された展開可能な BiLSTM モデルである。

アーキテクチャ：生の隠れ状態を入力とし、ステップレベルの確率を出力する。
蒸留による学習：学生は、以下の混合を用いてティーチャーの不安定シグナルを再現するように訓練される：
1. 教師あり損失：ステップラベルに対する標準的な二値交差エントロピー。
2. 知識蒸留：学生とティーチャーの確率分布間のカルバック・ライブラー（KL）ダイバージェンス（ソフトターゲット）。
3. 特徴蒸留：補助ヘッダが、学生をティーチャーの幾何学的特徴表現と一致させるよう強制する。
推論：学生は単一のフォワードパスを実行する。予測される最初の誤りは、確率が閾値 $\theta$ を超える最初のステップである。

3. 理論的貢献

本論文は、以下の 3 つの主要な理論的保証を提供する：

cPCA の最適性（定理 3.1）：二乗 2-ワッサーシュタイン距離の目的関数の下で、最初の誤り状態と正しい状態間の輸送分離を最大化するための射影として、対比 PCA が最適であることを証明する。
局所化の限界（定理 3.2）：最初の誤りが先行する正しい遷移に対して正の「輸送マージン」を生み出す場合、単一パスでの最初の誤りの局所化が保証されることを確立する。誤りは永遠に異常であり続ける必要はない。検出には、最初の誤ったステップが検出可能な逸脱を生み出すことのみが必要である。
蒸留条件（命題 3.3）：ティーチャーと学生の一致をマージン保存条件に帰着させる。学生が分布シフト下でティーチャーの決定マージンを保存する場合、最初の誤りインデックスは同一となる。

4. 実験結果

本手法は、ProcessBench、PRM800K、HaluEval、およびTruthfulQAで評価された。

4.1. ドメイン内性能

ステップレベル検出：両モデルとも、エントロピーベース、プロービングベース、アテンションベースのベースラインを上回った。ティーチャーは 4 つのデータセットの 3 つで最高 AUROC を達成した（例：TruthfulQA で 96.0）。学生は PRM800K で最良の性能を達成した（99.8 AUROC）。
最初の誤りの局所化：ティーチャーと学生は、推論が破綻した正確なステップを特定する点で、ベースラインを大幅に上回った。例えば、学生は TruthfulQA で 96.8% の精度を達成した。

4.2. 一般化と展開の障壁

クロスモデル転送：ティーチャーは、異なるモデルファミリー（Qwen、Llama、Mistral）間で安定した性能を示し、特定のモデルに関係なく隠れ空間に幾何学的シグナルが存在することを確認した。
学生の崩壊：学生は、訓練されたのと同じモデルでテストされた場合は良好に機能したが、異なるモデルファミリーやデータセットで評価された場合、ほぼランダムな性能（AUROC 約 33–58%）に崩壊した。
分析：本論文はこの格差を、分布シフト下での輸送マージンの保存に失敗した学生に起因すると帰属させる。ティーチャーが誤りの幾何学に内在する機械的な不安定シグナルを捉えるのに対し、学生はモデル固有のエンコーディングの癖を取り込んだ表現シグナルを学習しており、基礎となる分布がシフトすると一般化に失敗する。

5. 意義と主張

本論文は、ステップレベルの幻覚検出を、静的な意味検証ではなく軌跡ダイナミクスの問題として再定義することを主張する。

幾何学的枠組み：幻覚を、整合的な推論の安定多様体とは区別される、隠れ状態輸送コストにおける「局所的な逸脱」とする新たな視点を導入する。
診断対展開：シグナルの存在（ティーチャー）と、ラベルなしでそれを回復する能力（学生）を分離することにより、著者らは展開の中心的な障壁を特定する：分布シフト下での対比輸送マージンの保存。
理論的厳密性：この文脈における対比 PCA の使用に対する最初の理論的根拠を提供し、単一パス局所化が数学的に保証される条件を確立する。

著者らは、最初の誤り検出のための幾何学的シグナルは堅牢で転送可能である（ティーチャーが示す通り）が、現在の蒸留手法は、信頼性の高い決定境界に必要な重要なマージンを保存できないため、ドメイン横断的な展開には不十分であると結論づけている。