🤖 machine learning

Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

この論文は、因果的介入実験を通じて、大規模言語モデルにおけるハルシネーションが、プロンプト符号化の段階で決定される非対称なアトラクタ力学によって支配され、誤った軌道への移行は容易だが修正には層とステップにわたる協調的な介入を必要とすることを示しています。

原著者： G. Aytug Akarlar

公開日 2026-04-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： G. Aytug Akarlar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🌟 核心となるアイデア：「AI の嘘は、一度決まると抜け出せない『落とし穴』」

この研究が突き止めた最大の発見は、**「AI が嘘をつくのは、単に知識がないからではなく、一度『嘘の道』を選んでしまうと、そこから正しい道へ戻るのが極めて難しい」**という点です。

まるで、山頂から下り始める登山のようなイメージを持ってください。

1. 分岐点：同じスタートから、違う道へ

AI は質問（プロンプト）を受け取ると、まず「正解の道」と「嘘の道」の分かれ道に立ちます。

驚くべき事実: 最初の瞬間（0 歩目）は、AI の頭の中は完全に同じ状態です。
しかし、最初の言葉（トークン）を一つ選ぶ瞬間に、確率的な揺らぎで「正解の道」か「嘘の道」かのどちらかへ進んでしまいます。
例え話: 二人の双子が同じ駅で同じ電車に乗ろうとしています。出発前は全く同じですが、一歩踏み出した瞬間、一人は「正解の駅」へ、もう一人は「嘘の駅（行き違い）」へ向かう分かれ道に迷い込んでしまいます。

2. 非対称な「落とし穴」の仕組み

ここがこの論文の最も重要な部分です。正解の道と嘘の道には、「入りやすさ」と「抜け出しやすさ」に大きな差があります。

嘘の道（ハルシネーション）への入り口：
- 非常に簡単です。 正しい道を進んでいる AI に、たった一瞬の「誤った信号（ノイズ）」を送るだけで、AI は嘘の道へ転落してしまいます。
- 例え話: 正しい道を進んでいるハイカーに、石を一つ転がして足元をすくうだけで、簡単に深い谷（嘘の落とし穴）へ転げ落ちてしまいます。
嘘の道からの脱出：
- 非常に困難です。 一度谷（嘘の落とし穴）に落ちてしまうと、たった一度の助けの手では抜け出せません。谷の底には強い「吸い寄せられる力（アトラクター）」が働いており、何回も、何歩も続けて助けの手を出し続けなければ、正しい道に戻れません。
- 例え話: 深い谷に落ちた人を、一度だけロープを投げるだけでは引き上げられません。谷底の泥沼に吸い込まれてしまうからです。何度も何度も、地道にロープを引っ張り続ける必要があります。

3. 実験で証明された「非対称性」

研究者たちは、AI の頭の中（神経回路のような部分）を操作する実験を行いました。

実験 A（正しい道→嘘の道）: 正しい道を進んでいる AI に、嘘の AI の「脳」の一部を移植しました。
- 結果: 87.5% の確率で、AI は嘘の道へ転落しました。（簡単すぎる！）
実験 B（嘘の道→正しい道）: 嘘の道を進んでいる AI に、正しい AI の「脳」の一部を移植しました。
- 結果: 一度の移植では、33.3% しか戻りませんでした。しかも、戻すためには何回も何回も移植を繰り返す必要がありました。（難しい！）

この「入りは簡単、抜け出しは困難」という非対称なバランスこそが、AI が嘘をつきやすく、訂正しにくい理由なのです。

4. 「質問の段階」ですでに決まっている？

さらに面白い発見があります。AI が「嘘をつきやすい質問」なのか「真実を答えやすい質問」なのかは、実際に答えを生成し始める前（質問を読み終わった瞬間）に、すでに AI の頭の中に「傾向」として刻まれていることが分かりました。

例え話: 質問を聞いた瞬間に、AI の頭の中に「この質問は『嘘の谷』の入り口に近いぞ」というサインが点灯しているようなものです。特に「事実と異なる前提が含まれた質問（例：『ヨーロッパを流れるアマゾン川について…』）」は、AI が迷いやすい「分かれ道」の真ん中に立っている状態です。

💡 この研究が私たちに教えてくれること

AI は「知らない」から嘘をつくわけではない
AI は正しい答えを知っています（同じ質問で正解を出せるからです）。問題は「知識の引き出し方」ではなく、「一度間違った方向に進み始めると、その勢いで止まってしまう」という物理的な仕組みにあります。
嘘を直すのは「一発逆転」では無理
AI が嘘をつき始めたら、一言で「それは違うよ」と指摘するだけでは、AI の頭の中の「嘘の渦」から抜け出せないかもしれません。根気強く、何度も正しく導く必要があることが示唆されます。
未来へのヒント
もし AI の「嘘の落とし穴」の構造が分かれば、AI が間違った道へ入りそうになる**「最初の瞬間」にだけ**、強力なブレーキをかけたり、正しい道へ誘導したりする技術が開発できるかもしれません。

まとめ

この論文は、AI の嘘を「バグ」や「知識不足」としてではなく、**「一度入ると抜け出せない、強力な物理的な落とし穴（アトラクター）」**として捉え直しました。

AI との対話において、**「最初の言葉が重要」であり、「一度間違った方向へ進み始めたら、簡単には戻れない」**という教訓は、私たちが AI を使う際の心構えとしても非常に重要です。

論文要約：「Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation」

この論文は、自己回帰型言語モデル（LLM）における「幻覚（Hallucination）」のメカニズムを、動的システム理論の観点から解明し、**「幻覚は非対称なアトラクタ（安定状態）ダイナミクスによって支配された、早期の軌道コミットメントである」**という仮説を因果的に証明した研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定と背景

現状の課題: LLM は事実と異なる内容を高い確信度で生成する「幻覚」現象が頻発します。既存研究では、隠れ状態（hidden states）の線形プローブやエントロピー信号を用いて幻覚を検知・相関付けることは可能ですが、**「モデルがいつ、どこで幻覚の軌道にコミットし、そのコミットメントが因果的に可逆的（修正可能）か」**というメカニズムは未解明でした。
核心的な問い: 幻覚は単なる知識の欠如ではなく、生成プロセスにおける「軌道の分岐」として捉えるべきであり、その分岐点での介入がどのように機能するかを理解する必要があります。

2. 手法 (Methodology)

本研究は、Qwen2.5-1.5B モデルを用いて、以下の 3 つの主要な実験フェーズで構成されています。

A. 同一プロンプト分岐 (Same-prompt Bifurcation)

アプローチ: 異なるプロンプトを比較するのではなく、同一のプロンプトを温度パラメータ $\tau=0.7$ で 20 回繰り返しサンプリングします。
目的: プロンプトの意味的な違いを排除し、確率的サンプリングのみによって「正解の軌道」と「幻覚の軌道」が分岐するケース（分岐プロンプト）を特定します。
データ: 61 のプロンプト（6 カテゴリ）のうち、27 個（44.3%）が分岐を示しました。

B. 軌道ダイバージェンス分析

KL 発散: 正解と幻覚の出力分布間の KL 発散をステップごとに計算。
層別分離: 隠れ状態間のコホーンの $d$ 値を計算し、どの層・ステップで軌道が分離するかを可視化しました。

C. 対称的因果パッチング (Symmetric Causal Patching)

手法: 正解軌道と幻覚軌道の隠れ状態を、特定の層とステップで相互に交換（パッチング）します。
- H→C (修正): 幻覚軌道に正解の活性化値を注入。
- C→H (汚染): 正解軌道に幻覚の活性化値を注入。
対照実験: ランダムなプロンプトからのパッチ、同じプロンプト内の異なる幻覚間パッチ、未パッチングのベースラインを比較し、効果の特异性を検証しました。
ウィンドウパッチング: 単一ステップだけでなく、複数のステップにわたる持続的な介入が修正に必要かどうかをテストしました。

3. 主要な結果 (Key Results)

① 即時の軌道コミットメント

分岐するプロンプトにおいて、ステップ 0（プロンプト入力直後）では正解と幻覚の KL 発散は 0 でした。
しかし、最初の生成トークン（ステップ 1）で KL 発散が急激に増加（ $D_{KL} > 1.0$ ）し、軌道が不連続に分離しました。これは、分岐がプロンプトのエンコーディングではなく、最初のサンプリング事象によって決定されることを示しています。

② 非対称な因果効果 (Causal Asymmetry)

パッチング実験で最も顕著な非対称性が確認されました：

汚染 (C→H): 正解の軌道に幻覚の活性化値を注入すると、87.5% の確率で軌道が幻覚に転落しました（Layer 20 でピーク）。
修正 (H→C): 幻覚の軌道に正解の活性化値を注入しても、33.3% しか正解軌道に戻りませんでした（Layer 24 でピーク）。
統計的有意性: この非対称性（汚染率/修正率 $\approx 2.63$ 倍）は、ランダムパッチやベースライン（約 10-12%）に対して統計的に有意でした。

③ 介入の持続性要件

汚染: 単一のステップでのパッチングで軌道を汚染できます。
修正: 単一のステップでの修正パッチングでは効果が限定的でした。修正成功率は、パッチングするステップ数（ウィンドウサイズ）が増えるにつれて上昇し、4 ステップの介入で 33.3% に達しました。これは、幻覚の軌道から脱出するには、単一の衝動ではなく持続的な多段階の介入が必要であることを示唆しています。

④ プロンプトエンコーディングにおけるレジーム構造

生成開始前（ステップ 0）の残差ストリーム状態を解析したところ、プロンプトごとの幻覚発生率を予測する線形プローブが層 15 で高い相関（ $r=0.776$ ）を示しました。
教師なしクラスタリングにより、プロンプトは 5 つの「レジーム（領域）」に分類され、そのうち「鞍点（Saddle）クラスタ」には、事実誤認を含むプロンプトの 93% が集中していました。これは、幻覚のリスクがプロンプトエンコーディングの時点で特定の領域（レジーム）にコミットされていることを示しています。

4. 理論的解釈：非対称アトラクタ盆地

本研究は、幻覚を以下のような動的システムとしてモデル化します：

非対称な安定性: 幻覚の軌道は「局所的に安定したアトラクタ盆地（Basin of Attraction）」として機能します。
- 入りやすい: 一度この盆地に入ると（汚染）、単一の摂動では抜け出せず、容易に維持されます。
- 抜けにくい: 正しい軌道は準安定（メタステーブル）であり、わずかな摂動で幻覚盆地へ転落しやすいですが、一度転落すると、単一の修正パッチでは元の盆地に戻れません。
分離面（Separatrix）: 正解と幻覚の境界は、生成の最初のステップで通過されます。

5. 意義と貢献

因果的証拠の提示: 相関関係ではなく、アクティベーションパッチングを用いた因果的介入により、幻覚が「軌道のコミットメント」であることと、その非対称性を初めて実証しました。
動的システムとしての幻覚の再定義: 幻覚を「知識の欠如」ではなく、「確率的サンプリングによる初期の軌道コミットメントと、そこから脱出困難なアトラクタ構造」として再定義しました。
安全対策への示唆:
- 単一の線形方向への投影（Steering）では、非線形な盆地境界を越えられないため、幻覚防止が困難である理由を説明します。
- 効果的な介入には、生成初期段階でのレジーム制御や、持続的な多ステップの介入が必要である可能性を示唆しています。
方法論的貢献: 「同一プロンプト分岐」手法により、プロンプトの意味的変数を制御したまま、生成軌道のダイナミクスを純粋に分析する枠組みを提供しました。

結論

この論文は、LLM の幻覚が単なるエラーではなく、モデル内部の非対称なアトラクタダイナミクスによって支配された「早期の軌道コミットメント」であることを示しました。正解から幻覚への転落は容易ですが、その逆は極めて困難であり、これを防ぐには生成プロセスの初期段階でのレジーム制御や、持続的な介入戦略が必要であるという重要な知見を提供しています。