💬 NLP

Hallucination as an Anomaly: Dynamic Intervention via Probabilistic Circuits

本論文は、LLM の残差ストリームにおける幾何学的異常として幻覚を検出する確率回路ベースの手法 PCNET を導入し、PC-LDCD による動的かつ標的型の介入を可能にすることで、モデル重みの修正や外部検証器を必要とせずに幻覚を大幅に削減しつつ、正しい生成の整合性を維持することを可能にする。

原著者： Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に才能があり、早口で話す物語語り手だと想像してください。この語り手はこれまで書かれたほぼすべてのものを読みましたが、時折、物語を終わらせる興奮に駆られて、完璧に聞こえるが完全に誤った事実を捏造してしまいます。これを「ハルシネーション（幻覚）」と呼びます。

あなたが提供した論文は、この問題を解決するための新しいシステム「PCNET」と「PC-LDCD」を紹介しています。以下に、簡単なアナロジーを用いてその仕組みを説明します。

問題点：「盲目の修正」の誤り

あなたが映画の編集をしていると想像してください。俳優が時折、間違ったセリフを言っていることに気づきます。

旧来の方法： 以前の修正方法は、潜在的な誤りを検知するたびに、すぐに台本を手に取り俳優のセリフを書き換える編集者を雇うというものでした。問題点は、その編集者が実際の誤りと、独創的で正しいセリフとの見分けがあまり上手くなかったことです。そのため、編集者は俳優の正しいセリフまで書き換えてしまい、映画を台無しにしてしまいました。この論文ではこれを「検出と修正の非対称性」と呼んでいます：誤りを検知するのに優れたツールは、良い部分を壊さずにそれを修正するにはあまりにも不器用だということです。

解決策：二段階の安全システム

著者たちは、保安員と専門の編集者が協力して働くような、より賢明な二段階のアプローチを提案しています。

ステップ 1：保安員（PCNET）

まず、PCNETと呼ばれる特殊な検出器が構築されました。

アナロジー： 語り手の脳を、巨大で混雑したダンスフロアだと想像してください。彼らが真実を語っているとき、彼らは特定の、よく踏み固められたエリア（「事実多様体」）で踊っています。彼らが嘘をつき始めたり、ハルシネーションを起こしたりすると、誰も踊っていない部屋の奇妙で空虚な隅へと漂い出します。
仕組み： PCNETは、ダンスフロアの完璧な地図を持った保安員のようなものです。推測したり、他の人に助けを求めたりする必要はありません。それは語り手の現在の「ダンスの動き」（コンピュータのメモリ内の隠れ状態）を見て、即座に計算します：「このダンサーは安全地帯にいるのか、それとも奇妙な隅にいるのか？」
魔法： これは「確率回路」と呼ばれる数学的なトリックを使って行われます。これにより、百万回のシミュレーションを実行したり、外部の専門家に見せたりすることなく、即座に答えを知ることができます。ダンサーが「奇妙な隅」にいる場合、保安員は静かな警報を鳴らします。

ステップ 2：専門の編集者（PC-LDCD）

保安員が警報を鳴らした場合、PC-LDCDと呼ばれる 2 番目のシステムが介入します。

アナロジー： 編集者が台本を掴んで場面全体を書き換える（そうすると流れが台無しになる）のではなく、この編集者は保安員が指示するときだけ介入します。保安員が潜在的な嘘を指摘すると、編集者は一瞬停止します。語り手が次に言うかもしれない数語を見て、こう問います：「もし私がこの単語を選んだら、ダンサーを安全地帯に留められるか、それともさらに奇妙な隅へと押しやるか？」
結果： それは物語を軌道に乗せる単語を選びます。保安員が警報を鳴らさなかった場合、編集者は何もしず、語り手が自然に流れ続けるのを許します。

これが重要である理由

この論文は、このシステムを 4 つの異なる AI モデル（小規模から中規模まで）と、4 つの異なる種類のテスト（一般常識クイズへの回答、読解力、AI が真実を語っているかの確認など）で検証しました。

超高性能な検出： 「保安員」（PCNET）は驚くほど正確でした。それはハルシネーションをほぼ完璧に検出することができました（一部のテストでは 99% の精度）。これは、単語の確率に基づいて推測するだけの以前の手法よりもはるかに優れています。
偶発的な破損の防止： 「編集者」（PC-LDCD）は保安員が確信を持ったときだけ介入するため、壊れていないものを直すという古い問題が解消されました。
- 統計： 旧来の手法は、修正しようとした正しい答えの約 54% を台無しにしていました。新しいシステムは、総試行の約 54% を台無しにしただけで（つまり、以前よりもはるかに多くの正しい答えを救った）、以前は混乱させられていた正しい生成の79% を成功裏に保護しました。
向上した真実性： 「TruthfulQA」テスト（AI を嘘をつかせるように設計されたテスト）において、新しいシステムはテストされた 4 つのモデルのうち 3 つで、真実性かつ情報提供の両面で最高スコアを獲得しました。

まとめ

この論文を、AI 向けのスマートな信号機の発明だと考えてください。

旧来の方法： 全ての車を停止させて速度違反をチェックする警官。完璧に運転している車まで頻繁に止めてしまい、交通渋滞を引き起こします。
新しい方法： 実際に速度違反をしている車だけを止めるセンサー。他の全員はスムーズに走行できます。

その結果、嘘をつく可能性が大幅に減った AI が生まれますが、同時に、真実を語ろうとしているときに混乱したり、つっかえたりする可能性も大幅に減ります。著者たちは、このコードを他の人が使用できるように公開しています。

技術的概要：確率回路による異常としての幻覚

問題定義

大規模言語モデル（LLM）は、流暢だが事実と異なる出力を生成する「幻覚」に悩まされています。既存の検出手法（不確実性の監視）と修正手法（表現工学）は単独では有望ですが、これらを組み合わせることで「検出 - 修正非対称性」と呼ばれる根本的な限界が明らかになります。現在の修正技術は、しばしばすべてのトークンに無差別に steering vector を適用します。この連続的な潜在状態の編集は、モデルの事前学習多様体から活性化を逸脱させ、流暢性を低下させ、元々正しい生成を損ないます。本論文は、無制御の修正が事実に基づく生成の 26% から 90% を損なう可能性があると主張し、事実出力の完全性を維持するために検出と修正を分離する枠組みが必要であると論じています。

手法

著者は、扱い可能な異常検出のためのPCNETと、ゲート付きで多様体を保存する修正のためのPC-LDCDという 2 段階の枠組みを提案します。

1. PCNET：扱い可能な潜在異常検出

PCNET は、LLM の残差ストリームの低次元射影上で密度推定器として訓練された確率回路（PC）です。

アーキテクチャ: LLM の最終隠れ状態（ $h \in \mathbb{R}^{D_{LLM}}$ ）は、マルチレイヤーパーセプトロン（MLP）ボトルネックを介してコンパクトな潜在空間（ $z \in \mathbb{R}^{D_{PC}}$ ）へ射影されます。PCNET はこの空間上の同時確率分布 $P(z)$ をモデル化します。
構造: 回路は、入力ノード、和ノード、積ノードからなる有向非巡回グラフ（DAG）です。標準的な PC と異なり、入力ノードは LLM 表現の複雑で重い裾を持つ幾何学を捉えるために、ガウス分布、ラプラス分布、学生 t 分布の異種混合を利用します。
訓練: PCNET と射影ボトルネックは、生成項（事実状態に対する負の対数尤度）と対照的マージン項（幻覚状態を低密度領域へ押しやる）からなる複合目的関数を用いて共同最適化されます。ベース LLM は凍結されたままです。
推論: PCNET は、サンプリングや外部検証器なしに単一のフォワードパスで潜在状態の正確な負の対数尤度（NLL）を計算します。高い NLL は幾何学的異常を示し、「事実多様体」からの逸脱をシグナリングします。

2. PC-LDCD：多様体保存型修正

PC-LDCD（確率回路潜在密度対照的デコーディング）は、PCNET を動的ゲートとして利用し、必要な場合のみ介入します。

動的ゲーティング: 各デコーディングステップで、現在の状態の NLL が計算されます。NLL が較正された閾値 $\tau$ を超える場合、介入がトリガーされます。状態が事実的と判断された場合（低い NLL）、標準的なデコーディングは変更されずに進行し、ベースモデルの振る舞いが維持されます。
離散的先読み: 異常が検出された場合、システムは標準デコーディングを一時停止します。離散トークン空間内で $k$ 候補の先読み探索を実行します。最適なトークンは、ペナルティ付き対数確率を最大化することで選択されます：
$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$
ここで、 $\beta_t$ は異常スコアに基づく動的強度パラメータであり、 $\text{SNLL}$ は仮想的な未来状態の NLL です。このアプローチは、生成の自信と学習された多様体の正確な対数密度を対比させ、軌道が幻覚領域へ深く入り込むのを防ぐ場合のみ介入します。

主要な貢献

検出 - 修正非対称性の実証的調査: 本論文は、無制御の表現工学が事実生成を損なうことを体系的に実証し、ゲート付き介入の数学的必要性を確立しました。
扱い可能な潜在異常検出（PCNET）: 著者は PCNET を導入し、対照的に訓練された潜在多様体上の正確な密度推定が、サンプリングや重み修正なしに、多様なモデルとベンチマークにおいて最先端の AUROC で幻覚を特定することを示しました。
多様体保存型修正（PC-LDCD）: 提案された密度ゲート付きデコーディング戦略は、評価された手法の中で最も低い損傷率と最も高い保存率を達成し、幻覚を修正しながら正しい生成をそのまま残すことに成功しました。

実験結果

本枠組みは、1B から 8B パラメータまでの 4 つの LLM と、4 つのベンチマーク（CoQA、SQuAD v2.0、TriviaQA、TruthfulQA）で評価されました。

検出性能: PCNET は CoQA、SQuAD v2.0、TriviaQA においてほぼ完璧な幻覚検出を達成し、AUROC スコアは最大 99% に達しました。これは、Token-NLL、Semantic Entropy Probes (SEP)、HaloScope などのベースラインを、特に知識集約型および敵対的ベンチマークにおいて大幅に上回りました。
修正効果:
- 保存: PC-LDCD は事実生成の平均損傷率を**53.7%**に低減し、**79.3%**の保存率を達成しました。これは無制御のベースラインを大幅に上回ります。
- 真実性: TruthfulQA において、PC-LDCD は 4 つのモデルのうち 3 つで最高値の True+Info、MC2、MC3 スコアを達成しました。特に、複数の真実な完了に対する較正された不確実性を測定する MC2 と MC3 が顕著に改善され、単一の答えの自信をシフトさせるだけでなく、より頑健な真実性の出力分布を生成していることを示唆しています。
- 標準 QA: 標準的な QA ベンチマークにおいて、PC-LDCD は競争力があり、最良のベースラインと同等かそれに近い結果を残しました（例：Mistral-7B において SQuAD EM 0.87 を達成）。
効率性: この手法は外部検索や重み更新を必要としません。アブレーション研究により、わずか 100 件の訓練サンプルと 128 の射影次元でもほぼ最適な検出性能が達成可能であることが示されました。

意義と主張

本論文は、幻覚を事実多様体上の幾何学的異常として捉え、確率回路を用いて正確な密度推定を行うことで、検出と修正の間の緊張関係を解決可能であると主張しています。主な意義はゲーティング機構にあります。潜在幾何学が逸脱した場合にのみ修正を離散トークン空間へルーティングすることで、無差別な連続的編集に起因する「意味的崩壊」を回避します。

著者は、この研究を高リスク分野における信頼性の高い LLM 展開への一歩として位置づけており、トークン確率の過信や多パスサンプリングの計算オーバーヘッドに依存しない、原理的な単一パスの不確実性シグナルを提供します。また、ラベル付き状態の小さな較正セットの必要性や、評価範囲が最大 8B パラメータのモデルに限定されていることなどの限界を認め、より大規模なモデルにおける幾何学的分離の可否は未解決の問題として残しています。