💬 NLP

Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

本論文は、アテンションマップ、トークン確率、および再帰的に計算された不確実性スコアを用いて回帰モデルを学習させることで大規模言語モデルの不確実性を定量化する新規手法を提案し、これにより複数のデータセットおよびモデルにわたって幻覚を効果的に検出し、選択的生成を改善することを目的としている。

原著者： Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、早口で話すロボットがあなたに物語を語る場面を想像してください。このロボットは文を作るのが得意ですが、実際には間違っていることについても自信を持って話してしまうことがあります（これらは「ハルシネーション」と呼ばれます）。

問題は、ロボット自身が嘘をついていることに気づいていないことです。ただ話し続け、もし物語の序盤で間違いを犯せば、その間違いの上に物語を積み重ねるにつれて、さらに自信を深めてしまいます。これは「伝言ゲーム」のようであり、最初の人が間違った事実をささやき、他の人々がそれを次第に自信を深めながら繰り返していく様子に似ています。

問題：ロボットの盲点
ロボットが嘘をついているかどうかをチェックする現在の手法は、通常、ロボットが言う各単語に対する「信頼度スコア」を調べます。しかし、これは厄介です。ロボットが「空は緑である」と言っても、次の単語「草」に対しては、自分の論理に従っているだけなので、非常に自信を持っているかもしれません。ロボットは、その文全体が嘘の上に成り立っていることに気づいていません。

この論文の著者たちは、これを「条件依存性」の問題と呼んでいます。ロボットの次の単語に対する信頼度は、たとえその前の単語が間違いだったとしても、完全に前の単語に依存しています。

解決策：TAD（学習可能なアテンションベースの依存関係）
研究者たちは、新しいツール「TAD」を開発しました。TAD は、ロボットが単語を一つずつ書くのを隣で監視する「超知能の編集者」と考えてください。

以下は、いくつかの簡単な比喩を用いた編集者の仕組みです。

「視線」（アテンション）: ロボットが話すとき、次の言葉を決めるために過去の単語を「見つめています」。研究者たちは、ロボットが真実を語っているときはその「視線」（アテンション）が安定して焦点を合わせているのに対し、ハルシネーションを始めると視線が揺れたり混乱したりすることに気づきました。TAD はこの視線を注意深く監視します。
「連鎖反応」（再帰性）: 編集者は現在の単語だけを見るのではなく、過去の単語の「不確実性」を記憶しています。もしロボットが 1 番目の単語でつまずいたなら、編集者はロボットがそれらに対して自信を持っていても、2 番目、3 番目、4 番目の単語を疑わしいものとしてマークします。これは、生徒が数学の問題の最初のステップを間違えたなら、解答がどれだけ綺麗に書かれていようとも、最終的な答えも間違いである可能性が高いと知っている教師のようです。
「二段階トレーニング」: この編集者を教えるために、研究者たちは二段階のプロセスを用いました。
- ステップ 1: 編集者に、ロボットの生身の信頼度だけを使って間違いを見つけることを教えました。
- ステップ 2: 編集者に、ステップ 1 で得た自らの「勘」を使って、さらに良く学習させるようにしました。これはスポーツの練習に似ています。まず基本の動きを学び、次に自分の前の動きに反応しながら試合全体をプレイして練習するのです。

テスト方法
彼らは、ニュース記事の要約から難しい雑学クイズへの回答まで、10 種類の異なるタスクでこの編集者をテストしました。使用されたロボット（LLaMA、Gemma、Qwen）は 3 つの異なるバージョンです。

結果: TAD は、彼らが試した他のどの手法よりも、ロボットの嘘を見抜くのに優れていました。特に、長い物語が軌道から外れた瞬間を特定するのが得意でした。
効率性: 答えを 5 回も「考えさせる」他の手法（これは遅く、高コストです）とは異なり、TAD は非常に高速です。ロボットの思考プロセスに追加されるのはわずか5% の時間です。物語全体を書き直すようロボットに頼む代わりに、素早く二度見をするようなものです。

結論
この論文は、コンピュータモデルに、ロボットが自身の過去の単語を「どのように」見つめているかに注意を向けさせ、文の序盤で犯された間違いを記憶させることで、AI 用のはるかに優れた「嘘発見器」を構築できると主張しています。これにより、速度を大幅に落とすことなく、特に長い回答において AI をより安全で信頼性の高いものにするのです。

この論文が主張していないこと

これはあらゆる状況におけるあらゆる種類の AI に機能すると主張しているわけではありません（特定のモデルとタスクでテストされました）。
これは医療ツールや法廷の裁判官であると主張しているわけではありません。
AI が二度と間違いを犯さなくなると主張しているわけではありません。このツールは間違いをよりよく「発見」し、それらをフィルタリングできるようにするだけであると主張しているのです。

以下は、論文「Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）は、幻覚（hallucinations）や低品質な出力を生成しやすい傾向があります。不確実性定量化（UQ）は、生成されたテキストに信頼スコアを割り当てることにより、これらのエラーを検出するための重要なメカニズムです。しかし、既存の UQ 手法は「条件依存性」という根本的な限界に直面しています。

核心的な課題: LLM は自己回帰的（トークンごとに）にテキストを生成します。現在のトークン $y_i$ の確率は、すべての先行トークン $y_{<i}$ に条件付けられます。もし初期のトークンが幻覚（エラー）であった場合、モデルはそのトークンを後続のステップにおける真実（ground truth）として扱います。その結果、モデルはシーケンス全体に欠陥があるにもかかわらず、後続のトークンを高い信頼性で生成します。
ギャップ: 標準的な UQ 手法は、即時的な条件付き確率 $p(y_i | y_{<i})$ に基づいて不確実性を計算します。これらは前ステップの不確実性を伝播させることができません。もし最初のトークンが誤りであっても、その誤ったコンテキストが与えられた場合、モデルが次のトークンに対して高い信頼性を示すならば、シーケンス全体は「安全」とみなされ、検出されない幻覚につながります。
現在の限界: この依存関係をモデル化しようとする以前の試みは、ヒューリスティック（例：前の最大アテンションに基づいてスコアを罰則化）に依存するか、複数の出力を生成して一貫性を確認する計算コストの高いサンプリングを必要とします。

2. 手法：学習可能なアテンションベースの依存関係（TAD）

著者は、生成ステップ間の複雑な依存関係をモデル化することにより、トークンの「無条件な」不確実性を学習する教師ありのデータ駆動型アプローチであるTADを提案します。

A. 核心的な概念

LLM の生きた条件付き確率のみに依存するのではなく、TAD はトークン $y_i$ の無条件信頼度を推定する回帰関数 $C(\cdot)$ を学習します。この関数は以下の要素を統合します：

現在のステップの確率: LLM が提供するトークン確率 $p(y_i | y_{<i})$ 。
アテンションマップ: 現在のトークンから先行トークンへのアテンション重みであり、モデルの内部的な焦点と依存構造を符号化します。
再帰的不確実性: 先行トークンの推定された無条件信頼度スコア（ $C_{<i}$ ）。

定式化は以下の通りです：
$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$

B. 訓練手順（2 段階）

目的変数（無条件信頼度）がモデル自体の出力（再帰）に依存するため、著者は2 段階の訓練手順を採用します：

第 1 段階: 現在のトークン確率とアテンション重みのみを使用して回帰モデルを訓練します。最初のトークンの目標変数は、生成されたシーケンスと真の答え（ground truth）との間の意味的類似度です。後続のトークンについても、目標変数は依然として真の答えとの類似度ですが、モデルは即時的な特徴に基づいて予測することを学習します。
第 2 段階: 第 1 段階からの予測を特徴量として使用してモデルを再訓練します。具体的には、前ステップから「再帰的に計算された不確実性スコア」（第 1 段階モデルによって予測されたもの）を第 2 段階モデルに入力します。これにより、モデルはシーケンス全体にわたって不確実性をどのように伝播させるかを学習できます。

C. 特徴量エンジニアリング

目標変数: 訓練の真の答え（ground truth）は、完全な生成シーケンスと参照回答との間の意味的類似度（COMET、AlignScore、または精度などの指標を使用）から導き出されます。
入力: 各トークン $y_i$ に対して、特徴ベクトルには、 $N$ 個の先行トークンへのアテンション重み、それらの条件付き確率、およびそれらの先行トークンの推定された無条件信頼度が含まれます。

D. 推論

推論中、TAD はトークンを順次処理します。最初のトークンについては生確率を使用します。後続のトークンについては、学習された関数 $C$ を使用して無条件信頼度を再帰的に計算し、これらのトークンレベルのスコア（平均または log-sum 経由）を集約して、シーケンスレベルの不確実性スコアを生成します。

3. 主要な貢献

新規教師ありアプローチ: TAD は、アテンションマップと再帰的不確実性スコアに基づいて訓練された教師あり回帰モデルを使用して、生成ステップ間の条件依存関係を明示的に学習する最初の手法です。
再帰的特徴量の統合: 再帰的に計算された不確実性スコアを組み込むことが、正確な UQ にとって不可欠であり、初期のエラーの「リスク」をシーケンス全体に効果的に伝播させることを、本論文は実証しています。
2 段階訓練: 著者は、前回の不確実性予測に基づいて不確実性を予測するという循環的依存関係を処理するための特定の訓練プロトコルを導入しており、過学習を防ぎ、収束を改善します。
効率性: 複数のフォワードパスを必要とするサンプリングベースの手法（例：Semantic Entropy）とは異なり、TAD は単一のフォワードパスの上に軽量な線形回帰または MLP を使用するため、標準的な推論に対して約 5% の計算オーバーヘッドしか追加しません。

4. 実験結果

著者は、TAD を10 のデータセット（要約、機械翻訳、各種 QA タスクを網羅）と3 つの LLM（LLaMA-3.1 8B、Gemma-2 9B、Qwen-2.5 7B）で評価しました。

性能: TAD は、すべてのモデルとデータセットにおいて最高の全体的性能を達成しました。
- 最先端の教師なし手法（Perplexity、Semantic Entropy など）および教師ありベースライン（LookBackLens、SATRMD、Sheeps など）を大幅に上回りました。
- TruthfulQAデータセットでは、TAD は 2 番目に優れたベースラインに対して予測拒否率（PRR）を 0.045 向上させました。
- MedQUADでは、2 位に 0.077 PRR の差をつけて上回りました。
アブレーション研究:
- 特徴量: アテンション重みまたは再帰的特徴量を除去すると性能が大幅に低下し、両方が重要であることを確認しました。
- 訓練: 2 段階の訓練手順が不可欠であることが示されました。単一段階のアプローチは必要な依存関係を捉えることができませんでした。
- 層: 中間層からのアテンション重みが最も有益であることが判明しましたが、最初と最後の層も貢献しました。
汎化性: TAD は有望なドメイン外（OOD）汎化を示しました。QA で訓練し要約や翻訳でテストした場合、ほとんどの教師あり手法は失敗しましたが、TAD は堅牢な性能を維持し、未見の QA ドメインにおいてベースラインを上回りました。
効率性: TAD はわずか5% の実行時間オーバーヘッドしか導入しませんが、サンプリングベースの手法（Semantic Entropy など）は 400〜600% のオーバーヘッドを発生させました。

5. 意義と結論

本論文は、LLM の安全性における重要な盲点、すなわち初期の幻覚によって引き起こされるカスケードエラーを検出できない標準的な不確実性指標の問題に対処しています。

実用的な影響: TAD は、低品質な出力を拒否する選択的生成のための、計算効率が高く、プラグアンドプレイ型のソリューションを提供します。サンプリングベースの検証の禁止的なコストなしに、LLM を高リスクなアプリケーションで安全に展開することを可能にします。
理論的洞察: この研究は、アテンションマップに生成ステップの条件依存性に関する豊富な情報が含まれており、これらの依存関係を学習することで「無条件な」真実性を推定できることを実証しています。
将来の方向性: 著者は、TAD を検索拡張生成（RAG）に拡張し、検索された証拠の信頼性を評価することで、知識集約型 LLM アプリケーションの信頼性をさらに向上させることを提案しています。

要約すると、TADは、静的なトークンレベルの確率チェックから、思考の連鎖とそのエラー伝播の可能性を理解する動的で文脈を認識した不確実性推定へと移行することで、LLM をより信頼性の高いものにするための重要な一歩を表しています。