💬 NLP

Closing the Confidence-Faithfulness Gap in Large Language Models

この論文は、大規模言語モデルにおける「自信度」と「忠実性（正解率）」の信号が直交しており、推論プロセスが自信度の表現を歪める「推論汚染効果」を発見し、内部の精度推定に基づいて出力を制御する適応的ステアリング手法によって両者の整合性を大幅に改善することを示しています。

原著者： Miranda Muqing Miao, Lyle Ungar

公開日 2026-03-27

📖 60 分で読めます🧠 じっくり読む

CC BY 4.0

原著者： Miranda Muqing Miao, Lyle Ungar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍳 物語：自信過剰な料理人と、隠された味覚

1. 問題：自信過剰な料理人

Imagine you have a brilliant chef (the AI).
Imagine you have a brilliant chef (the AI).
Imagine you have a brilliant chef (the AI).

Imagine you have a brilliant chef (the AI).
Imagine you have a brilliant chef (the AI).

Imagine you have a brilliant chef (the AI).

Imagine you have a brilliant chef (the AI).
Imagine you have a brilliant chef (the AI).

Imagine you have a brilliant chef (the AI).

Imagine you have a brilliant chef (the AI).
Imagine you have a brilliant chef (the AI).

Imagine you have a brilliant chef (the AI).
Imagine you have a brilliant chef (the AI

論文「Closing the Confidence-Faithfulness Gap in Large Language Models」の技術的サマリー

本論文は、大規模言語モデル（LLM）が示す「自信の過剰（Overconfidence）」と「実際の精度（Accuracy）」の間の乖離（Calibration Gap）に焦点を当て、そのメカニズムを解明し、機械的解釈性（Mechanistic Interpretability）を用いた新しい解決手法を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義：自信と忠実性の乖離

LLM は、トークンレベルの出力確率だけでなく、自然言語で表現される「自信スコア（Verbalized Confidence）」においても、実際の正解率と整合性のない過剰な自信を示す傾向があります。

現状の課題: モデルは「95% 自信がある」と述べても、実際には 40% しか正解しないなど、下流タスク（医療診断など）において致命的な誤解を招く可能性があります。
既存手法の限界: 従来のアプローチは、プロンプトエンジニアリング（慎重な表現を促すなど）や微調整（Fine-tuning）に依存しており、モデル内部に既に存在する「精度に関する信号」を読み出すことを放棄し、入力側や学習プロセスを操作する黒箱的なアプローチでした。
核心的な問い: モデルは内部で正解/不正解の情報を保持しているにもかかわらず、なぜそれを出力として適切に表現できないのか？そのメカニズムを解明し、修正できるか？

2. 手法：機械的解釈性とアクティベーション・ステアリング

本研究は、モデルの残差ストリーム（Residual Stream）における線形方向の分析と、コントラストアクティベーション加法（Contrastive Activation Addition: CAA）を用いた介入を行います。

2.1 ゴールド・キャリブレーション・リニア・プロービング

モデルが自信を述べることを求めない「純粋な正解タスク（Pure Correctness Prompt）」において、モデルの内部アクティベーションから「経験的な正解率（Empirical Accuracy）」を予測するリッジ回帰プローブを訓練します。
これにより、モデルが「自信を述べる」ことを指示されていなくても、内部に正確な不確実性情報が線形に符号化されているかを確認します。

2.2 対照的アクティベーション加法（CAA）によるステアリング

「高い自信」と「低い自信」を表現する際のアクティベーションの差分ベクトル（ステアリングベクトル）を計算します。
推論時にこのベクトルを残差ストリームに注入し、モデルの出力される自信スコアを因果的に操作（ステアリング）します。

2.3 適応的 2 段階パイプライン

単一のグローバルなステアリング強度ではすべての質問を補正できないため、以下の 2 段階アプローチを提案します：
1. ターゲット推定: 質問に対するモデルの内部状態（プロンプト完了時）から、プローブを用いて「モデルが本来持つべき正解確率（ターゲット自信度）」を推定する。
2. 適応的ステアリング: 推定されたターゲット自信度に合わせて、質問ごとに最適なステアリング強度（ $\alpha$ ）を動的に決定し、純粋な自信提示タスク（Pure Confidence Prompt）での生成を調整する。

3. 主要な発見と貢献

3.1 幾何学的な分離（Geometric Dissociation）

発見: モデルは「正解である可能性（Accuracy）」と「口頭で表現される自信（Verbalized Confidence）」を、ほぼ直交する（Cosine Similarity < 0.04）異なる線形方向に符号化しています。
意味: モデルは「自分が間違っている可能性」を知っていますが、生成プロセスがその信号を適切に読み出せていないことが、過剰自信の主要原因であることが示されました。

3.2 推論汚染効果（Reasoning Contamination Effect）

発見: モデルに「問題を解き、同時に自信を評価する（Joint Prompt）」よう指示すると、Accuracy 方向と Confidence 方向の関係が弱く正の相関（+0.26）から、強く負の相関（-0.63）へと反転します。
意味: 推論プロセスが自信評価の信号を「汚染」し、モデルが難しい問題ほど過剰に自信を持つ逆説的な状態を引き起こします。これが、従来の「解いてから評価する」スタイルの過剰自信のメカニズムです。

3.3 因果的制御と一般化

因果性: CAA によるステアリングは、自信スコアを制御可能に上下させ、その効果は線形的かつ因果的です。
一般化: MATH データセットで学習したステアリングベクトルが、MMLU や TriviaQA などの異なるドメインでも有効に機能します。
転移: ベースモデル（事前学習済み）から抽出したベクトルが、インストラクションチューニング済みモデル（Instruct）の過剰自信を修正できることを確認しました。これは、過剰自信が信号の欠如ではなく、読み出しの失敗であることを示唆します。

4. 実験結果

3 つのモデル（Llama-3.1-8B, Qwen2.5-7B, Mistral-7B）と 4 つのデータセット（MATH, MMLU, TriviaQA, TruthfulQA）で評価されました。

キャリブレーションの改善: 提案する適応的 2 段階パイプラインは、従来のステアリングなしの口頭自信や、既存の手法（SteerConf）と比較して、Expected Calibration Error (ECE) を 4〜7 倍改善しました。
- 例：Mistral-7B-Instruct の ECE は、ステアリングなしの 35.1 から 3.3 へ劇的に低下しました。
- Brier Score や MAE においても同様の改善が見られました。
ロジットベースラインとの比較: 従来のトークン確率（Logit）は ECE が 68 以上と極めて不正確でしたが、提案手法はこれを大幅に上回る精度を達成しました。

5. 意義と結論

結論: LLM における口頭自信の誤較正は、知識の欠如ではなく、**「読み出しの失敗（Readout Failure）」**です。必要な信号は内部に存在しており、それを適切に読み出すことで修正可能です。
学術的意義:
1. 自信と精度が直交する方向に符号化されているという、LLM の内部表現に関する新たな知見を提供しました。
2. 「推論汚染効果」を特定し、推論と評価を分離する必要性を理論的に裏付けました。
3. 再学習やプロンプト設計に依存せず、内部信号を直接操作する「ステアリング」が、信頼性のある出力を得るための直接的な解決策となり得ることを実証しました。
将来展望: このアプローチは、LLM の出力が内部表現と整合しない場合の一般的な解決パターン（内部信号の特定と読み出しの修正）を示唆しており、安全性や信頼性の高い AI 開発への応用が期待されます。

総括: 本論文は、LLM の過剰自信問題を「内部表現の幾何学的構造」という視点から解明し、機械的解釈性に基づく実用的な介入手法によって、その乖離を劇的に縮小することに成功した画期的な研究です。

🍳 物語：自信過剰な料理人と、隠された味覚

1. 問題：自信過剰な料理人

論文「Closing the Confidence-Faithfulness Gap in Large Language Models」の技術的サマリー

1. 問題定義：自信と忠実性の乖離

2. 手法：機械的解釈性とアクティベーション・ステアリング

2.1 ゴールド・キャリブレーション・リニア・プロービング

2.2 対照的アクティベーション加法（CAA）によるステアリング

2.3 適応的 2 段階パイプライン

3. 主要な発見と貢献

3.1 幾何学的な分離（Geometric Dissociation）

3.2 推論汚染効果（Reasoning Contamination Effect）

3.3 因果的制御と一般化

4. 実験結果

5. 意義と結論

関連論文