💻 computer science

Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs

この論文は、大規模言語モデルが事実誤認にもかかわらず過剰な自信を示す現象を、中間から後段の層に局在する特定の MLP ブロックやアテンションヘッドからなる内部回路が駆動していることを機械的に解明し、これらの回路への介入により推論時の較正を改善可能であることを示しています。

原著者： Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

公開日 2026-04-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎭 物語：「自信過剰な嘘つき」の正体

Imagine（想像してみてください）ある天才的な学生（AI）がいます。彼はどんな質問にも即座に答えられますが、**「間違っているのに、なぜか『99% 確実だ！』と大声で叫んでしまう」**という癖があります。

これまでの研究では、「答え合わせをして、後から点数を調整しよう」という対処療法が主流でした。しかし、この論文は**「なぜその学生は、脳内で『自信』という信号を過剰に発しているのか？その『回路』を直接探して、スイッチを切ることはできないか？」**と問いかけました。

🔍 発見：脳内の「自信増幅器」

研究者たちは、AI の頭の中（ニューラルネットワーク）を詳しく調べ、以下の 3 つのステップで真相を突き止めました。

1. 自信の「数値」を捉える

AI が「自信 85 点」と言おうとする瞬間、その脳内では特定の数字（ロジット）が跳ね上がっています。研究者はこれを「TSLD（ターゲットセット・ロジット差）」というメーターで測りました。

例え話: AI が「自信あり！」と叫ぶ直前に、脳内の「自信計」の針が右に振り切れる瞬間を捉えることです。

2. 犯人（回路）を特定する

「もし、AI が間違った答えを言っているのを、正解に書き換えてあげたら、その『自信の針』はどうなる？」という実験を行いました。

間違ったまま: 自信満々（針が振り切れる）。
正解に書き換え: 自信がぐっと下がる（針が戻る）。

この変化を引き起こしている「脳内の配線」を詳しく調べると、**「中盤から後半の層にある、ごく少数の部品（MLP ブロックやアテンションヘッド）」**が犯人であることがわかりました。

例え話: 巨大な工場で、製品（答え）が完成する直前の「最終検査ライン」に、「自信増幅器」という小さな機械が 10 個ほど隠れていました。この機械が、どんなに間違った製品でも「最高品質！」とラベルを貼り付けてしまうのです。しかも、この機械は工場のどのライン（データセット）でも同じ場所にあり、AI の「性格」そのものとして固定されていました。

3. 犯人を無力化する（介入）

この「自信増幅器」のスイッチを、AI が答えを出す瞬間に手動で操作しました。

方法 A（スイッチを切る）: 増幅器の出力をゼロにする。
方法 B（ノイズを足す）: 増幅器の方向を少しずらす（「自信」のベクトルを弱める）。

🎉 結果：「自信」が適正化された

この小さな回路をいじっただけで、AI の振る舞いは劇的に変わりました。

以前: 間違った答えでも「99% 確実！」と自信満々。
以後: 間違った答えには「ちょっと怪しいかも（低い点数）」と、自分の不確実さを正しく表現するようになりました。

これにより、AI の「自信度」と「正解率」のバランスが完璧に整い、ユーザーが AI の言葉を信じていいかどうかを判断しやすくなりました。

💡 この研究の重要なポイント（3 つの教訓）

「自信」は後付けではない:
AI が「自信満々」と言うのは、単なる出力の癖ではなく、脳内の特定の配線（回路）が原因でした。それは「中盤〜後半の層」に集中しており、AI の構造そのものに組み込まれています。
小さなスイッチで大きな変化:
膨大なパラメータ全体をいじる必要はありませんでした。**「トップ 10 個の部品」**だけを操作するだけで、AI の自信度は劇的に改善しました。まるで、巨大なオーケストラの「指揮者のマイク」だけを調整して、全体の音質を良くしたようなものです。
介入は「調整」が重要:
完全にスイッチを切ってしまうと、AI が「何も自信を持てない」状態になりすぎることがありました。最も効果的だったのは、**「自信のベクトルを少しだけ弱める」**という、繊細な調整（ステアリング）でした。

🚀 まとめ

この論文は、**「AI が自信過剰になるのは、脳内の特定の『自信増幅回路』が暴走しているからだ」と解明し、「その回路を直接いじることで、AI をより信頼できる存在にリセットできる」**ことを示しました。

これは、AI の「嘘」を後から修正するだけでなく、**「AI の脳そのものを手術して、正直な性格に直す」**という、全く新しいアプローチの始まりと言えるでしょう。

この論文「Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs（過剰な自信：LLM における過剰な言語化された自信のメカニズム的視点）」は、大規模言語モデル（LLM）が事実と異なる回答に対して、不確実性を示すのではなく、過剰に自信を持って誤った回答を生成する現象（過剰自信）の内部メカニズムを解明し、それを介入によって修正する手法を提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

LLM は、事実誤認（ハルシネーション）を起こした際、単に間違っているだけでなく、**「自信を持って間違っている（confidently wrong）」**という問題を抱えています。

現状: 従来の研究では、LLM が自身の不確実性を言語化できることが示されてきましたが、その「言語化された自信スコア」は事実の正確性と十分に一致しておらず（キャリブレーション不良）、ユーザーを誤導するリスクがあります。
課題: これまでの研究は出力レベルでの事後補正（ポストホック・キャリブレーション）に焦点を当てており、「なぜ過剰自信が発生するのか」という内部のメカニズム（回路レベル）は未解明でした。
問い: 過剰自信を駆動する具体的な内部メカニズムは何か？また、それに対して介入することでモデルを再キャリブレーションすることは可能か？

2. 手法とアプローチ

本研究は「機械的解釈可能性（Mechanistic Interpretability）」の枠組みを用い、以下の 3 つのステップで研究を進めました。

A. 言語化された自信の内部信号化（Target Set Logit Difference: TSLD）

出力される整数スコア（0-99）を直接追跡するのではなく、モデル内部の「自信の傾向」を微分可能な指標として捉えました。

TSLD の定義: 最終トークン位置における、事前に定義された「高自信セット（例：70-99）」と「低自信セット（例：0-30）」のロジット（logit）の平均値の差を計算します。
効果: この指標は、モデルがデコード前に高自信か低自信を好む傾向を捉え、勾配ベースのアトリビューション（帰属分析）に適合する微分可能な内部プロキシとなります。

B. 真実注入対照実験（Truth-Injection Counterfactual Design）

過剰自信の因果関係を特定するために、対照実験を行いました。

クリーン入力: モデルが誤った回答を生成し、その後に自信スコアを出力するプロンプト。
汚染入力（Corrupted Input）: 誤った回答の部分を正解（Ground Truth）に置き換え、他のトークンはすべて同一に保ったプロンプト。
分析: 正解を注入した際、モデルの自信スコア（TSLD）がどのように変化するか（ $\Delta$ TSLD）を測定し、特に「自信が抑制されるケース」に焦点を当てて回路を特定しました。

C. 回路の特定と検証（EAP-IG）

手法: Edge Attribution Patching with Integrated Gradients (EAP-IG) を使用し、TSLD の変化に寄与する内部回路（MLP ブロックやアテンションヘッド）を特定しました。
検証: 特定された回路が過剰自信に対して「十分（Faithfulness）」かつ「必要（Completeness）」であることを、部分的な回路の保持・遮断実験により実証しました。

3. 主要な発見と結果

A. 過剰自信を駆動する「コンパクトな回路」の存在

局所化: 過剰自信の信号は、モデルの**中層から後層（Middle-to-Late Layers）**に集中して書き込まれていることが判明しました。
構成要素: 特定の MLP ブロックとアテンションヘッドの小さなセット（Top-10 程度）が、最終トークン位置で自信増幅信号を記述しています。
- Qwen2.5-3B: 主に MLP レイヤ（例：M30, M35）が支配的。
- Llama-3.2-3B: アテンションヘッド（例：L14H3）と MLP レイヤ（例：M27）の組み合わせ。
普遍性: 異なるデータセット（PopQA, MMLU, NQOpen）間でも、これらの回路は高度に保存されており、タスク固有のアーティファクトではなく、モデル内部の安定したメカニズムであることが示されました。

B. 因果的検証

十分性: 特定された回路（全エッジの 0.5% 未満）のみを残しても、モデルは過剰自信の振る舞いを再現できました。
必要性: 特定された回路を遮断（アブレーション）すると、ベースラインの TSLD が 74%〜79% 減少し、過剰自信が大幅に抑制されました。

C. 介入による再キャリブレーション

特定された回路に対して推論時に介入を行うことで、モデルの自信スコアの精度を劇的に改善しました。

介入手法:
1. 平均アブレーション（Mean Ablation）: 対象コンポーネントのアクティベーションを、正解注入時の平均値に置き換える。
2. アクティベーション・ステアリング（Activation Steering）: 過剰自信の方向ベクトルを計算し、それをスケーリング係数 $\alpha$ で引く（より柔軟で制御可能）。
結果:
- 介入により、期待キャリブレーション誤差（ECE）が大幅に減少しました（例：Llama-3.2-3B/PopQA で 96.9% 改善）。
- ステアリング手法は、特定のインスタンスの信号を維持しつつ過剰自信のみを抑制するため、より安定した再キャリブレーションを実現しました。

4. 考察と意義

メカニズムの解明: 過剰自信は、モデルの「事実性（factuality）」を処理する回路とは構造的に乖離した、中後層に局在したコンパクトな因果コアによって駆動されていることが示されました。モデルは内部的には不確実性を認識していても、それを言語化する回路が「デフォルトで高自信」にバイアスされている可能性があります。
実用的な解決策: 事後補正（温度スケーリングやポストプロセッシング）に依存せず、モデルの内部構造に直接介入することで、信頼性の高い自信スコアを生成できることを実証しました。
RLHF の影響: 本研究で使用したモデルはインストラクトチューニング済みであり、RLHF（人間のフィードバックによる強化学習）が過剰自信の回路を強化している可能性が示唆されています。

5. 結論

本論文は、LLM の「自信を持って間違える」という現象が、特定可能な内部回路によって駆動されていることを初めてメカニズム的に解明しました。さらに、これらの回路を標的とした推論時介入が、モデルのキャリブレーションを劇的に改善することを示し、LLM の信頼性向上に向けた新しいアプローチ（メカニズム的再キャリブレーション）の有効性を確立しました。