💻 computer science

Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

本論文は、Gemma 3 4B における自己整合性を言語的自信に蒸留しようとした事前登録された試みがラベルエントロピーの崩壊により失敗した一方で、非フィルタリングデータ上での事後の救出訓練が、AUROC2 値 0.774 で単一パス読み出しに高精度な自己整合性シグナルを圧縮することに成功し、ラベルエントロピーを保持することが効果的な自信較正にとって決定的に重要であることを示したと報告する。

原著者： Jon-Paul Cacioli

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jon-Paul Cacioli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、平易な言葉と日常的な比喩を用いた、この論文の解説です。

大きな問題：過信するロボット

あなたがトリビアの質問に答えるスマートなロボット助手（AI モデル）を持っていると想像してください。「ペルーの首都は何ですか？」と尋ねると、「リマ」と答えます。次に、「どのくらい確信がありますか？」と聞くとどうなるでしょうか。

この論文が取り組む問題は、このロボットが自分の確信度を評価するのが極めて下手だということです。完全に推測している場合でも、「99% 確信しています！」と言います。まるで、テストで推測で答えを書いた学生が、正解だろうが不正解だろうが、すべての答えの横に「100% 確信あり」と書き込むようなものです。

研究者たちはこれを「退化した言語チャネル」と呼びます。ロボットは実際には推測しているときを「知っている」（内部的なシグナルを持っている）のですが、それを口に出して認めようとしません。どんな場合でも、自信満々に「99%」と出力するだけです。

実験：ロボットに正直さを教える

研究者はこの問題を解決したかったのです。ロボットが実際には確信がないときに「確信がありません」と言えるように教えようとしたのです。

実験の仕組み：

教師役： 「自己整合性（self-consistency）」という手法を用いました。つまり、同じ質問をロボットに 10 回繰り返して答えさせたのです。
- ロボットが 10 回中 10 回正解した場合、教師は「これは易しい質問だ。あなたは95% 確信していると答えなさい」と言いました。
- 10 回中 10 回間違えた場合、教師は「これは難しい質問だ。あなたは5% 確信していると答えなさい」と言いました。
- 混在していた場合（例えば、5 回正解、5 回不正解）、教師は「あなたは50% 確信している」と言いました。
目標： ロボットが質問を見て、自分自身に 10 回問いかけることなく、すぐに正しい確信度（5% または 95%）を言えるように訓練することです。

最初の試み：「完璧な生徒」の罠（否定的な結果）

研究者は厳格なルール（「モードフィルター」）から始めました。ロボットがほぼ正解している例だけを見せることにしたのです。「なぜロボットに間違えることを教える必要があるのか？うまくできているときだけ教えよう」と考えたのです。

何が起こったか？
ロボットは完全に失敗しました。すべてに対して「95% 確信」と言い続けました。
なぜか？
まるで、すでに完璧に知っている曲だけを練習させる音楽教師のようなものです。生徒は難しい曲をどう扱うかを学びません。
訓練データでは、ほぼすべての質問が「易しい」もの（ロボットが 100% 正解するもの）でした。ロボットは単純なトリックを学びました。「質問を見たら、95% と答えればいい」。不確実な状態の例を見せられなかったため、ロボットは「低い確信度」がどのようなものか一度も学ばなかったのです。研究者たちはこれを**「ラベルエントロピーの崩壊」**と呼びました。データに多様性がなく、ロボットが学ぶものがなかったのです。

救済：ロボットに混乱も見せる（肯定的な結果）

研究者は自分の間違いに気づきました。戻って、「わかった、ロボットにすべてを見せよう。間違えた質問も含めて」と言いました。

厳格なフィルターを外し、ロボットが混乱していたもの（10 回の試行で 0 回または 1 回しか正解しなかったもの）も含め、2,000 問すべてでロボットを訓練しました。

結果：
突然、ロボットは学びました！

以前： すべてに対して「95% 確信」と言っていた。
以後： 推測しているときは「5% 確信」と言い、答えを知っているときは「95% 確信」と言うようになった。
魔法： 今や、自分の確信度を聞くだけで正解と不正解の違いがわかるようになりました。自分自身に 10 回問いかけたのと同じくらい上手に、しかもたった 1 回でそれを成し遂げました。

副作用：ロボットが賢くなり（そして静かになった）

驚くべきボーナスがありました。ロボットが自分の確信度について正直になることを学んだとき、別のテスト（MMLU）でも質問に答える能力が向上しました。

なぜか？ 研究者は、ロボットがどのように話すかの変化に気づきました。
- 以前： ロボットは長く混乱した説明でまくし立てていた。
- 以後： ロボットは短く直接的な答えを与えるようになった（例：「c. 答えは X。確信度：95%」）。
比喩： 知識について正直になるよう言われた学生が、長いぐだぐだした論文で「ごまかそう」とするのをやめ、ストレートな答えを出すようなものです。正直さがロボットをより簡潔にするよう強制し、それが偶然、より多くの質問に正解する助けとなりました。

注意点（限界）

この論文は、何をしなかったかについて非常に正直です。

二値的である： ロボットは「5%」または「95%」と言うことを学びました。「72%」と言うことは学びませんでした。調光器ではなく、スイッチ（オン/オフ）のようなものです。
救出ミッションである： 成功は、研究者が最初の計画に欠陥があることに気づいた後に起こりました。毎回機能することを確認するために、もう一度テストする必要があります。
精度の低下： 訓練に使用された特定のテストでは、ロボットは確信度を評価する能力は向上しましたが、正解して答える能力はわずかに低下しました。それは、いくつかの精度を正直さと引き換えにしたのです。

2 つの大きな教訓

この論文は、AI に正直さを教えようとする人々への 2 つの主要な教訓で結論付けています。

ロボットが間違っているときを見せなければならない。 自信を持っている「易しい」例だけで訓練すれば、ロボットは「わかりません」と言うことを決して学ばないでしょう。
正直さはスタイルを変える。 ロボットに自分の確信度を正しく報告させることは、まくし立てるのをやめ、より清潔で有用な答えを与えるようにさせるようです。

要約すると：研究者はロボットに推測していることを認めるよう教えました。最初の試みは、難しい質問を隠していたために失敗しました。2 回目の試みは成功し、ロボットを「二値的」な真実を語る者へと教え込み、以前よりも自分の間違いをよりよく見分けることができるようにしました。

論文「自己整合性を言語的自信に蒸留する：Gemma 3 4B における事前登録された否定的結果と事後の救済」の詳細な技術的サマリーを以下に示す。

1. 問題定義

大規模言語モデル（LLM）、特に 3–9B パラメータ範囲のモデルは、「退化した言語的自信」という問題を示す。自信をパーセンテージで述べるよう求められた場合、これらのモデルは回答が正しいかどうかに関わらず、常にほぼ最大値の自信（天井率 >90%）を報告する。

ギャップ: 内部表現（隠れ状態）や単一パスのログイットエントロピーには正答性に関する重要な情報が含まれている（AUROC2 は約 0.6–0.8）が、言語チャネルはこの情報を伝達することに失敗する（AUROC2 は約 0.5、偶然に近い）。
目標: 本研究は、**自信条件付き教師あり微調整（CSFT）**が、堅牢だが計算コストの高い手法であるマルチサンプル自己整合性からの情報を、信頼性の高い単一パスの言語的自信シグナルに蒸留できるかどうかを調査する。

2. 手法

本研究では Gemma 3 4B-it を利用し、CMM プログラム（タイプ 2 信号検出理論）に基づいた厳密な心理測定評価パイプラインに従った。

実験設計

データ: TriviaQA（較正/訓練および保持済み評価）と MMLU（クロスベンチマーク転送）から抽出された項目。
ターゲット導出: 各訓練項目について、温度 $T=0.7$ で 10 サンプルを生成した。正しいサンプルの数（ $n_{correct}$ ）を自信ターゲットにマッピングした（例： $n_{correct}=10 \rightarrow 95\%$ 、 $n_{correct}=0 \rightarrow 5\%$ ）。
訓練: チャットプロンプトに対する LoRA 微調整（ランク 16）を行い、モデルに回答の後に導出された自信パーセンテージを出力させるように訓練した。
対照群: 構造は同一だが、自信ラベルをランダムに並べ替えたシャッフルターゲット対照群を訓練し、フォーマットの学習とシグナルの学習を区別した。

2 つのフェーズ

事前登録プロトコル（フェーズ 0）: モードフィルタを含み、10 サンプルの中で最も頻出する回答が正しい項目に訓練データを制限した。
事後救済: モードフィルタを除去し、モデルがモード回答が誤っているもの（二峰性分布）を含む、すべての 2,000 件の較正項目で訓練できるようにした。

3. 主要な結果

A. 事前登録結果（否定的）

結果: プロトコルは失敗した。
指標: 言語的 AUROC2 はベースラインの 0.554 から 0.509 に低下した。精度は 7.6% 悪化した。妥当性評価尺度（VRS）は「無効」のままであった。
診断: ラベルエントロピーの崩壊。 モードフィルタにより、モデルが不確実であったり誤っていたりする項目（ $n_{correct} < 10$ ）がすべて除去された。その結果、訓練セットはほぼ均一な高自信ターゲット（主に 95%）となった。モデルは入力を無視し、モード（95%）を出力することを学習し、いつ低自信を表現すべきかを学習することに失敗した。

B. 事後救済（探索的ポジティブ）

モードフィルタを除去することで、訓練セットには二峰性分布が含まれるようになった：48.2% の項目が $n_{correct}=10$ （ターゲット 95%）、36.5% の項目が $n_{correct}=0$ （ターゲット 5%）であった。

TriviaQA パフォーマンス:
- AUROC2: ベースラインの 0.554 から 0.774 へと大幅に改善した。
- 天井率: 97.7% から 49.8% に崩壊し、モデルが自信を変化させることを学習したことを示している。
- シグナルの性質: モデルは連続的な較正ではなく、二値識別子（5% または 95% のいずれかを出力）を学習した。これは、10 サンプルの自己整合性シグナル（AUROC2 = 0.999）を単一パスの言語的読み取りに圧縮し、識別能力の約 77.5% を回復させた。
- 比較: 蒸留された言語シグナル（0.774）は、単一パスのログイットエントロピー（0.701）を上回った。
MMLU クロスベンチマーク転送:
- 精度: 54.2% から 77.4% へと劇的に改善した。
- AUROC2: 0.535 から 0.616 に改善した。
- 対照: シャッフルターゲットモデルは改善を示さず（精度 56.1%、AUROC2 0.523）、冗長で解析不能な出力を生み出した。これは、LoRA 手順そのものではなく、自信ターゲットの内容が改善をもたらしたことを確認した。

4. 主要な貢献と設計原則

ラベルエントロピーの重要性: 本研究は、自信訓練における主要な失敗モードとしてラベルエントロピーの崩壊を特定した。モデルに不確実性を表現させるためには、訓練セットに不確実性の例（低自信ターゲット）を含めることが必須である。「難しい」または「誤った」例を除外することは、失敗を保証する。
自己整合性の蒸留: マルチサンプルの自己整合性情報（通常 10 回のフォワードパスを必要とする）を、単一パスの言語シグナルに蒸留することが可能である。圧縮損失（約 22.5%）はあるものの、得られたシグナルは標準的なログイットエントロピーよりも情報量が多く、標準 API を介してアクセス可能である。
フォーマット正則化: 正しい自信ターゲットでの訓練は、出力フォーマットを正則化するようであった。真のターゲットモデルは簡潔で解析可能な応答を生み出したのに対し、シャッフルターゲットモデルは冗長で非構造化のテキストを生み出した。これは、自信ターゲットが出力構造の正則化剤として機能する可能性を示唆している。
精度と自信のトレードオフ: この介入は識別力を向上させたが、TriviaQA の精度を 7.5% 低下させた。これは、モデルが生の回答生成よりも識別シグナルを優先する新しい「回答 - 自信ポリシー」を採用したか、あるいは自信シグナルが他のベンチマーク（MMLU）における幻覚をフィルタリングするのに役立ったことを示唆している。

5. 意義と限界

意義: この研究は、内部ログイットへのアクセスや複数回のサンプリングパスを必要とせずに、LLM に信頼性を持って不確実性を「語る」ことを可能にする実用的な道筋を提供する。それは「言語チャネル」は訓練可能だが、機能させるためには特定のデータ分布（高エントロピー）が必要であることを浮き彫りにしている。
限界:
- 二値出力: モデルは連続的な較正（例：60% の自信）ではなく、二値分類器（5% 対 95%）を学習した。
- 事後性の性質: ポジティブな結果は事前登録されておらず、再現が必要である。
- 単一モデル/シード: 結果は Gemma 3 4B と単一のランダムシードに固有である。
- 精度の低下: MMLU 精度の向上と TriviaQA 精度の低下は、自信訓練と回答生成ポリシーの間の複雑な相互作用を示しており、さらなるアブレーション研究が必要である。

結論

本論文は、小規模な LLM が自然には不確実性を報告できないことを示しているが、訓練データがラベルエントロピーを保持している場合、CSFT によってこれを救済できることを実証している。失敗を含む自己整合性の結果の全スペクトルで訓練することにより、モデルは複雑なマルチサンプル推論を、標準的なエントロピーベースラインを上回る信頼性の高い単一パスの言語的自信シグナルに蒸留でき、MMLU などのクロスベンチマークタスクにおけるパフォーマンスを向上させることができる。