🤖 AI

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

本論文は、大規模言語モデルの精度と較正能の両方を向上させる強化学習アルゴリズムであるC3RLを導入し、これらの高度に較正された信頼度スコアを活用することで、既存の手法を凌駕しながら推論コストを大幅に削減する適応型テスト時スケーリング戦略であるCASを駆動する。

原著者： Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に優秀ですが、自信過剰な学生が、とても難しい試験を受けているところを想像してみてください。この学生はAIであり、問題を解くのは得意なのですが、ある悪い癖があります。答えに自信がないときでも、平然とした顔で「100%確信しています！」と言って、とにかく適当に答えてしまうのです。AIの世界では、これを「ハルシネーション（幻覚）」と呼びます。これは、まるで学生が自信満々に「フランスの首都はロンドンです」と書いて、間違えてしまうようなものです。

あなたが共有した論文は、この学生の振る舞いを修正し、学習時間をより効率的にするための2段階のシステムを紹介しています。

ステップ1：「正直さのコーチ」（C3RL）

解決策の第一部は、C3RL（Correctness and Confidence Calibration Reinforcement Learning：正確性と自信の較正強化学習）と呼ばれる新しい訓練手法です。これは、学生に2つのことを同時に教える、厳格ながらも公平なコーチだと考えてください。

答えを正しく出すこと（ただ推測するのではなく）。
自分がどれくらい確信しているかを正直に言うこと（もし推測しているなら、それを認める）。

通常、AIを訓練するときは、正解したときだけに報酬を与えます。これにより、AIは正解することに必死になり、自信について嘘をつくようになります。C3RLはこのルールを変えます。もし学生が「正解し、かつ自信がある」と言えば、「金メダル」を与えます。また、「間違えたが、自信がないと認めた」場合にも「金メダル」を与えます。

しかし、「間違えたのに100%確信していると主張した」場合には、「大きな赤色のF（不合格）」を与えます。また、「正解したのに、全く自信がないと主張した」場合にも、「大きな赤色のF」を与えます。

その結果、AIは、実際に推測しているときは「これについては自信がありません」と言い、答えを知っているときは「非常に自信があります」と言えるようになります。これにより、「自信満々な嘘」が止まるのです。

ステップ2：「賢い予算管理者」（CAS）

学生が正直さを学んだら、システムの第二部が作動します。これはCAS（Confidence-based Adaptive Test Time Scaling：自信に基づく適応型テストタイム・スケーリング）と呼ばれます。

あなたがこの試験を採点している教師だと想像してください。ただし、あなたには限られた時間とエネルギーの予算があります。すべての問題に対して10時間もかけることはできません。

従来の方法（多数決）： 学生にすべての問題を64回解かせ、最も多い回答を採用します。これは正確ですが、非常に無駄が多いです。まるで、数学の問題を確実にするために、学生に同じ問題を64回も解かせるようなものです。
新しい方法（CAS）： あなたは学生に、問題を一度解かせます。
- もし学生が「90%の確率でAだと思います」と言えば、あなたは即座に彼らを信頼し、答えを書き留めて次に進みます。これで時間を節約できました！
- もし学生が「自信は40%程度です」と言えば、あなたは彼らが苦戦していることがわかります。そこで、彼らが自信を持つか、あるいは十分に試行したと言えるまで、何度も、何度も、やり直させます。

ステップ1のおかげで、学生（AI）が自信について正直になったため、あなたは彼らの「自信があります」という信号を信頼することができます。これにより、簡単な問題に時間を浪費することをやめ、本当に難しい問題にのみエネルギーを集中させることができるのです。

大きな成果

論文は、この組み合わせが素晴らしい効果をもたらすことを示しています。

より高い正直さ： AIは、実際に問題を解く能力を低下させることなく、自分が答えを知らないときに、自分が答えを知らないことを知る能力が大幅に向上しました。
巨大な節約： 「賢い予算管理者」を使用することで、システムは膨大な計算資源を節約できました。あるテストでは、従来の方法と同じ（あるいはそれ以上の）結果を得ながら、12倍少ない計算リソースで済みました。

要約すると、この論文は、AIに自分が知っていることについてブラフ（はったり）をかくのをやめさせ、その正直さを利用して、本当に必要なときにだけ集中的に作業を行うことで、時間とコストを節約する方法を教えているのです。

テクニカル・サマリー：自信を持ってスケールアップする（Scaling with Confidence）

問題提起

強化学習（RL）は、推論や質問回答における大規模言語モデル（LLM）を大きく進化させてきたが、従来のRLによる報酬設計は、回答の正確性を優先する一方で、自信の較正（キャリブレーション）を軽視する傾向がある。この見落としは、決定的な失敗モードを引き起こす。すなわち、モデルが不確実な状況にある際に、誤った出力に対して過剰な自信を持ってしまう（ハルシネーション／幻覚）。既存の較正手法には、主に以下の3つの限界がある：

粒度の粗さ： 較正を二値分類（確信しているか、していないか）に還元してしまい、微細な不確実性を捉えきれない。
正確性と較正のトレードオフ： 較正を改善しようとすると、しばしば正確性が犠牲になる。モデルが較正損失を最小化するために、意図的に自信のない誤答を生成することを学習してしまうためである。
活用不足： 較正された「自信」が、適応的な推論やリソース配分といったダウンストリームの意思決定に活用されることは稀である。

手法

本論文は、C3RL（学習）とCAS（推論）という2つのコアコンポーネントからなる統一フレームワークを提案する。

1. 正確性と自信の較正のための強化学習（C3RL）

C3RLは、性能を損なうことなく正確性と較正を同時に最適化するように設計された新しいRLアルゴリズムである。これは、3つの異なる部分からなる複合報酬関数（ $R_{C3RL}$ ）を利用する。

正確性報酬 ( $R_{correctness}$ ): 標準的なインジケーター報酬（正解なら $+1$ 、不正解なら$0$）であり、モデルが事実に基づいた正確性の方向へと更新されることを保証し、「較正されているが間違っている」というショートカットを防ぐ。
較正報酬 ( $R_{calibration}$ ): 言語化された自信と実際の正確性の間の整合性を促す。閾値 $t=5$ を用い、モデルが「確信しており、かつ正解」または「不確実であり、かつ不正解」である場合に報酬（ $+\beta$ ）を与え、「確信しているが不正解」または「不確実だが正解」である場合に罰則（ $-\beta$ ）を与える。
参照正確性報酬 ( $R_{reference}$ ): モデルが元々正解する確率が高かった問題に対してハルシネーションを起こすのを防ぐため、この報酬はデータセットに基づいた参照タグを利用する。
- 元々「すべて不正解」（ベースモデルのサンプリングに基づく）であった問題に対し、モデルが正解した場合は正の報酬（ $+\alpha$ ）を得る。
- 元々「すべて正解」であった問題に対し、モデルが誤った回答を生成（ハルシネーション）した場合は負の報酬（ $-\alpha$ ）を得る。

学習データの構築： 著者らは、数学、科学、論理推論の領域から高品質なデータセットを構築した。各学習サンプルについて、ベースモデルが10個の回答を生成し、「すべて正解」、「部分的に正解」、「すべて不正解」という参照正確性タグを割り当てる。

2. 自信に基づく適応的テスト時スケーリング（CAS）

C3RLによって生成された、よく較正された「言語化された自信」を活用し、著者らは推論時の戦略であるCASを導入する。

メカニズム： 周波数やエントロピー（これらはしばしば較正されていない）に頼るのではなく、CASはユニークな回答に対する言語化された自信スコアの合計を使用する。
停止基準： アルゴリズムは、ベータ分布に基づいた数式を用いて、最も自信のある回答（ $c_1$ $c_{1}$ ）が2番目に自信のある回答（ $c_2$ $c_{2}$ ）に対して支配的である確率を計算する。
- もし $Prob(c_1, c_2) \geq P_{stop}$ であれば（トップの回答が非常に支配的であることを示す）、サンプリングを早期終了する。
- そうでない場合は、サンプリングを継続する。
リソース配分： この戦略は、計算予算を、高自信のサンプル（確認のために少ないサンプル数で済むもの）から、低自信のサンプル（追加のサンプリングによる恩恵が大きいもの）へと効果的にシフトさせる。

主な貢献

C3RLアルゴリズム： 正確性と較正を同時に改善し、全体的な性能を維持しながら過剰な自信を抑制する新しいRLアプローチである。参照正確性情報を報酬関数に統合して学習を安定させた最初の事例である。
CAS戦略： 較正された自信を利用して、推論予算を動的に割り当てるテスト時スケーリングのための早期終了メカニズムである。不確実なサンプルにより多くの計算を割り当てる。
統一フレームワーク： C3RLとCASの相乗効果により、LLMが較正された自信を表明し、推論コストを適応的に制御できる一貫したパイプラインを実現する。

実験結果

本フレームワークは、Qwen2.5VL-7B-InstructおよびLlama-3.2-3B-Instructを用い、8つのテキストおよびマルチモーダルデータセット（AGIEval、MMLU、MMMU、MathVistaを含む）で評価された。

較正と正確性： C3RLは、性能と信頼性のバランスにおいて、現在の最先端のRL手法（RLCR）および他のベースライン（SaySelf、RLVR）を凌駕している。分布外（OOD）データセットにおいて、C3RLはRLCRの正確性を維持または上回りつつ、優れた較正（低い期待較正誤差：ECE）を達成した。特筆すべきは、C3RLが他の較正重視の手法で見られる正確性の低下を回避している点である。
推論効率： テスト時スケーリングの実験において、CASは標準的な多数決（Majority Voting: MV）の正確性に到達するために必要な推論予算を大幅に削減した。
- CASは、OODテキストデータセットにおいて、MVと比較して必要なサンプル数を最大12.33倍削減した。
- CASは、OODテキストタスクにおいて、AC（Adaptive-Consistency）の半分以下のサンプリング予算を使用しながら、競争力のある正確性を維持し、一貫してACを上回った。
層別分析： 実験により、低自信のサンプルは高自信のサンプル（改善がほとんど見られなかった）と比較して、サンプリングを増やすことによる恩恵を大幅に受ける（正確性が約49%から約54.5%へ上昇）ことが確認され、CASのリソースシフトの論理が検証された。

意義と主張

著者らは、本研究がモデルの性能と信頼性の間の決定的なギャップに対処するものであると主張している。正確性、較正、および参照正確性を統合することで、C3RLはモデルが「不確実な時には低い自信を表明する」ことを可能にし、同時に正しく回答する能力を損なわないようにしている。

本研究の意義は、学習と推論の相乗効果にある：

C3RLは、必要な「よく較正された言語化された自信」を提供する。
CASはこの信号を効率的に活用し、リソース使用を最適化する。

論文は、この統一されたパイプラインが、より信頼性が高く、リソース効率の良いLLMの展開への道を開くものであると結論付けている。著者らは、科学分野におけるデータの不足による学習バイアスの可能性や、C3RLの較正が、単独でのSaySelfのような純粋な較正手法には依然として及ばない点など、限界についても言及している。