💬 NLP

Inference Time Optimization with Confidence Dynamics

本論文は、正解と誤った推論トレースの明確な信頼度軌跡パターンを活用して、複数の大規模言語モデルおよび数学的ベンチマークにおける回答選択と性能を大幅に向上させる新たな推論時最適化手法である「信頼度動的ゲイン（CDG）」を導入する。

原著者： Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

原著者： Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、時として過信しやすい学生に、難しい数学の問題を解くよう頼む場面を想像してください。その学生に、頭の中で 500 回試行し、それぞれの試行における思考の全手順を書き留めるよう指示します。その後、その 500 回の試行の中から、たった一つの最良の答えを選び出さなければなりません。

従来、あなたは単に「多数決」を用いていました。200 人の学生が答えを「42」とし、199 人が「43」と言った場合、群衆は通常正しいと仮定して「42」を選びます。しかし、もし「43」と答えた 199 人の学生は、試行を終える頃には自分たちの答えに対してはるかに確信を持っていたのに対し、「42」と答えた 200 人の学生は当初は自信を持っていたものの、過程で混乱し、不確実になっていったとしたらどうでしょうか？

本論文は、勝者を選ぶ新しい方法として**「自信動的ゲイン（Confidence Dynamic Gain: CDG）」**を導入します。その仕組みを、簡単な比喩を用いて説明します。

1. 問題点：「静的」なスコアカード

現在の手法は、学生の最終的な自信を、単一の瞬間の快照のように捉えています。「平均して、どの程度確信していましたか？」あるいは「最終的にどの程度確信していましたか？」と問うかもしれません。

欠点： これは「旅路」を無視しています。ある学生は非常に自信を持って始め、途中で行き違いに気づき、最終的には非常に不確実な状態で終わるかもしれません。別の学生は不確実な状態で始め、論理を解きほぐし、最終的に非常に確信を持って終わるかもしれません。従来の手法は、この違いを見逃しがちです。

2. 発見：「自信曲線」

研究者たちは、複数の異なる AI モデルにおいて、同じ問題に対する 500 通りの異なる思考経路（トレース）を観察しました。そして、驚くべきパターンに気づきました。

正しい経路： AI が正解を得た場合、その自信は通常、最初のステップから最後のステップへと進むにつれて増大します。「たぶん」という状態から始まり、「確かに」という状態で終わります。
誤った経路： AI が誤った答えを得た場合、その自信はしばしば縮小するか、横ばいになります。最初は自信を持っていても、推論を進めるにつれて「疑い」や混乱が生じ、最終的に誤った答えを出力しても、その状態のままになります。

比喩： これは山を登るハイカーのようなものです。

正しいハイカー： 麓（低めの自信）から出発し、正しい道を見つけ、登るにつれて視界がクリアになり、自分が正しい道にいると確信を深めます。
間違ったハイカー： 麓から出発し、間違った道へ進みます。登るにつれて道は霧に包まれ、混乱します。自分が道に迷ったことに気づいても、歩き続け、最終的には間違った頂上に、低い自信のまま到達します。

3. 解決策：「動的ゲイン」スコア

本論文は、単に票数を数えるだけでなく、自信の変化に注目する新しい投票システムを提案します。

仕組み： 各答えについて、「自信動的ゲイン」を計算します。これは単純に、（最終の自信）から（開始時の自信）を引いた値です。
規則： 思考の過程で答えの自信が著しく上昇した場合、ボーナススコアが加算されます。逆に、自信が低下した場合、ペナルティが科されます。

4. 結果：より優れた勝者

研究者たちは、この手法を AIME や HMMT などの難易度の高い数学コンテストでテストしたところ、この新しい手法は、従来の「多数決」や他の自信確認手法よりも、正解をより頻繁に選び出すことができました。

自信ありげだが誤った答え（ハルシネーション）を効果的に排除しました。なぜなら、それらの誤った答えは、推論が複雑になるにつれて自信が低下する傾向を示すからです。
正解を強化しました。なぜなら、それらは確信が着実に高まる傾向を示すからです。

なぜこれが起こるのか（理論）

著者たちは、この現象はこれらの AI モデルの訓練方法に起因すると指摘しています。

「集団」効果： モデルが訓練される際、正解は一つだけ（グランドトゥルース）であることを学びます。したがって、すべての「正しい」思考経路は最終的にその単一の答えに収束し、モデルは最終的に非常に高い自信を持つようになります。
「ごちゃごちゃ」した誤った経路： 誤った答えに至る方法は無限にあります。「誤った」思考経路は散在し、多様です。それらがすべて同じ誤った地点に到達するわけではないため、モデルは最終的に確信を持つための強力で統一されたシグナルを受け取りません。その結果、混乱したままか、自信を失ったままになります。

まとめ

要約すると、本論文は、AI の自信が最終的にどの程度かよりも、時間とともにどのように変化するかが、真実のより良い指標であることを教えてくれます。確信へと「成長する」答えに報酬を与え、「道に迷う」答えにペナルティを科すことで、モデルを再訓練することなく、AI の推論からより優れた結果を得ることができます。

技術概要：信頼性ダイナミクスを用いた推論時間最適化

問題提起

Best-of-N サンプリングや反復サンプリングなどの推論時間最適化技術は、大規模言語モデル（LLM）の推論能力を大幅に向上させてきましたが、既存の戦略はモデルの不確実性のダイナミクスが果たす重要な役割を見落としています。多数決投票や信頼性重み付け投票（例：DeepConf）といった現在の最先端のアプローチは、推論トレース全体にわたる情報を集約する静的な信頼性指標（例：平均パープレキシティまたはシーケンスレベルの確率）に依存しています。これらの手法は、すべてのトレースを同様に扱うか、単一の集約スコアに基づいて重み付けするため、推論プロセスの「間」にモデルの確信度がどのように変化するかに係る貴重なシグナルを隠蔽する可能性があります。本論文は、推論チェーンの開始から終了までの信頼性の軌跡が、現在、回答選択において十分に活用されていない弁別的情報を含んでいると仮説を立てています。

手法：信頼性ダイナミックゲイン（CDG）

本論文は、推論軌跡に沿った信頼性の進化を明示的に組み込む新しい投票メカニズムである**信頼性ダイナミックゲイン（CDG）**を提案します。

1. 経験的観察

AIME、HMMT、BRUMO といった数学的ベンチマークにおいて、DeepSeek-R1、gpt-oss、Gemma-3、Qwen-QwQ という 4 つの多様なオープンソースアーキテクチャで実施した広範な実験を通じて、著者らは以下の固有のパターンを特定しました：

正解トレース： システム的な正の信頼性ゲインを示し、モデルの信頼性が初期トークンから最終結論へと推論チェーンが進行するにつれて増加します。
誤答トレース： 推論が進むにつれて信頼性が低下するか停滞する減衰した、あるいは負の信頼性ゲインを示します。

2. 信頼性指標と軌跡のビン分割

これを定量化するために、著者らはトップ-K トークンの確率に基づく切り捨てられたカルバック・ライブラー（KL）ダイバージェンス近似を用いて、トークンレベルの信頼性（ $C_t$ ）を定義します。長さの異なるトレースを比較するために、位置正規化ビン分割アプローチを採用します：

各トレースは $N$ 個の等しいサイズのビン（デフォルト $N=10$ ）に分割されます。
「Head」ビンは最初の $P\%$ のトークンを表し、「Tail」ビンは最後の $P\%$ を表します。
**信頼性ダイナミックゲイン（ $\Delta C_\ell$ ）**は、Tail ビンの平均信頼性と Head ビンの平均信頼性の差として計算されます：
$\Delta C_\ell = \bar{C}_{tail} - \bar{C}_{head}$
正の $\Delta C_\ell$ は信頼性の増加を示し、負の値は信頼性の減少を示します。

3. CDG 投票アルゴリズム

トレース $\ell$ に対する最終的な回答選択スコア（ $s_\ell$ ）は、平均トレース信頼性（ $\bar{C}_\ell$ ）とダイナミックゲインを組み合わせます：
$s_\ell = \bar{C}_\ell + \beta \cdot \Delta C_\ell$
ここで、 $\beta$ はダイナミックシグナルの影響を制御するハイパーパラメータです。

候補回答 $a$ に対する最終スコアは、多数決投票が信頼性シグナルを圧倒するのを防ぐためにカウント減衰因子を組み込んで、これらのトレーススコアを集約します：
$R(a) = |T_a|^\alpha \cdot \mu_a(s_\ell)$
ここで、 $|T_a|$ は回答 $a$ に対するトレースの数、 $\alpha \in [0, 1]$ はカウントの支配を減衰させ、 $\mu_a$ は回答 $a$ を生成するトレースの平均スコアです。

4. 理論的正当性

本論文は、この現象を推論モデルの一般的なトレーニングアルゴリズムである**グループ相対方策最適化（GRPO）**と結びつける理論的分析を提供します。

仮定： 正解トレースは単一の正解（Tail での高頻度）に収束し、誤答トレースは多様な失敗モードに発散します（Tail での低頻度）。
メカニズム： GRPO は正解トレースに正のアドバンテージを、誤答トレースに負のアドバンテージを割り当てます。これにより、正解トレースでは「Tail から Head へ」の集中度比率が高まり、シーケンスの終端に向かって信頼性（logits）が急激に上昇します。収束しない誤答トレースは、同様の信頼性のスパイクを示しません。

主要な貢献

経験的発見： 多様な LLM アーキテクチャにおいて、正解の推論トレースが誤答トレースと比較して高い信頼性ゲイン（Head から Tail へ）を示すという系統的なパターンの特定。
新規手法（CDG）： 信頼性ダイナミクスを弁別シグナルとして活用し、多数決投票と静的な信頼性ベースの手法の両方を一般化する、トレーニング不要の投票手法の提案。
理論的洞察： 観測された信頼性勾配を GRPO のトレーニングダイナミクスおよび検証可能な報酬と結びつける理論的分析により、正解トレースが自然に Tail において「信頼性スパイク」を発達させる理由を説明。
経験的検証： 競争力のある数学的推論ベンチマークにおいて、最先端のベースラインに対して一貫した性能向上を実証。

実験結果

著者らは、AIME 2024/2025、HMMT 2025、および BRUMO 2025 において、DeepSeek-R1-8B、gpt-oss-20B、Gemma-3-27B、Qwen-QwQ-32B の 4 つのモデルで CDG を評価しました。

性能： CDG はすべてのモデルとデータセットで平均精度が最も高くなりました。
- 多数決投票に対して平均で**5.4%**向上しました。
- DeepConf-Mean に対して**4.8%**向上しました。
- Tail 信頼性のみを使用する DeepConf-Tail を**1.7%**上回りました。これは、Tail 信頼性そのものだけでなく、ダイナミックな側面（Head から Tail への差）が重要であることを示しています。
アブレーション研究：
- カウント減衰（ $\alpha$ ）： カウント減衰を除去（ $\alpha=1$ ）すると性能が大幅に低下し、トレース数と信頼性シグナルのバランスを取る必要性が確認されました。
- ダイナミック重み（ $\beta$ ）： 性能は、モデルの信頼性分離に対して特定の範囲に $\beta$ を調整したときにピークに達し、ダイナミックシグナルが静的な信頼性を補完する情報を提供することを確認しました。
- トレース長： CDG はトレース長に関係なく優位性を維持し、シグナルがシーケンス長のばらつきに対して頑健であることを示しました。
- フォーマット Artefact： 多くの場合、末尾に存在する高信頼性のフォーマットトークンである \boxed{} トークンを除外しても結果は変化せず、シグナルがフォーマット Artefact ではなく推論ダイナミクスに由来することを証明しました。

意義と主張

本論文は、CDG が LLM 推論における回答選択を改善するための堅牢でトレーニング不要の弁別シグナルを提供すると主張しています。推論中のモデルの信頼性の自然なダイナミクスを利用することで、CDG はモデルの再トレーニングや追加の報酬モデルを必要とせず、幻覚された回答よりも正解を選択するための原理的な方法を提供します。

著者らは、この手法が数学的推論における Best-of-N スケーリングに対して非常に効果的である一方で、複数のトレースを生成することに伴う計算コストを継承することに留意しています。また、 $\beta$ パラメータのモデル固有の調整の必要性や、すべてのクローズドソース API で利用可能とは限らないトークンレベルの log 確率へのアクセスが必要であるという限界も認めています。この仕事は、信頼性ダイナミクスに関するこれらの洞察が、検証可能な報酬を伴う他のアドバンテージ重み付け方策勾配法にも一般化される可能性を示唆しています。