🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

本論文は、直接選好最適化によってトークンレベルの信頼性を論理的整合性と整合させ、Confidence-aware Thought（CaT）メカニズムを通じて不確実な推論分岐を動的に剪定することで、大規模推論モデルの信頼性と効率性を向上させるフレームワークである CASPO を紹介する。

原著者： Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、 brilliant だが過信気味の学生に複雑な数学の問題を解く方法を教えていると想像してください。この学生を「Reasoning Bot」と呼びましょう。彼は最終的な正解を得ることは得意ですが、その過程で間違った方向に進み、それに気づいてから、自分が混乱していたことを認めずに魔法のように自ら修正することがよくあります。あるいはもっとひどいことに、自分が正しいと確信しながら行き止まりの道を進み、単なる偶然に正解にたどり着くこともあります。

問題点は、彼が正解か不正解かということだけではありません。彼が「いつ不確実であるか」を知らないことです。実際には無意味なステップに対して99%の自信を持っていることもあれば、完全に論理的なステップに対して10%の自信しか持っていないこともあります。これは、彼を信頼できないものにします。特に医療や金融のような、目的地だけでなく旅の「すべてのステップ」を信頼する必要がある高リスクな状況ではそうです。

この論文は、CASPO（Confidence-Aware Step-wise Preference Optimization：信頼度認識型ステップ別選好最適化）と呼ばれる新しい訓練手法と、CaT（Confidence-aware Thought：信頼度認識型思考）と呼ばれる新しい考え方を導入します。これらがどのように機能するかを、簡単な比喩を用いて説明します。

問題点：「偽の自信」の罠

現在、これらのAIモデルは台本を暗記する俳優のようです。もしセリフが滑らかで流れが良ければ、そのセリフが論理的に意味がなくても、俳優は高い自信を持ってそれを言います。

欠点: モデルは「滑らかに聞こえること」と「正しいこと」を混同しています。
結果: 実際には論理的な穴に満ちている、長く説得力のある推論の連鎖を生成してしまいます。

解決策：CASPO（「正直さコーチ」）

著者たちは、モデルに自身の不確実性について正直になるよう教えることを目指しました。彼らは、最終的なテストの点数を採点するだけでなく、学生が行うすべての動きを監視する厳格なコーチのような訓練システムを作成しました。

仕組み:

「正直さ」の指標: 外部の専門家にすべてのステップをチェックさせる（これは遅く、高価です）代わりに、システムはモデル自身の内部の「声」に耳を傾けます。モデルがどの程度「躊躇」しているかを測定します（エントロピーと呼ばれる概念を使用）。
- 比喩: モデルが文章を生成している際、次の単語に非常に確信があれば、その内部の「躊躇」は低くなります。多くの単語の間で推測している場合、躊躇は高くなります。
訓練ゲーム: システムは、2つの経路を比較するゲームを作成します。
- 経路A: 正解のステップだが、モデルが驚くほど不確実だった（高い躊躇）場合。
- 経路B: 誤ったステップだが、モデルが自信満々だった（低い躊躇）場合。
- 教訓: モデルは、不確実であっても正解のステップを選んだ場合に報酬を受け取り、過信していた際に誤ったステップを選んだ場合に罰せられます。
目標: 時間とともに、モデルは自己を較正することを学びます。論理が実際に堅固な場合にのみ「高い自信」を持つべきであり、論理が不安定な場合に「低い自信」を持つべきだと学ぶのです。

結果：CaT（「賢いナビゲーター」）

モデルが自信について正直になるように訓練されると、著者たちは問題解決中にそれを使用する新しい方法を導入します。これをCaTと呼びます。

あなたが答え（宝）を探して、推論プロセスという密な森をハイキングしていると想像してください。

従来の方法（自己一貫性）: 100人のハイカーをランダムな道に送り出します。全員が完了するのを待ってから、最も多くの人が見つけた答えを選びます。これは遅く、高価です。
CaT方式: 数人のハイカーを送り出します。彼らが歩くにつれて、内部のコンパス（較正された信頼度）をチェックします。
- ハイカーが分かれ道に到達し、コンパスが激しく回転し始めたら（低い信頼度）、CaTは即座に彼らに停止して引き返すよう伝えます。
- ハイカーが安定したコンパス（高い信頼度）でスムーズに進んでいる場合、CaTは彼らが続けることを許可します。

これが画期的な理由:

速度: 行き止まりを探検する時間を浪費しません。悪い経路を早期に切断します。
効率性: 数千の答えを生成しようとする方法よりも優れた結果を達成しますが、ほぼ追加の計算能力なしで達成します。
信頼性: モデルは正しい場合のみ自信を持つように訓練されているため、選択する経路は論理的に堅固である可能性がはるかに高くなります。

証拠

研究者たちは、AIME などの難しい数学コンテストや論理パズルを含む10の異なるベンチマークでこれをテストしました。

結果: CASPOで訓練されたモデルは、他のトップ手法よりも一貫して高いスコアを獲得しました。
驚き: 外部の「報酬モデル」（高価な人間の採点者のようなもの）を使用しなくても、モデルは自身の内部の信頼度シグナルを信頼することを学びました。
スケーラビリティ: この手法は、小規模なモデルから Qwen3 のような非常に大きく強力なモデルまで、両方でうまく機能しました。これは、将来のための堅牢なツールであることを証明しています。

まとめ

この論文は、AI の推論を信頼できるものにするためには、単に正解を得る方法を教えるだけでは不十分だと主張しています。私たちは、AI に自分が知っているときを知り、自分が知らないときを知ることを教えなければなりません。モデルの内部の信頼度を論理的な真実と一致させるように訓練することで、正解に至るために推測するだけでなく、安定した正直なコンパスを持って道を進む AI を生み出すことができます。

技術的サマリー：信頼性認識型アライメントは推論 LLM の信頼性を向上させる

1. 問題提起

OpenAI-o1 や Qwen-3 などの大規模推論モデル（LRM）は、段階的な生成を通じて数学および科学の問題解決において顕著な能力を示しています。しかし、重大な脆弱性が存在します：これらのモデルは、論理的に欠陥のある中間ステップを経て、最終的に正しい答えに到達することが頻繁にあります。これにより、最終的な精度と推論の信頼性の間に乖離が生じます。

根本的な原因は、モデルの内部信頼性（トークンレベルの確率）と論理的正しさとの間の不整合です。現在の LRM は、論理的に誤っているが構文的に有効なステップ（ハルシネーション）に対して高い信頼性を示す一方で、厳密だが馴染みのない導出に対しては低い信頼性を示す傾向があります。既存のアライメント戦略、例えばプロセス報酬モデル（PRM）や大規模サンプリング（例：自己一貫性）は、外部検証器や計算コストの高い探索に依存しており、スケーラビリティを制限し、モデルの内在的不確実性を自己検証に活用できていません。

2. 手法：CASPO フレームワーク

著者は、トークンレベルの信頼性をステップごとの論理的正しさと整合させる統合フレームワークである**CASPO（信頼性認識型ステップ別選好最適化）**を提案します。このフレームワークは、相互に関連する 2 つのフェーズで動作します。

A. 学習：信頼性認識型ステップ別選好最適化

最終的な軌道の正しさのみを最適化するのではなく、CASPO はステップレベルでのモデルの不確実性の較正に焦点を当てます。

不確実性指標： このフレームワークは、トークンレベル分布のシャノンエントロピーを、参照フリーの内在的不確実性の尺度として利用します。高いエントロピーは低い信頼性を示します。
データ構築： オフラインの強力なモデル（評価器）が推論ステップの正しさを検証します。選好ペアは、正しさと信頼性の相互作用に基づいて構築されます。
- 正解だが不確実： ステップが正解であるが信頼性が低い場合、それは高信頼性の競合候補よりも優先される回答（ $y_w$ ）として扱われます。
- 誤りだが確信過剰： ステップが誤っている場合、モデルの誤った生成よりも正解が優先されます。
- 正解かつ確信過剰： これらのステップは、冗長な学習を避けるために省略されます。
最適化： モデルは**反復的直接選好最適化（DPO）**を用いて学習されます。ターゲットモデル $\pi_\theta$ は、前の反復のモデルを参照モデル（ $\pi_{ref}$ ）として用いて、優先されるステップの相対的な尤度を非優先のものに対して増加させるように最適化されます。これにより、推論中に個別の報酬モデルを必要とせずに、モデルの信頼性誤較正を自己修正する能力がブートストラップされます。

B. 推論：信頼性認識型思考（CaT）

推論中は、較正された信頼性が推論空間を動的にナビゲートするために使用されます。

メカニズム： モデルは、各ノードが部分的な軌道に対応する推論木を探索します。累積信頼性スコア $C(z_{1:t})$ は、各ステップの正規化された信頼性を乗算することで計算されます。
プルーニング： 累積信頼性が閾値 $\tau$ を超える場合のみ、パスが拡張されます。低い信頼性の分枝は早期に剪定されます。
効率性： この戦略は、計算予算を有望なパスに再配分し、わずかなレイオーバーヘッド（ $O(V)$ 、ここで $V$ は語彙サイズ）で機能する内在的な自己修正フィルターとして作用します。これにより、外部プロセス報酬モデルの $O(L^2d)$ の複雑さを回避します。

3. 主要な貢献

CASPO フレームワーク： 反復的 DPO を通じて内在的トークンレベルエントロピーと論理的正しさを整合させる統合アプローチ。推論中の外部評価器への依存を排除します。
CaT 戦略： 較正された信頼性を活用して不確実な推論分枝を動的に剪定するデコーディング戦略。効率性と信頼性を向上させます。
ステップ別データセット： 推論信頼性の微細な分析を支援する、信頼性注釈付きのステップ別データセットの公開。
スケーラビリティ： 本手法がより強力なベースモデル（例：Qwen3-8B-Base）にスケーリング可能であり、報酬モデルデータを使用せずに木探索ベースラインを上回ることを示実証。

4. 実験結果

著者は、CASPO を 10 のベンチマーク（MATH500、AIME'24、AIME'25、OlympiadBench、およびコード生成や読解力などの非数学的タスクを含む）および複数のモデルファミリー（Qwen2.5、Llama-3.1）で評価しました。

性能向上： Qwen2.5-7B-Instruct において、CASPO は平均精度を 44.4% から 50.6% に向上させました。CaT 推論戦略を用いると、精度は 56.1% に達しました。
ベースラインに対する優位性： CASPO は、軌道レベル最適化ベースライン（GRPO、Simple-RL-Zero、PURE-VR、DPO-VP）および推論時手法（CoT、自己一貫性）を一貫して上回りました。
スケーラビリティ： Qwen3-8B-Base において、CASPO は数百万のサンプルを必要とするベースラインと比較して、ゼロの報酬モデルデータを使用しながらも、AIME'24 および AIME'25 において rStar-Math や Satori などの木探索ベースラインを上回りました。
較正の質： 学習後、MATH-500 における期待較正誤差（ECE）は、ベースモデルの 0.184 から CASPO の 0.081 へと大幅に低下しました。これは、高い予測信頼性がもはや有効な論理的ステップと厳密に相関することを示しています。
効率性： CaT は、自己一貫性よりも高い精度を達成しながら、著しく低いレイテンシ（Qwen2.5-7B-Instruct において 12.5 秒/クエリ対 2.8 秒/クエリ）を実現しました。
汎用性： この手法は、コード生成（HumanEval）や読解力（RACE）を含む非数学的ドメインへの堅牢な転移を示し、信頼性と正しさの整合が基本的な推論能力であることを示唆しています。

5. 意義と主張

本論文は、CASPO がベンチマークスコアを単に膨らませるのではなく、推論プロセスの忠実性を根本的に強化すると主張しています。信頼性を外部監督から切り離し、内在的トークンレベルの不確実性を活用することで、このフレームワークはモデルに以下を実現させます。

論理的な不整合を自律的に特定し、修正する。
外部ジャッジや大規模サンプリングの計算的負担なしに、信頼性の高い推論を達成する。
推論信頼性を向上させるためのスケーラブルで透明性の高いフレームワークを提供する。

著者は、自らのアプローチが現在の推論研究における「粒度のギャップ」に対処し、軌道レベルの報酬からステップごとの信頼性較正へと移行していると強調しています。彼らは、この手法が初期データ構築のためにオフライン評価器に依存しているものの、核心的な学習信号はモデル自身のエントロピーから導出されるため、評価器が時折パスを誤ってラベル付けした場合でも安定性が保たれると指摘しています。この研究は、高リスクドメインにおいて検証可能な健全な推論軌道を実現する上で、内部確率と外部正しさを整合させることが viable な道筋であることを示唆しています。