💬 NLP

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

本論文は、言語モデルの精度と較正された信頼性を同時に向上させ、標準的な強化学習によって引き起こされることが多い幻覚と較正の劣化を緩和するために、二値の正解報酬にブライアースコアを組み合わせた新たな学習手法であるRLCR（較正報酬付き強化学習）を導入する。

原著者： Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い学生を難しい試験に備えて訓練すると想像してください。目標は、単に正解を得ることではなく、いつ推測しているのか、そしていつ確信を持っているのかを学生自身が理解できるようにすることです。

「Binary Rewards（二値報酬）を超えて」と題されたこの論文は、これらの AI「学生」（言語モデル）を、より賢く、かつ自信の度合いについてより正直になるように訓練する新しい方法を導入します。

問題点：「推測ゲーム」の罠

現在、AI に数学や雑学のような難しい問題の推論を訓練する際、**Binary Rewards（二値報酬）**と呼ばれる単純な採点システムが用いられています。

ルール： 答えが正しければ 1 点、間違っていれば 0 点です。
欠点： このシステムは、AI が答えにたどり着いた「方法」には関心を持ちません。深い論理で解いたか、単に無茶な推測をして運良く当たったかにかかわらず、同じ 1 点が与えられます。
結果： AI は「自信過剰なギャンブラー」になることを学びます。自分が何を言っているのか全くわからない場合でも、100% の自信を持って答えを推測し始めるようになります。現実世界では、これは危険です。AI が「幻覚（ハルシネーション）」を起こして事実無根のことを作り出し、その嘘を非常に確信を持って語る可能性があるからです。

解決策：RLCR（「誠実さコーチ」）

著者たちは、**RLCR（Calibration Rewards を用いた強化学習）**と呼ばれる新しい訓練手法を提案しています。これは、学生を同時に 2 つの点で評価するコーチを雇うようなものです。

答えは正しかったですか？（精度）
自信のレベルは正確でしたか？（較正）

仕組み：
単に「正解」か「不正解」かと言う代わりに、AI は今や以下のように言うことを強いられます。「これが私の答えであり、これが 0 から 1 の範囲で表した私の確信度です」。

コーチは、**Brier Score（ブライアースコア）**と呼ばれる特別な採点規則を用いて、自信の度合いを評価します。

AI が「90% 確信している」と言い、それが正解であれば、素晴らしいスコアを得ます。
AI が「90% 確信している」と言い、それが不正解であれば、ひどいペナルティを受けます。
AI が「50% 確信している（不確実）」と言い、それが不正解であれば、比較的小さなペナルティで済みます。

これは AI に重要な教訓を伝えます：「確信を持って間違えるよりも、不確実であることを認めて間違える方がましだ」ということです。

比喩：天気予報士

2 人の天気予報士を想像してください。

予報士 A（旧来の方法）： 常に「明日は間違いなく雨が降る！」と言います。雨が降れば天才ですが、晴れれば単に間違っているだけです。しかし、彼らは推測していたことを決して認めません。彼らは「過信」しています。
予報士 B（RLCR 方法）： 「雨の確率は 60% です」と言います。雨が降れば正解です。晴れれば、「さて、60% と言いましたから、間違いましたが、確率があったことは知っていました」と認めます。

この論文は、**予報士 B（RLCR モデル）**の方がはるかに信頼性が高いことを示しています。彼らは単に正解をより多く得るだけでなく、いつ推測しているのかを正確に教えてくれるため、いつ信頼し、いつ再確認すべきかがわかります。

実験が示した結果

研究者たちは、事実に関する難しい質問（例：「1969 年のユーロビジョン・ソング・コンテストの優勝者は誰か？」）や数学の問題でこれをテストしました。

より高い誠実さ： RLCR モデルは、無茶な推測を止めました。不確実な場合、自信スコアを下げました。
依然として賢い： 決定的なことに、AI を「正直」にしても「愚か」になったわけではありません。知っている問題については高い精度を維持しました。
一般化： AI がこれまで見たことのない質問（ドメイン外）に直面した場合でも、従来の「自信過剰な推測者」モデルと比較して、不確実性についてはるかに正直に対応しました。
テスト時の向上： AI の自信スコアが信頼できるようになったため、研究者たちは最終的な答えを改善するためにそれらを利用できました。例えば、AI が 10 種類の異なる答えを生成した場合、最も高い自信スコアを持つものを選ぶと、それが正解である可能性が高まりました。

結論

この論文は、AI に「自分の思考について考えさせ」、不確実性について正直であることに対して報酬を与えることで、正確であるだけでなく信頼性のある推論システムを構築できることを証明しています。彼らはすべてを知っているふりをすることをやめ、単に推測しているときにそれを教えてくれるようになります。

). 2. 最終回答（）。 3. 不確実性の分析（）。 4. 数値的な信頼度スコア（`）。

訓練目的は、標準的な正解報酬と、信頼度推定のための適切なスコアリング則であるブライアスコアを組み合わせる。報酬関数 $R_{RLCR}$ は以下のように定義される：
$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$
ここで：

$y$ はモデルが予測した回答。
$y^*$ は真の回答（グラウンドトゥルース）。
$q$ は言語化された信頼度スコア（ $q \in [0, 1]$ ）。
$\mathbb{1}_{y \equiv y^*}$ は正解を示す指示関数。

理論的保証

本論文は、この報酬関数が精度と較正の両方を促進することを証明している。具体的には、以下の条件が満たされるとき、期待報酬が最大化される：

モデルが最も正解する確率の高い回答を出力すること（ $y = \arg\max_{y'} p(y' \equiv y^*)$ ）。
信頼度スコア $q$ が正解の真の確率を正確に反映すること（ $q = p(y \equiv y^*)$ ）。

著者は、この性質が任意の有界な適切なスコアリング則に対して成り立つことを示している。また、これは対数スコア（ログロス）と比較される。対数スコアは適切なスコアリング則ではあるが、有界ではない。理論的解析と簡易実験により、対数ロスのような有界ではないスコアを正解項と組み合わせて使用すると、「報酬ハッキング」を引き起こす可能性があることが示された。これは、モデルが較正項を最大化するために精度を犠牲にして、誤った回答をゼロの信頼度で出力してしまう現象である。

主要な貢献と結果

1. 精度を犠牲にしない改善された較正

HotpotQA（マルチホップ推論）とBig-Math（数学的推論）における実験により、RLCR が標準的な RLVR と同等のタスク精度を達成しつつ、較正を大幅に改善することが示された。

分布内（In-Distribution）: HotpotQA において、RLCR は期待較正誤差（ECE）を RLVR の 0.37 から 0.03 に削減した。数学データセットでは、ECE は 0.26 から 0.10 に低下した。
分布外（OOD）: 標準的な RLVR は OOD タスクにおいて較正を悪化させることが多いのに対し、RLCR はそれを改善する。例えば、OOD ベンチマークにおいて、RLCR は RLVR の 0.46 に対して ECE 0.21 を達成し、かつ同等の精度を維持した。

2. 明示的な不確実性推論の役割

アブレーション研究により、RLCR の成功は以下の 2 つの独立した構成要素に由来することが明らかになった：

較正意識型報酬: ブライアスコア報酬を用いた訓練は、改善された較正の主要な駆動力である。
明示的な不確実性推論: モデルに不確実性の <analysis> を生成させるようプロンプトすることは、特に小規模モデルや容量が限られている場合に、さらに較正を改善する。ただし、明示的な分析がなくても、RLCR は較正において RLVR を大幅に上回る。

3. テスト時のスケーリングと自己整合性

本論文は、RLCR からの言語化された信頼度スコアをテスト時に活用して性能を向上できることを示している：

信頼度重み付けスケーリング: 言語化された信頼度を用いて多数決に重み付けを行うか、ベスト・オブ・N 応答を選択することは、尤度ベースの選択や単純な多数決よりも高い精度と優れた較正をもたらす。
自己整合性: RLCR モデルは、同じ回答に対する複数の推論チェーン間での信頼度スコアのばらつきが低く、より安定した自己整合的な不確実性推定を示している。

4. 一般化

このアプローチは、異なるモデルファミリー（Qwen2.5-7B、OlMo-2-7B、Qwen3-8B）で検証され、RLVR ベースラインに対して較振において一貫した改善を示した。

意義と主張

本論文は、適切なスコアリング則を用いて較正を明示的に最適化することが、既存の推論訓練パイプラインへの単純な修正であり、より信頼性の高い推論モデルを生み出すと主張している。著者は以下を論じている：

較正は学習可能である: モデルは正しく回答するだけでなく、自身の確信度を正確に評価するように訓練できる。
ロバスト性: RLCR は分布シフトに対してよりロバストなモデルを生み出し、標準的な RL モデルが失敗する場所でも較正を維持する。
実用性: 言語化された信頼度スコアは診断的なだけでなく、実用的である。外部の報酬モデルや追加の監視を必要とせず、精度と信頼性の両方を向上させるテスト時のスケーリング手法を可能にする。

著者は結果について謙虚であり、RLCR が較正誤差を大幅に削減する一方で、ドメイン外における較正誤差は絶対値として依然として高い場合があり、モデルが時折矛盾する回答に高い信頼度を割り当てる可能性があることを認めている。それでもなお、この研究は、精度が高く、かつ不確実性を伝達できる推論システムへの道筋を確立している。