💬 NLP

Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models

本論文は、不確実な質問に対してモデルが回答を控えることを明示的に動機付ける検証可能な報酬を用いた強化学習（RLVR）が、事実に基づくベンチマークにおける正確性を大幅に損なうことなく、大規模言語モデルにおけるハルシネーションを効果的に減少させ、知的謙虚さを向上させることを実証するものである。

原著者： Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

公開日 2026-01-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く博識なアシスタントを雇っていると想像してください。質問に答えてもらうためのアシスタントですが、問題は、このアシスタントが少し「知ったかぶり」をする癖があることです。たとえ答えを知らなかったとしても、どうしても推測して答えを出さずにはいられないのです。しかも、もっともらしく聞こえるけれど完全に間違った事実をでっち上げることがよくあります。AIの世界では、これを「ハルシネーション（幻覚）」と呼びます。

この論文は、こうしたAIアシスタントに不可欠な新しいスキル、すなわち**「わからない時は『わかりません』と言う方法」**を教えることについて書かれています。

以下に、彼らのアプローチを簡単な比喩を用いて解説します。

問題点：自信過剰な推測マシン

現在、大規模言語モデル（LLM）は常に回答を出すように訓練されています。質問を受けると、たとえ推測であっても、何らかの回答を生成しようとします。これは、白紙のまま解答するのが怖くて、点数を取るために適当な答えを書き込んでしまうテスト中の学生のようなものです。これが、自信満々だが間違った情報へとつながります。

解決策：「誠実さへの報酬」システム

研究者たちは、**検証可能な報酬を用いた強化学習（RLVR）**という新しい訓練手法を試みました。これは、AIに対する新しい「採点システム」だと考えてください。

単に正解に対して点を与えるだけでなく、彼らは**「3段階のスコアリングシステム」**を導入しました。

正解: +1 ポイント（素晴らしい！）
不正解: -1 ポイント（間違った推測、ポイントを失います。）
「わかりません」: 特別な報酬（例えば +0.3 ポイント）

目標は、AIに対して、「間違ったことを自信満々に推測するよりも、正直に『わかりません』と言う方が良い」と教えることでした。彼らは「ゴルディロックス（ちょうど良い状態）」の報酬を見つけ出そうとしました。つまり、高すぎても（AIが何に対しても「わかりません」と答えてしまい、挑戦をやめてしまう）、低すぎても（AIが推測し続けてしまう）いけないのです。

実験：新しいルールのテスト

彼らは、2種類の異なる「生徒」（AIモデル）でテストを行いました。

Granite-3.3-2B: よりコンパクトで軽量なモデル。
Qwen-3-4B: より大規模で強力なモデル。

そして、2種類の「試験」でテストしました。

MedMCQA: 多肢選択式の医学問題（決まった選択肢があるトリビアクイズのようなもの）。
Hendrycks Math: 長い解答プロセスを必要とする難しい数学問題（エッセイや証明のようなもの）。

彼らが発見したこと

1. 多肢選択式においては「スイートスポット」が機能する
多肢選択式の医学問題において、彼らは「わかりません」に対する報酬の「スイートスポット」を見つけました。

「わかりません」に対してわずかな報酬を与えると、AIは不確実性を認め始めました。
結果: 作り話（デタラメな回答）の数が大幅に減少しました。AIはより謙虚になりました。
トレードオフ: AIは推測をやめたため、全体的な「正解数」はわずかに減少しました。しかし、研究者たちは、適切な報酬（約0.3）を与えることで、良質な回答を損なうことなく、悪い推測を減らせることを発見しました。
大型モデルの優位性: より大きなモデル（Qwen）は、小さなモデルよりもこの「誠実さの訓練」をうまく処理できました。全体の賢さを維持したまま、必要な時に「わかりません」と言うことができたのです。

2. オープンエンド形式（自由記述）における苦戦
AIが長い回答を書かなければならない難しい数学問題に対してこの手法を試したところ、単独ではあまりうまくいきませんでした。

問題: AIは推測することに慣れすぎていたため、「わかりません」という選択肢を取ることを恐れていました。それは、間違えることを極端に恐れるあまり、白紙のままにすることさえ検討できない学生のような状態です。AIは、訓練中に「わかりません」と言うという選択肢を十分に「探索」できませんでした。
修正策: 彼らは2段階のプロセスを試みました。まず、特定の質問セットに対して「わかりません」と言う練習を強制しました（教師あり微調整：SFT）。その後に、報酬システムを適用しました。これにより、AIは「控える（回答を断念する）」という概念に慣れることができましたが、依然としてバランスを取ることは困難でした。

まとめ

この論文は、単にAIに「正直であれ」と伝えるだけでは不十分であり、**「正直であることに対して報酬を与える」**必要があると結論付けています。

「わかりません」と言うことに対する「ポイント」を調整することで、開発者はAIの性格をチューニングできます。医療や法律のアドバイスのように、間違えることが危険な場面に適した「慎重なAI（嘘をつく確率が低い）」にすることも、より「自信に満ちたAI（挑戦する確率が高い）」にすることも可能です。

慎重なアプローチをとる場合: 「わかりません」に対して小さな報酬を与えます。これにより、AIは事実を捏造しなくなり、医療や法律などの信頼性が求められる分野において、はるかに信頼できるものになります。
限界: 特に複雑で自由度の高いタスクにおいて、AIがそもそも「どのように『わかりません』と言うべきか」を学ぶには、少し手助けが必要です。

要するに、研究者たちは、**「沈黙は時に嘘よりも価値がある」**ということをAIに教える訓練マニュアルを作り上げ、適切な報酬があれば、AIも知的謙虚さを学ぶことができるということを証明したのです。

技術要約：大規模言語モデルにおける知的謙虚さへの報酬付与

問題提起

大規模言語モデル（LLM）は、特に事実に基づいた領域において、ハルシネーション（幻覚）や検証不可能なコンテンツを頻繁に生成する。これは、従来の学習目標が確信度に関わらず応答生成を報酬対象とするためである。Supervised Fine-Tuning (SFT) や Reinforcement Learning from Human Feedback (RLHF) といった既存の緩和策は、多くの場合、コストの高い人間によるフィードバックに依存しており、不確実性を明示的にモデル化したり、不確かな場合にモデルに棄却（abstain）させる方法を教えたりすることはない。本研究は、「分からない」と言える能力である「知的謙虚さ（intellectual humility）」を明示的にインセンティブ化し、高密度な人間の好みのデータのみに頼ることなくハルシネーションを削減するための学習パラダイムの必要性に対処するものである。

手法

著者らは、修正された検証可能な報酬を用いた強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）フレームワークを提案している。このアプローチは、モデルの振る舞いを導くために三値報酬構造を利用する：

正解 ( $r_{correct} = 1$ ): 報酬を与える。
不正解 ( $r_{wrong} = -1$ ): ペナルティを与える。
棄却 ( $r_{abs}$ ): 調節可能なハイパーパラメータに基づいて、報酬またはペナルティを与える。棄却トークンは「分かりません（I don't know）」と定義される。

実験設定

モデル: 本研究では、Granite-3.3-2B-Instruct および Qwen-3-4B-Instruct を評価する。
データセット:
- MedMCQA: 検証を容易にするために、明示的な「分かりません（I Don't Know）」の選択肢を追加した多肢選択式の医学データセット。
- Hendrycks Math: 多段階の数学的問題を含むオープンエンド形式のデータセット。非多肢選択シナリオへの汎化性能をテストするために使用される。
学習戦略: 著者らは、Group Relative Policy Optimization (GRPO) を用いて、以下の3つの主要な設定を比較している：
1. RL-only: 三値報酬信号を用いた直接的な学習。
2. RL-SFT-Random: 2段階のプロセス。まず、MedMCQAを用いて、正解の30%をランダムに「分かりません」に置き換えたデータでSFTを行い、棄却を促した後、RLVRによる微調整を行う。
3. RL-RTuning: 上記と同様だが、SFTステップにおいて、ベースモデルが誤答した問題に対して特異的にターゲットを絞り、R-Tuningの原理に基づき、既知の失敗に対してのみ棄却を行うよう学習させる。

報酬設計

報酬関数 $R(y)$ は以下のように定義される：
$R(y) = \begin{cases} 1 & y \text{ が正解の場合} \\ r_{abs} & y = \text{"分かりません"} \text{ の場合} \\ -1 & y \text{ が不正解の場合} \end{cases}$
MedMCQAについては、検証可能な出力構造を強制するために、XML形式のタグ付け（<reasoning>, <answer>）を強制するフォーマット報酬も適用される。

主な結果

1. 正解率と棄却率のトレードオフ

実験により、棄却報酬（ $r_{abs}$ ）によって制御される明確な、調整可能なトレードオフが明らかになった：

中程度の報酬: $r_{abs}$ を小さな正の値またはわずかに負の値（例：$-0.25 $から$ 0.3$）に設定すると、多肢選択タスクにおける全体的な正確性の深刻な低下を引き起こすことなく、不正解（ハルシネーション）を一貫して減少させることができる。
モデルの感度: より大きなモデル（Qwen-3-4B）は、小さなモデル（Granite-3.3-2B）と比較して、棄却のインセンティブに対して高い堅牢性を示す。例えば、MedMCQAにおいて、 $r_{abs}=0.3$ を設定した Qwen-3-4B は、正解率 48.0% を維持しつつ、不正解率を 32.5% から 10.3% に減少させたが、同時に「分かりません」の割合は 41.0% に増加した。

2. 学習バリアントの性能

RL-only: MedMCQAにおけるハルシネーションの削減には効果的であったが、Hendrycks Math では苦戦した。著者らはこれを「探索不足」に起因すると考えている。つまり、ベースモデルが「分かりません」というトークンを使用することに対する初期の躊躇が、オープンエンドな設定においてRLアルゴリズムがその振る舞いを学習することを妨げた。
RL-SFT-Random: このアプローチは、探索の問題をうまく解決した。Hendrycks Math において、正確性の損失をわずか10%に抑えつつ、不正解を約28%減少させた。しかし、MedMCQAにおいては、この設定での高い棄却報酬は、モデルが過度に慎重になりすぎることで、正解率の単調な低下を招いた。
RL-RTuning: 予想に反して、この手法は RL-SFT-Random よりも性能が低かった。著者らは、RL-RTuning におけるSFTステップが「分かりません」という応答（約60%）に支配され、モデルが自信を持って回答する能力が崩壊し、その後のRLフェーズで回復できなかったことが原因であると仮定している。

3. オープンエンド型 vs 多肢選択型

三値報酬スキームは構造化された多肢選択問題にはうまく機能したが、オープンエンドのQA（Hendrycks Math）では、モデルの棄却に対する抵抗感を克服するために、事前のSFTステップが必要であった。この事前学習なしでは、RL-only はオープンエンドの領域において棄却行動を誘発することに失敗した。

重要性と主張

本論文は、検証可能な報酬設計が、ハルシネーションを軽減するための、人間主導の調整手法に代わる実用的かつ柔軟で、コスト効率の高い代替案となることを主張している。主なポイントは以下の通りである：

実現可能性: 棄却を明示的に報酬することは、LLMに知的謙虚さを促進するための実行可能な戦略である。
調整可能性: 棄却報酬（ $r_{abs}$ ）は直接的なコントロールノブとして機能し、実務者が特定のアプリケーションのニーズに応じて、慎重さ（ハルシネーションの削減）と正確性（タスク精度の維持）の間のトレードオフをバランスさせることを可能にする。
スケーラビability: このアプローチは、中程度の棄却インセンティブの下で優れた内部キャリブレーションを示す、より大きなモデルにおいて特に効果的である。
限界: 本研究は、手法がハルシネーションを減少させるものの、完全に排除するものではないことを認めている。また、最適な報酬構造はモデルやデータセットのタイプ（MCQかオープンエンドか）によって大きく異なる。

著者らは、現在の結果は有望であるが、能力の崩壊を防ぎ、オープンエンドの推論タスクにおける性能をさらに向上させるためには、SFTステップにおける棄却サンプルの割合（30%やそれ以上ではなく、10〜30%を推奨）を最適化するための今後の研究が必要であると結論づけている。