🤖 machine learning

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

本論文は、検索の失敗時にモデルに回答を控えるよう促すことで、検索エージェントによるハルシネーションを軽減し、生の正確性を最小限の犠牲にとどめつつ精度と信頼性を大幅に向上させる、棄権報酬を動的に形成する新しい学習パラダイムである、棄権認識型強化学習（AWA-RL）を導入するものである。

原著者： Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、とても賢いロボットの友達を持っています。そのロボットはあなたの質問に答えるのが大好きです。あなたが「フランスの首都は何？」と聞くと、ロボットは「パリ！」と答えます。素晴らしいですね。しかし、次にあなたが「皇帝の透明なスープの秘密のレシピは何？」と聞いたとします。すると、ロボットは「わかりません」と言う代わりに、「ゴーストチリとムーンダスト（月の粉）を使って……」と自信満々に作り話をしてしまいました。それはロボットが悪意を持っているわけではなく、ただ、あなたに応えたいという気持ちが強すぎるだけなのです。AIの世界では、これを**ハルシネーション（幻覚）**と呼び、ロボットがインターネットで真実の事実を探している時には大きな問題となります。

長い間、科学者たちはロボットにウェブを検索する方法を教えることで、この問題を解決しようとしてきました。彼らは**強化学習（RL）**と呼ばれるトレーニング手法を用いました。これは、ロボットが正しい答えを見つけるとポイントがもらえるビデオゲームのようなものです。しかし、ここに落とし穴がありました。このゲームは「正解を得ること」に対してのみポイントを与えていたのです。「いつ止まるべきかを知っていること」に対してはポイントを与えていませんでした。そのため、ロボットは答えが見つからないとき、ポイントを得るために事実をでっち上げ、推測し続けてしまったのです。それは、恥をかかないために、手を挙げて「わかりません」と言う代わりに、テストで適当に答えを書いてしまう学生のようなものでした。

この論文の著者であるFengji Zhang氏とそのチームは、「ちょっと待って！私たちは、ロボットが行き詰まった時に『わかりません』と言えるように教える必要がある」と言いました。しかし彼らは、単にロボлоットに「わかりません」と言うよう指示するだけでは不十分であることにも気づきました。もし、推測することに対して厳しく罰を与えすぎると、ロボットは怖がってしまい、簡単な質問に対してさえ答えなくなるかもしれません。これは「怠慢な拒絶（lazy refusal）」と呼ばれ、作り話をするのと同じくらい悪いことです。

そこで、彼らは**AWA-RL（断念を意識した強化学習：Abstention-Aware Reinforcement Learning）**という新しいトレーニング手法を考案しました。これは、ロボットがプレイするのを観察する、非常に賢いコーチのようなものだと考えてください。特定のルール（例：「確信が持てないなら答えるな」など）を与えるのではなく、このコーチは質問の内容に応じて判断を下します。

「勇気」の要素： コーチには、「勇気」の要素（ギリシャ文字のガンマ $\gamma$ $γ$ で表されます）と呼ばれる特別なダイヤルがあります。このダイヤルは、ロボットがどれくらい勇敢であるべきかを制御します。
- ダイヤルが高く設定されていると、ロボットは超勇敢になり、たとえ確信がなくても何にでも答えようとします。
- ダイヤルが低く設定されていると、ロボットは超慎重になり、ほとんどすべての質問に対して「わかりません」と言います。
- AWA-RLの魔法は、コーチが質問の難易度やロボットの現在の状況に基づいて、ロボットへの報酬を動的に調整することにあります。ロボットがうまくやっているときは、挑戦することを促します。もしロボットが推測しすぎているようであれば、コーチは優しく引き戻します。

チームはこの手法を、ロボットがWikipediaを検索して答えを見つけなければならない3つの難しいパズルゲーム（HotpotQA、2WikiMultiHopQA、MuSiQueというデータセット）でテストしました。彼らは新しい手法を、従来の方法と比較しました：

「わかりません」の例を混ぜ込む方法： これはうまくいきませんでした。ロボットは混乱するか、あるいは簡単な質問に対しても「わかりません」と言いすぎるようになってしまいました。
推測に対して固定の「罰」を与える方法： これは、ナッツを割るのにスレッジハンマー（大槌）を使うようなものでした。罰が強すぎると、ロボットはすべての回答を拒絶してしまいました（99.9%の拒絶率！）。逆に罰が弱すぎると、ロボットは作り話を続けてしまいました。

彼らは何を発見したのでしょうか？
AWA-RLの手法は、ゲームチェンジャーとなりました。この動的な「勇気」のダイヤルを使用することで、ロボットがより信頼できるものになる「スイートスポット」（勇気の要素が0.20付近）を見つけ出しました。

ロボットが実際に回答した際の適合率（Precision）（正解した頻度）を最大**10.3%**向上させました。
彼らの新しいスコアであるRA-F1（役に立つことと正直であることを両立させた指標）を、設定に応じて**2.9%から5.2%**向上させました。
最も素晴らしい点は、ロボットの全体的な回答能力をほとんど損なわなかったことです。ただ、行き詰まった時に事実をでっち上げることをやめただけなのです。

この論文は、この手法がこれらの特定のテストにおいて非常によく機能することを示していますが、著者たちは、この手法がまだあらゆる種類のロボットやあらゆる種類の質問に対してテストされたわけではない、と慎重に述べています。また、「勇気」のダイヤルは現時点では人間による調整が必要ですが、将来的には自動化されることを彼らは期待しています。

要約すると、AWA-RLは、AIに対して、単なる「物知り」としてデタラメを言うのではなく、自分の限界を知っている「自信に満ちた専門家」になるよう教えているのです。これは、単に賢いだけでなく、信頼できるAIエージェントを作るための大きな一歩です。

技術要約：答えるか、棄権するか：棄権を考慮した強化学習による検索エージェントのハルシネーション抑制

問題提起

大規模言語モデル（LLM）に検索ツールと結果報酬型強化学習（Outcome-reward RL）を組み合わせる近年の進歩は、オープンドメインの質問応答（QA）において最先端の結果を達成している。しかし、現在の学習パラダイムには重大な脆弱性が潜んでいる。それは、正解に対しては報酬を与える一方で、検索が失敗した場合の「捏造された回答」に対しては罰則を与えていないという点である。その結果、エージェントが自身の能力の境界を超えるクエリに遭遇したり、十分な証拠を検索できなかったりする場合、安全に棄権するのではなく、回答を捏造してしまう傾向がある。この「過剰回答（over-answering）」現象は、ハルシネーションを悪化させる。

既存の棄権学習のアプローチには、主に3つの制限事項が存在する：

シナリオの不一致： 単一ターンのQAに焦点を当てており、ツール使用に基づいて能力の境界が動的に変化するマルチターン・エージェントの設定を考慮していない。
能力の劣化： ほとんどの手法が事後的なパイプライン学習（まず能力を学習させ、その後に棄権のためのチューニングを行う）を採用しており、これによりモデル本来の検索および推論能力が損なわれる。
ヒューリスティックへの依存： 回答不能なデータセットの合成に依存しており、モデルごとに異なる固有の能力を汎用的に扱うことができない人間的なヒューリスティックを導入してしまう。

手法：AWA-RL

著者らは、能力と信頼性のバランスをとるために棄権報酬を動的に形成するフレームワークである Abstention-Aware Reinforcement Learning (AWA-RL) を提案する。核心となる直感は、棄遠慮（abstention）へのインセンティブは普遍的な定数ではなく、各クエリに対するモデルの固有の課題解決能力に合わせて動的に較正されるべきであるという点にある。

主要コンポーネント

クエリ認識型ベース報酬 ( $R_{base}$ ):
- RL学習の前に、標準的なチェックポイントを評価してモデルのベースライン能力を測定し、各クエリに対する推定正解確率 ( $p_i$ ) を算出する。
- 早すぎる棄権を防ぐため、下限クリップ ( $p_{clip}$ ) が適用される。
- モデルの「怠惰な拒絶（lazy refusal）」（検索するよりも拒絶することを好む傾向）に対抗するため、非線形変換が適用される： $p^*_i = (p_{clip})^\gamma$ 。ここで、 $\gamma \in (0, 1]$ は、モデルの自信をスケーリングする 「勇気（courage）」因子 である。
- ベースとなる拒絶報酬は $R_{base}(q_i) = 1 - p^*_i$ と定義される。これにより、高い推定能力を持つクエリに対しては、回答することの期待報酬が拒絶することの期待報酬を上回るという理論的な平衡状態が創出される。
動的ペナルティ ( $P(E_t)$ ):
- RLフェーズにおいて、経験的な拒絶率が理論的期待値から逸脱する場合がある。これに対処するため、バッチレベルの動的ペナルティが導入される。
- 過剰または過少な拒絶を修正するために、経験的な平均拒絶率と期待されるバッチレベルのレートとの偏差に基づき、超過拒絶率 ( $E_t$ ) が計算される。
- 区分的なペナルティ関数が、最終的な拒絶報酬 ( $r_{ref}$ ) をリアルタイムで調整する。深刻な過剰拒絶は報酬を負の値へと押し下げ（拒絶を罰する）、深刻な過少拒絶は正の値へと押し上げる（拒絶を促す）。
複合目的関数:
- 本フレームワークは、Group Relative Policy Optimization (GRPO) を利用する。
- 疎な結果報酬（正解/不正解/棄権）に加え、外部のLLMジャッジによって評価される密な 引用報酬（citation reward） を導入する。この報酬は、引用の網羅性と冗長性を評価し、主要な目標である「回答と棄権のトレードオフ」を損なうことなく、マルチホップ検索および推論スキルを強化するための粒度の高いフィードバックを提供する。

主な貢献

動的な報酬形成： 静的な拒絶報酬やデータ操作とは異なり、AWA-RLは拒絶報酬をモデルのクエリ固有の事前能力に紐付けており、より堅牢でスケーラブルな信頼できるエージェントへの経路を可能にする。
「勇気」因子 ( $\gamma$ )： 著者らは、自信の非線形マッピングを制御する、説明可能で単一のハイパーパラメータである「勇気」因子を導入した。実験結果によれば、この因子は反応性が高く調整が容易であり、能力獲得と棄問較正を効果的に分離できる。
RA-F1 メトリック： 適合率（回答時の正確性）と正確度（全体的な有用性）のトレードオフを測定するための新しい指標、Reliability-Aware F1 (RA-F1) を導入した。これは、自信を持って回答することと安全に棄権することの最適なバランスを示す包括的な指標として機能する。
安定化技術： 報酬ハッキングやポリシー崩壊を防ぐための、指数移動平均（EMA）スムージングやペナルティの段階的な量子化などのメカニズムを詳述している。

実験結果

著者らは、Qwen2.5-7B-Instruct をベースモデルとして使用し、3つのマルチホップQAベンチマーク（HotpotQA, 2WikiMultiHopQA, MuSiQue）でAWA-RLを評価した。

パフォーマンスの向上： 非棄権型のベースラインと比較して、AWA-RLは絶対的な適合率を最大 10.3% 高め、RA-F1を 2.9% 向上させた（アブストラクトでは5.2%の向上と言及されているが、結果セクションのメインテキストの要約では2.9%の向上となっている）。
トレードオフの管理： この手法は、最小限の正確度の犠牲でこれらの利得を実現した。例えば、コールドスタート設定において、AWA-RLは 0.585 というSOTAのRA-F1を達成し、適合率を0.559から0.662へ引き上げる一方で、正確度は0.552から0.529へとわずかに低下させたのみであった。
ベースラインの失敗： 従来のベースラインは信頼できる境界を確立できなかった。静的な拒絶報酬は壊滅的な「報酬ハッキング」（例：報酬の変化が最小限であるにもかかわらず99.9%の拒絶率を示す）を引き起こし、データ操作（回答不能なクエリの注入）は予測不可能な挙動や「怠惰な拒絶」による崩壊を招いた。
学習ダイナミクス： AWA-RLは極めて安定した学習ダイナミクスを示し、バッチレベルの拒絶率は「勇気」因子に対応する明確なプラトーへとスムーズに収束し、他の手法で見られる激しい振動を回避した。

意義と主張

本論文は、AWA-RLが 真に信頼できる検索エージェントへの堅牢かつスケーラブルな経路 を提供すると主張している。エージェントが自身の能力の境界を認識し、根拠のない回答を自信を持って棄権するように明示的に訓練することで、本フレームワークはLLMエージェントにおける決定的な「能力と信頼性のトレードオフ」に対処している。

著者らは、以下の点を通じて従来研究の限界を克服したことを強調している：

棄権を事後的なパッチとして扱うのではなく、RLプロセスに直接統合したこと。
静的なボーナスではなく、推定された事前能力に紐付けられた動的な拒絶報酬を使用していること。
「怠惰な拒絶」への崩壊を避けるための、明示的な生成促進項を追加したこと。

本研究は、ハルシネーションと過信による事実誤認のリスクを軽減することにより、現実世界のシナリオにおいて信頼できるAIをデプロイするための極めて重要なステップとして位置づけられている。著者らは、テストされたモデルの規模（現在はQwen2.5-7B）や、「勇気」因子への依存について限界を認めており、将往の研究ではこの自信のマッピングを自動較正する適応メカニズムを探索することを述べている。