💬 NLP

RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents

本論文は、不確実性の高い実行可能アクションをアンカーとして潜在推論ステップにクレジットを割り当てることで、検索インタラクションを局所的な学習信号に変換し、BRIGHT や BEIR などのベンチマークにおけるインタラクティブ推論エージェントの訓練を改善する、クリティカルフリーの方策最適化フレームワークである RICE-PO を提案する。

原著者： Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Hamed Zamani, Hong Yu

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Hamed Zamani, Hong Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが非常に難しい質問に対する完璧な答えを見つける方法を、賢いロボットに教える状況を想像してください。ロボットは単に一つの検索クエリを入力して、うまくいくことを願うだけではありません。代わりに、それは探偵のように振る舞います：検索し、見つかったものを読み、何が欠けているかを考え、新しい検索クエリを書き、再度検索します。答えが見つかるまで、これをループして繰り返します。

この論文が取り組む大きな問題は、ロボットがどの手順が実際に優れていたかをどのように教えるかです。

問題：思考の「ブラックボックス」

この探偵ゲームにおいて、ロボットには二種類の動きがあります：

「実行」の動き（実行可能）： これらはロボットが実際にタイプする検索クエリです。検索エンジンは即座にロボットに、「よくやった！そのクエリは 10 件の素晴らしい記事を見つけました」とか、「悪いね！そのクエリは何も見つからなかった」と伝えることができます。これは測定しやすいものです。
「思考」の動き（潜在）： これらはクエリを入力する前にロボットが抱く内的な思考です。例えば、「この出来事の年を調べる必要があるな」とか、「著者の経歴を確認すべきだ」と考えます。検索エンジンはこれらの思考を見ることはできません。最終的なクエリしか見えません。

クレジット割り当てのジレンマ：
ロボットが最終的に完璧な記事を見つけられた場合、どの思考がその成功につながったのかをどうやって知るのでしょうか？

「著者を調べる」という思考が成功の原因だったのでしょうか？
それとも、ロボットは単に最後のクエリで運が良かっただけで、以前の思考は実際には間違っていたのでしょうか？

もし最終結果に対してロボットに「金メダル」を与え、「あなたが抱いたすべての思考について素晴らしい仕事だ」と伝えるだけであれば、ロボットは間違った教訓を学ぶかもしれません。ロボットは、「ああ、私は間違っていたけど、それでも金メダルをもらったから、これからもそのやり方を続けるだろう」と考えるようになるかもしれません。これをクレジットの誤割り当てと呼びます。

解決策：RICE-PO（「賢いコーチ」）

著者たちは、RICE-POと呼ばれる新しい訓練手法を提案しています。最終結果だけを見るのではなく、この手法はロボットの実践セッションを見守り、その瞬間にフィードバックを与える「賢いコーチ」のように機能します。

以下は、簡単な比喩を用いた RICE-PO の仕組みです：

1. 「揺らぎの瞬間」を見つける（不確実性のアンカー）

コーチはすべての瞬間を見守るわけではありません。代わりに、ロボットが確信が持てないように見える瞬間を探します。

比喩： ロボットが「京都の歴史」と「再生可能エネルギー技術」という二つの検索クエリの間で選択しようとしている状況を想像してください。ロボットが非常に確信を持っているなら、単に一つを選びます。しかし、混乱して多くの異なる奇妙なオプションを生成している場合、コーチは「よし、これは重要な瞬間だ。一時停止してこれを分析しよう」と言います。
論文では： これらの重要な瞬間を選ぶために「エントロピー」（混乱の尺度）を使用します。

2. 「もしも？」シミュレーション（局所的な反事実）

コーチが「揺らぎの瞬間」を特定すると、ロボットが完了するのを待つだけではありません。すぐにシミュレーションを実行します。

比喩： コーチは言います。「よし、あなたは『京都』について考えていたね。でも、もしその瞬間に『東京』について考えていたらどうなっていたか？そうだったと仮定して、あなたが書く検索クエリがどうなるか、そしてそのクエリがより良い結果をもたらしたかどうかを確認しよう」と。
論文では： 同じ履歴から複数の「もしも」の分岐を生成し、思考を変えることが実際に検索結果を変えるかどうかを確認します。

3. 「安定性チェック」（ゲート付き伝播）

これが最も重要な部分です。コーチは思考にクレジットを与える前に二つの質問をします：

質問 A（影響）： その思考は実際に検索クエリを変えましたか？（ロボットが「京都」対「東京」と考えても、全く同じクエリを書いた場合、その思考は関係ありません。クレジットは与えません。）
質問 B（安定性）： その思考の利益は最後まで持続しましたか？（ある思考が素晴らしい検索クエリにつながっても、次のステップでロボットが致命的なミスを犯してすべてを台無しにすることがあります。最終結果が悪くなったのが次のステップのせいなら、最初の思考にクレジットを与えるべきではありません。）
論文では： 「残差安定性」を測定します。局所的な報酬（即座の検索からのもの）が将来のステップの後でも一貫して維持される場合、コーチは「よし、この思考がヒーローだった。クレジットを与えろ！」と言います。将来のステップがそれを台無しにした場合、コーチは「いいえ、この思考にはまだクレジットを与えない」と言います。

結果

この手法を使用することで、ロボットははるかに速く学習します。

従来の方法： 「答えが正しかった！すべてにおいて素晴らしい仕事だ。」（ロボットは実際に何が機能したのか混乱します。）
RICE-PO の方法： 「あなたはここで混乱していたが、あなたの特定の思考はより良い検索クエリにつながり、その優位性は最後まで維持された。その特定の思考は素晴らしかった。それを繰り返せ。」

なぜ重要なのか

この論文は、BRIGHT と BEIR という二つの大規模データセットでこれをテストしました。これらは難しい質問の巨大な図書館のようなものです。

彼らは、RICE-PO がロボット（より小さく、安価なロボットでさえ）が従来の手法よりも良い答えを見つけるのに役立ったことを発見しました。
ロボットに何をすべきかを伝えるために、超高価な「審判」AI は必要ないことが証明されました。検索プロセス自体の構造（クエリがテスト可能であるという事実）が、ロボットに必要なすべてのフィードバックを提供します。

要約すると： RICE-PO は、最終スコアに基づいて推測するのではなく、思考が実際に成功を引き起こしたかどうかを慎重に確認することで、AI エージェントが自身の検索履歴から学習する方法です。

技術的概要：RICE-PO

問題定義

本論文は、推論集約型の検索（reasoning-intensive retrieval）における言語エージェントの学習におけるクレジット割り当ての課題に取り組む。従来のワンショット検索とは異なり、現代のエージェントは、証拠に基づいて推論し、クエリを再構成し、再度検索する反復ループに参加する。このプロセスには根本的な非対称性が存在する：

実行可能なアクション: 生成された要約やクエリは、検索器に直接提出され、NDCG@10 などの標準指標を用いて評価可能である。
潜在推論アクション: 内部の推論ステップ（思考の痕跡など）は、直接実行可能でも測定可能でもない。これらは、後続の実行可能なアクションを形成することによってのみ、間接的に検索に影響を与える。

既存の強化学習（RL）手法は、しばしば、全体の軌道に対して割り当てられる結果レベルの報酬（最終的な検索スコア）に依存する。このアプローチは信頼性が低い。なぜなら、成功した最終結果は、初期の推論ではなく、後続の回復ステップに起因する可能性があり、これによりクレジットの誤割り当てが生じるからである。さらに、多くの手法は学習されたクリティックやプロセス報酬モデルに依存しており、これらは計算コストが高く、学習が困難である。核心的な問題は、外部の判定者や網羅的なロールアウトを必要とせず、検索ループ内で利用可能な相互作用シグナルのみを活用して、潜在推論ステップにクレジットを割り当てる方法である。

手法：RICE-PO

著者らは、検索相互作用を局所的な学習シグナルに変換するクリティックフリーのフレームワークであるRICE-PO（Policy Optimization のための検索相互作用クレジット推定）を提案する。この手法は、実行可能な要約が直接的なフィードバックを提供し、特定の条件下で先行する潜在推論スパンに選択的に伝播させられるという前提に基づいて動作する。

このフレームワークは、主に 3 つの段階から構成される：

1. 不確実性ガイド型アンカー選択

すべてのステップを評価するのではなく、エージェントはクレジット割り当てが最も必要となる重要な意思決定点を特定する。

メカニズム: システムは、複数のサンプリングされた軌道にわたる実行可能な要約アクションのトークンレベルのエントロピーを計算する。
選択: 最も高いエントロピー（高い不確実性）を持つ上位 K 個の要約アクションを選択する。これらは、方策の選択が結果に大きく影響する曖昧な意思決定点に計算資源を集中させるための、局所的な反実仮想推定の「アンカー」として機能する。

2. 局所反実仮想分岐

選択された各アンカー点について、検索結果に対する推論アクションの影響を推定するために、局所的な分岐を構築する。

分岐構築: 同じ相互作用履歴から、エージェントは K 個の代替推論スパン（ $z_t$ ）と、それに対応する要約アクション（ $s_t$ ）を生成する。
影響推定: これらの分岐にわたる検索報酬の分散（ $\hat{\sigma}^2_t$ ）を計算する。高い分散は、潜在推論アクションが後続の実行可能な要約の品質に強く影響していることを示す。
残差安定性推定: 分岐を軌道の全深さまで拡張して最終報酬を計算する。残差効果（ $\text{ResVar}_t = \text{Var}(R_T - r_t)$ ）の分散を計算する。低い分散は、後続の相互作用ステップが、現在の推論 - 要約ペアによって確立された局所的な報酬差を覆すことがないことを示す。

3. ゲート付きクレジット伝播

シグナルが信頼できると判断された場合のみ、要約から推論スパンへクレジットが伝播される。

ゲート条件: 伝播は以下の条件が満たされた場合に発生する：
1. 影響が高い: $\hat{\sigma}^2_t \geq \tau_{var}$ （推論の選択が要約の検索スコアを有意に変化させる）。
2. 残差安定性が高い: $\text{ResVar}_t \leq \tau_{res}$ （局所的な報酬差が将来のステップを通じて維持される）。
アドバンテージ計算:
- 実行可能トークン: 局所的な反実仮想検索スコアに基づき、ステップレベルのアドバンテージ（ $A^{sum}_t$ ）を受け取る。
- 推論トークン: ゲート付きアドバンテージ（ $A^{think}_t$ ）を受け取る。ゲート条件が満たされれば、それらは要約のアドバンテージを継承し、そうでなければ標準的な軌道レベルのアドバンテージを保持する。
最適化: これらのトークンレベルのアドバンテージは、学習されたクリティックや外部報酬モデルを必要としない、PPO スタイルのクリップされた目的関数を用いて方策を更新するために使用される。

主要な貢献

観測性意識型クレジット割り当て: 本論文は、検索における実行可能アクションと潜在アクションを区別する視点を導入し、実行可能な要約が直接的なフィードバックのアンカーとして機能できる一方、潜在推論は選択的な後方伝播を必要とすることを示す。
クリティックフリー・フレームワーク: RICE-PO は、検索エージェントの非対称性を活用して、学習されたクリティック、プロセス報酬モデル、または人間の注釈なしに微細な監督を導き出す。不確実性トリガー型の反実仮想評価と残差安定性ゲートを用いて、クレジットの信頼性を確保する。
実証的検証: 広範な実験により、推論集約型および一般的な検索タスクにおいて、プロンプトベースのエージェントやグループベースの RL ベースライン（GRPO, GiGPO, HGPO, Tree-GRPO）に対して一貫した改善が示された。

実験結果

この手法は、NDCG@10 を指標として、BRIGHT（12 の推論集約型タスク）とBEIR（5 つの一般的な検索データセット）で評価された。

BRIGHT パフォーマンス:
- 1.5B バックボーン（DeepSeek-R1-Distill-Qwen-1.5B）を使用した場合、RICE-PO は平均スコア27.49を達成し、GRPO（24.98）を上回った。また、14B モデルで平均 37.20 を達成した最先端のプロンプトベースライン Diver と比較しても、1.5B モデルの RICE-PO は 1.5B の GRPO ベースラインを大幅に上回った。
- 4B バックボーン（Qwen3-4B-Thinking-2507）を使用した場合、RICE-PO は37.76の最高平均スコアを達成し、GRPO、GiGPO、HGPO、Tree-GRPO を 1.15 から 1.45 ポイントの差で上回った。
- これらの結果は、相互作用シグナルから学習することが、固定されたプロンプトや結果レベルの報酬のみに依存する大規模モデルと競合し、あるいは凌駕することを小規模モデルに可能にすることを示している。
BEIR パフォーマンス:
- RICE-PO は、1.5B（65.66）および 3B（65.68）の両方のバックボーンにおいて、BEIR データセットで最高平均スコアを達成し、すべての RL ベースラインおよび強力なリランキングモデルを上回った。
- BRIGHT ほど大きな改善はなかった（BEIR の推論強度が低いため）が、この一貫性は、この手法が多段階推論設定を超えて一般化することを示唆している。
アブレーション研究:
- ゲートメカニズム: 影響と残差安定性に基づいてクレジット伝播を動的にゲートする手法は、常に伝播する戦略や最終報酬のみに依存する戦略を上回った。
- トリガー: アンカー選択のためのエントロピーベースのトリガーは、ほとんどのタスクにおいてランダムなトリガーに対して有意な改善をもたらした。
- シグナルの組み合わせ: 「影響」（局所的な感度）と「効果」（下流の安定性）を組み合わせることは、いずれかのシグナルのみを使用するよりも優れていた。

意義と主張

本論文は、エージェントと環境の相互作用の構造そのものが、推論ベースの検索エージェントの学習に有用な監督を提供し得ると主張する。希薄な結果レベルの報酬のみに依存するのではなく、検索相互作用を局所的な学習シグナルの源として扱うことで、RICE-PO は推論エージェントのより効率的かつ信頼性の高い学習を可能にする。

著者らは、このアプローチが高価なクリティックの学習や大規模モデルへの依存に対する実用的な代替案を提供することを強調している。この研究は、特に観測可能な実行可能アクションと潜在推論プロセスの区別という、多段階言語システム相互作用の特定の構造に整合する学習アルゴリズムを設計することの重要性を浮き彫りにしている。結果は、小規模な言語モデルであっても、推論集約型の検索を改善するには、相互作用シグナルを効果的に活用することが鍵であることを示唆している。