💻 computer science

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

本論文は、長文のエージェントタスクを正確に評価するために外部のエビデンスを活用するよう、Group Relative Policy Optimizationを通じて学習されたツール拡張型報酬モデルであるOpenRMを紹介し、それによって下流のLLMのアライメントおよび評価性能を大幅に向上させるものである。

原著者： Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い司書（AI）を想像してみてください。彼らは詳細な長いレポートを書くのが得意です。しかし、時として、この司書は本棚にある実際の書籍を確認せず、自分の頭の中にある知識だけに頼ってしまうため、作り話をしたり事実を間違えたりすることがあります。

これを解決するために、司書のレポートを採点する「判定員（Judge）」が必要です。かつての判定員は、図書館全体を頭の中に暗記しなければならない学生のようなものでした。もし質問が特定の、あるいは非常にマイナーな事実や、最新の医学的発見に関するものだった場合、目の前に正しい「本」が開かれていなかったため、彼らはしばッチング（推測）して間違えてしまうことがよくありました。

OPENREWARDは、単に記憶力に頼るのではない、新しいタイプの判定員です。それは、**「魔法の電話を持つ探偵」**のようなものです。

その仕組みを、シンプルに分解して説明します。

1. 問題点：「記憶のみ」の判定員

例えば、あなたが二つの長い旅行ガイドを比較するように判定員に依頼したとします。一方のガイドには「パリのエッフェル塔を訪れてください」とあり、もう一方は「ロンドンのエッフェル塔を訪れてください」と書いています。

従来の判定員： 彼らは自分が知っていると思っていることに基づいて、ただ推測するだけかもしれません。もし疲れていたり、質問がトリッキーだったりすると、「ロンドンにはエッフェル塔は存在しない」という事実に気づけずに失敗することがあります。
問題の本質： 長くて複雑な回答（医学的なアドバイスや科学的研究など）の場合、推測では不十分です。証拠が必要なのです。

2. 解決策：「探偵」判定員（OPENREWARD）

OPENREWARDは異なります。二つの回答を見たとき、すぐにどちらかを選び出すことはしません。代わりに、こう言います。「待てよ、まずは事実を確認する必要がある。」

魔法の電話（ツール）： それには、Wikipediaを呼び出したり、科学論文を検索したり、医学データベースを調べたりすることができる電話があります。
調査： それは、証拠を集めるためにこれらのツールを積極的に使用します。「Balanced Winnow classifier」や「医学的な症状」について検索し、実際のデータが何を示しているかを確認するかもしれません。
判決： この証拠を集めた後に初めて、どちらの回答がより優れているかを決定します。それは、実際の警察の報告書を読むまで判決を下すことを拒む裁判官のようなものです。

3. 探偵の教え方（トレーニング）

コンピュータに対して、単に「探偵になりなさい」と言うだけでは不十分です。道具を使いながら、注意を逸らさないように教えなければなりません。

「偽の」図書館： 研究者たちは、これら複雑なタスクに関する「良い回答 vs 悪い回答」の実世界の例を十分に集めることができませんでした。そこで、彼らはシミュレーションされた図書館を構築しました。
- 彼らは実在の文書（Wikipediaのページなど）を取り上げました。
- 次に、AIにその文書に関する質問を書かせました。
- そして、AIに二つの回答を書かせました：
  1. 良い回答： AIは文書を読むことが許可されています。
  2. 悪い回答： AIは文書を読むことが許可されていません（そのため、推測するか、あるいはもっともらしい嘘をつくことになります）。
レッスン： 彼らはこの「探偵」に対し、これらのペア（良い回答 vs 悪い回答）を見せ、こう教えました。「もし、事実を確認するために電話を使えば、金メダルがもらえる。もし、ただ推測するだけなら、ペナルティを受ける。」
報酬システム： 判定員は、最高のスコアを得るためには、単に素早く推測するのではなく、真実を見つけるためにツールを正しく使わなければならないことを学びました。

4. 結果：なぜ重要なのか

研究者たちは、この新しい「探偵判定員」を他の有名な判定員（GPT-4や特化したAI判定員など）と比較テストしました。

より高い正確性： OPENREWARDは、科学、医学、および一般的な知識における、長く複雑な回答の中の真実を見抜く能力において、はるかに優れていました。
より優れた教師： 彼らはまた、OPENREWARDを使用して他のAIを訓練することも行いました。乱雑なデータの中から最良の回答を選び出すためにOPENREWARDを使用することで、他のAIが学習するための、より「きれいな」教科書を作り上げました。この「きれいな」データで訓練されたAIは、より賢く、より信頼できるものとなりました。

要約の比喩

古いAI判定員を、**「教科書の使用が禁止されたテストを受けている学生」だと考えてみください。彼らは推測するしかありません。
OPENREWARDは、「テスト中に図書館やインターネットの使用が許可されている学生」**です。答えを調べることができるため、より高いスコアを獲得し、クラス全体の学習をより良くすることができるのです。

論文は、この手法が複雑なタスクにおけるAI評価をより信頼できるものにし、より優れたAIモデルの訓練に役立つと主張していますが、今回の研究でテストされた範囲を超えて、実世界の臨床診断やその他の具体的な将来の応用への準備ができているとまでは述べていません。

技術サマリー: OPENREWARD

問題提起

報酬モデル（RM）は、学習および推論の両段階において、大規模言語モデル（LLM）を整列（アライメント）させるための重要な役割を担っており、人間による評価のスケール可能なプロキシとして機能します。しかし、既存のRMは、二値の好みの分類器として訓練されたものか、「LLM-as-a-Judge（審判としてのLLM）」パラダイムを利用したものかを問わず、オープンエンドで知識集約的な長文タスクにおいて著しく苦戦します。このようなコンテンツ（例：医療報告書、旅行日程、深い研究成果など）を評価するには、モデルの内部的なパラメータ知識を超える外部情報への接地（グラウンディング）が必要となることが多々あります。現在のアプローチは、商用LLMに検索エンジンを用いたプロンプトを与える手法（柔軟性に欠ける）か、短文の検証のための単純なツール操作を用いる手法のいずれかに依存しており、オープンドメインの設定において複雑な長文レスポンスを効果的に評価する手法にはギャップが存在します。

手法

本論文では、判断を下す前に証拠を集めるために、適応的に推論を行い外部ツールを呼び出すことができる、ツール拡張型報酬モデリングフレームワークであるOPENREWARDを提案します。

1. エージェンティックな報酬フレームワーク

OPENREWARDは、逐次的な意思決定プロセスとして動作します。クエリ $q$ と2つの候補レスポンス ( $x_1, x_2$ ) が与えられたとき：

ツールの呼び出し: モデルは現在のコンテキストに基づいて、どのツールを呼び出すべきか（例：Wikipedia検索、arXiv検索、PubMed検索）を反復的に決定します。
証拠の収集: 選択されたツールが実行され、外部の結果 ( $e_i$ ) が取得されます。これらはコンテキストに追加され、その後の推論をガイドします。
最終判断: 十分な証拠が集まった後、モデルはより優れたレスポンス ( $y$ ) を選択し、その説明を提供します。

2. 強化学習（RL）による訓練

ツールを効果的に活用し、正確な判断を下すようにモデルを訓練するために、著者らは**Group Relative Policy Optimization (GRPO)**を採用しています。

訓練シグナル: 中間的な振る舞いと最終的な結果の両方を監督するように、複合報酬関数 $R$ $R$ が設計されています。
$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$
- $R_{EM}$ (結果の正確性): 最終的な判断が正解と一致するかどうかに基づくバイナリ報酬（1または0）。
- $R_{tool}$ (ツールの使用): 正しいツールの選択には+1、誤った/無関係な呼び出しには0の報酬。
- 極めて重要な設計: ツールの報酬は、最終的な結果の正確性 ( $\text{sign}(R_{EM})$ ) によってゲート制御（制御）されます。これにより、モデルが頻繁にツールを呼び出すものの、結局正しく回答できないという「報酬ハッキング」を防ぎます。
最適化: GRPOは、グループ内の軌跡を比較することでグループ相対的なアドバンテージを計算し、試行錯誤を通じて効果的なマルチステップ推論戦略の発見を促進します。

3. 制御可能なデータ合成 (OPENRM-LIB)

長文タスクにおける信頼できるペアデータの不足に対処するため、著者らは教師なしデータ合成のためのフレームワークであるOPENRM-LIBを導入しています。

ターゲットを意識したクエリ生成: 強力なLLMが、サンプリングされたドキュメント（Wikipedia、arXivなど）からクエリを生成します。
ポジティブ/ネガティブ・ペアの構築:
- ポジティブ・レスポンス: 参照ドキュメントにアクセスできるLLMによって生成されます。
- ネガティブ・レスポンス: 同じLLMが、参照ドキュメントにアクセスできない状態で生成します。
この対照的なセットアップにより、手動でのアノテーションなしに、明確な品質の差（接地されているか、あるいは幻覚や不完全であるか）を確保し、27,000件以上の高品質な訓練ペアを生み出します。

主な貢献

OPENREWARD フレームワーク: 静的な内部知識の限界に対処するため、複雑な長文レスポンスを判断するために外部の証拠を自律的に取得できる、ツール拡張型RMの導入。
制御可能なデータ合成: 教師なしの手法で27K件以上の高品質なペア訓練データを生成する新しい戦略（OPENRM-LIB）により、長文評価におけるデータボトルネックを克服。
RLVR 訓練戦略: ツールの選択精度と最終的な判断の正確さを共同で最適化するGRPOを用いた複合報酬関数を使用し、報酬ハッキングを効果的に防止。
実証的検証: OPENREWARDが、複数のドメインにおいて既存のベースライン（LLM-as-a-Judgeや他の訓練済みRMを含む）を凌駕することを実証する包括的な評価。

実験結果

本論文では、新たに収集された3つのインドメイン・データセット（Wikipedia, Scientific, Medical）と、2つのアウトオブドメイン・ベンチマーク（RewardBench, PandaLM）を用いてOPENREWARDを評価しています。

インドメイン性能: OPENREWARD（Qwen-2.5-7Bベース）は、これらの新しいデータセットにおいて平均精度**91.33%**を達成し、強力なベースラインであるGPT-4o (62.80%)、Claude-Opus (63.23%)、および他の訓練済みRM（例：RM-R1の54.32%）を大幅に上回りました。
アウトオブドメインの汎化性能: 27Kの例のみで訓練されているにもかかわらず（一部のベースラインの100K以上と比較して）、OPENREWARDはRewardBenchとPandaLMにおいて**78.54%**の平均精度を達成し、より大規模なデータセットで訓練されたモデルを上回りました。著者らは、これをモデルが訓練分布を記憶するのではなく、取得された証拠に基づいて推論する能力によるものと考えています。
アブレーション研究:
- ツールの報酬シグナルを取り除くと、「怠惰な探索（lazy searching）」（内部知識への依存）が発生します。
- ツールの報酬を最終的な精度から切り離すと、「報酬ハッキング」（正しい判断を伴わない過剰な探索）が発生します。
- ゲート制御された報酬設計は、推論とツール使用のバランスを取るために不可欠です。
ダウンストリームの有用性:
- データ選択: DPOのための訓練データをフィルタリングするためにOPENREWARDを使用すると、RM-R1 (68.87%) よりも高い選択精度 (75.18%) が得られます。
- モデルのアライメント: OPENREWARDによって選択されたデータを用いてアライメントされたLLMは、既存のRMを用いてアライメントされたものと比較して、一貫した性能向上（例：7Bモデルで平均+4.57%）を示します。

重要性

本論文は、ツール拡張型報酬モデリングが、LLMの信頼できる評価およびポストトレーニングのアライメントに向けた重要な一歩であることを示唆しています。RMが外部の証拠に対して主張を検証するエージェンティックなシステムとして機能することを可能にすることで、OPENREWARDは標準的なRMにおける知識集約的なシナリオでの根本的な限界に対処しています。この研究は、外部ツールを強化学習と統合することが、報酬モデル自体の精度を向上させるだけでなく、ダウンストリームのLLMアライメントの質をも高めることを示しており、より信頼できるAIシステムへのスケーラブルな道筋を提示しています。