💬 NLP

RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents

本論文は、離散的な報酬トークンを注入することで軌跡生成を条件付け、ロールアウトを多様化させ、それによってグループ内の報酬の変動の低さに起因する更新の消失問題を克服することで、LLMにおけるマルチターン・ツールコーリングを強化する新しいフレームットであるRC-GRPOを提案し、BFCLv4ベンチマークにおいて最先端の性能を達成している。

原著者： Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

公開日 2026-02-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いけれど融通の利かないロボット助手に対し、複雑で多段階のパズルを解くために一連のツール（計算機、カレンダー、検索エンジンなど）を使う方法を教えていると想像してください。

問題：「完璧な優等生」の罠

通常、このロボットに教える際、まず最初に「完璧な解決策」の例を見せます（教師あり微調整、またはSFT）。ロボットはこれらを完璧に学習し、「成績優秀な優等生」になります。

次に、さらに優れたものにするために、GRPO（Group Relative Policy Optimization）と呼ばれる手法を用いて教えようとします。GRPOは、生徒のグループを集め、同じパズルを与え、それぞれに異なる解決策を試させるコーチのようなものです。コーチは結果を比較します。「君はよくやった」「君は失敗した」「君は平均的だ」。より優れた結果を出した生徒にはブーストを与え、成績が悪かった生徒には別の方法を試すよう促します。

落とし穴： ロボットが「完璧な」例をあまりにも完璧に学習してしまったため、グループに試行を命じるたびに、彼らは全員と全く同じ解決策を提示してきます。彼らは皆、同じ退屈なほど「完璧」なのです。

コーチはグループを見てこう言います。「おや、全員が10点満点だ。」
全員に差がないため、コーチは誰に改善を促すべきか判断できません。学習信号が消えてしまうのです。ロボットは、すでに知っている「完璧な道」から外れることを恐れすぎてしまい、パズルを解くための新しい方法を探索できず、行き詰まってしまいます。

解決策： RC-GRPO（「ムードリング」戦略）

著者らは、この問題を解決するためにRC-GRPOと呼ばれる新しい手法を提案しています。ロボットがランダムに異なることを試すのを待つのではなく、作業を開始する前に、ロボットに「ムードリング」や特定の指示トークンを与えるのです。

ステップ1：指示に従って異なる動きをするようロボットに教える（RCTP）
まず、成功した物語（高報酬）と失敗した物語（低報酬）が混ざった袋小路の物語を用いて、ロボットを訓練します。決定的なのは、各物語に <|High Reward|> や <|Low Reward|> といった特別なタグを付けていることです。

ロボットはこう学びます。「<|High Reward|> タグを見たら、完璧になろうとするべきだ。<|Low Reward|> タグを見たら、異なる、おそらくよりリスクが高い、あるいはより単純な道を試すべきだ。」
これにより、ロボットは単なる硬直した生徒ではなく、見ているタグに基づいて振る舞いを切り替えられる「カメレオン」になります。

ステップ2：コーチの新しいゲーム（Reward-Conditioned GRPO）
さて、コーチ（RLアルゴリズム）がパズルを解くためにグループを集める時、単に「行け！」と言うだけではありません。

彼らは各生徒に異なるタグを手渡します。
生徒Aは <|High Reward|> を受け取り、完璧になろうとします。
生徒Bは <|Low Reward|> を受け取り、異なる、おそらく無秩序なアプローチを試みます。
生徒Cは再び <|High Reward|> を受け取りますが、おそらく少し異なる完璧な道を試します。
生徒たちはタグに基づいて異なる動きをするよう条件付けられているため、グループには多様性が生まれます。
コーチはこれで明確に確認できるようになります。「生徒Aは10点、生徒Bは2点、生徒Cは9点だ。」
これで明確な差が生じました！コーチは有益なフィードバックを与えられるようになります。「生徒B、生徒Aのようになれるよう努力しなさい。」
これにより、学習エンジンがスムーズに回り続けます。

なぜ機能するのか（比喩）

古い方法では、ロボットは全員が全く同じ音符を完璧に歌う合唱団のようでした。全員が同一であったため、指揮者は誰がより良く歌っているかを判断できませんでした。

新しい RC-GRPO メソッドでは、指揮者が各歌手に異なる楽譜（高報酬 vs 低報酬のタグ）を渡します。突然、合唱団は多様な響きを持ちます。指揮者はその違いを聞き取り、最高の音を選び出し、歌手たちを導いて向上させることができるのです。

結果

論文では、AIエージェントがツールを使用するための厳しい試験である BFCLv4 というベンチマークでテストを行いました。

従来の方法： ロボットは行き詰まり、あまり改善しませんでした。
新しい方法（RC-GRPO）： ロボットはより速く学習し、より多くのパズルを正しく解きました。
大きな勝利： 特定のテストモデル（Qwen-2.5-7B）において、この新しい手法により、オープンソースのロボットが、通常これらの試験で勝利する有名な高価な「クローズドソース」のロボット（大手企業のモデルなど）を打ち負かすことができました。

まとめ

この論文は、AIが例をコピーすることに習熟しすぎて学習が止まってしまうという問題を解決しています。単純な「報酬タグ」に基づいてAIに意図的に異なる動きをするよう教えることで、AIに異なる経路を探索させ、より速く、より賢くツールを使いこなせるようにしているのです。

技術要約: マルチターン・ツール呼び出しエージェントのための RC-GRPO

1. 問題提起

マルチターン（多段階）のツール呼び出しは、報酬の希薄さと探索コストの高さから、大規模言語モデル（LLM）にとって重大な課題を提示します。Group Relative Policy Optimization (GRPO) は、個別のクリティック（評価）ネットワークを必要としない一般的な強化学習（RL）手法ですが、教師あり微調整（SFT）によって初期化されたマルチターン・ツールエージェントに適用した場合、決定的な失敗モードに陥ります。

核心となる問題は、**「完璧のパラドックス（paradox of perfection）」**です。LLMが最適なデモンストレーションに対してSFT訓練を受けると、非常に尖ったポリシー（強力な「ゴールデンパス」の事前分布）が形成されます。GRPOによる学習中、このことはロールアウト・グループ内の多様性の低下を招きます。すなわち、サンプリングされた複数の軌跡が、同一の報酬（例：すべて0、またはすべて1）を受け取ってしまうのです。その結果、グループ内の標準偏差（ $\sigma_g$ ）がゼロに近づき、グループ正規化されたアドバンテージ信号が退化します（ $A_j \approx 0$ ）。これにより、勾配消失が発生し、特に部分観測環境において、局所的な確信度が反復的で短いホライゾンの挙動につながることで、学習が停滞します。

2. 手法: RC-GRPO

著者らは、グループ内の多様性をサンプリング温度の副産物としてではなく、制御可能な変数として扱うために設計された2段階のパイプラインである RC-GRPO (Reward-Conditioned Group Relative Policy Optimization) を提案しています。

ステージ1: 報酬条件付き軌跡ポリシー (RCTP) の微調整

RLの前に、ベースとなるLLMを報酬条件付き軌跡ポリシー（RCTP）へと微調整します。

データ構築: 離散的な報酬目標トークン（例：成功を示す <|high reward|>、失敗を示す <|low reward|>）を軌跡とペアにする混合品質データセットを作成します。
目的関数: モデルが、履歴と特定の報酬トークンの両方に条件付けられたアクションの対数尤度を最大化するように訓練します： $\pi_\theta(a_t | h_t, r)$ 。
成果: ポリシーは、要求に応じて明確に異なる品質の軌跡を生成することを学習します。<|high reward|> に条件付けると最適なアクションが引き出され、<|low reward> に条件付けると妥当な失敗モードが生成されます。

ステージ2: 報酬条件付きGRPO

RCTPは、RLステージの初期化として機能します。

制御されたサンプリング: 各プロンプトに対して、 $G$ 個の軌跡からなるグループを生成します。単一の無条件ポリシーからサンプリングする標準的なGRPOとは異なり、RC-GRPOは固定された分布 $P_{sample}(r)$ から、各軌跡に対して個別の報酬トークン $r_j$ をサンプリングします。
条件付きロールアウト: 各軌跡 $\tau_j$ は、それぞれの特定のトークン $r_j$ に条件付けられて生成されます（すなわち、 $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$ ）。
アドバンテージ計算: グループには異なる報酬モード（高報酬 vs 低報酬）に条件付けられた軌跡が含まれるため、グループ内の報酬分散が明示的に注入されます。これにより、グループ正規化されたアドバンテージ $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ が退化せず、情報量を持つ状態が維持されます。
報酬関数: 状態の一貫性（ $R_{state}$ ）と必須アクションのカバレッジ（ $R_{action}$ ）の積として定義される、統一された軌跡レベルの報酬 $R(\tau)$ が使用されます。これはバイナリの成功信号（成功なら1、失敗なら0）となります。

3. 主な貢献

RC-GRPOフレームワーク: 探索を、サンプリング温度によるランダムネスではなく、離散的な報酬トークンによる制御可能なステアリング問題へと変貌させる、報酬条件付きアプローチの導入。これにより、尖ったポリシーにおける消失アドバンテージ問題を防止します。
2段階のパイプライン: 混合品質データを用いたRCTPの微調整と、それに続く報酬条件付きGRPOという具体的なワークフローを提供。これにより、効果的なグループ相対更新に必要な多様な挙動をポリシーが確実に生成できるようにします。
実証的検証: LLaMA-3.1-8B-Instruct および Qwen2.5-7B-Instruct を用いた、Berkeley Function Calling Leaderboard v4 (BFCLv4) マルチターン・ベンチマークにおける包括的な実験。
理論的および動的分析:
- 理論的: 標準的なGRPOは、尖ったSFTポリシーによって $\sigma_g \to 0$ となると崩壊する一方、報酬条件付けがグループ内の分散の下限を保証することを示す、分散に基づく分析（命題 4.2 および 4.3）。
- 動的: RC-GRPOが、ポリシーのエントロピーを減少させながら性能を向上させることを示す証拠。これは、性能向上がランダム性の増加ではなく、構造化された分散注入によって駆動されていることを証明しています。

4. 実験結果

本手法は BFCLv4 マルチターン分割で評価されました。

Qwen2.5-7B-Instruct: フルRC-GRPOパイプラインは、85.00% の総合精度を達成しました。これはベースモデル (11.25%) や標準的な SFT+GRPO (48.75%) を大幅に上回り、評価されたすべてのクローズドソースAPIモデル（最高のエボリューションである Opus-4.5 の 61.25% を含む）をも凌駕しました。
LLaMA-3.1-8B-Instruct: 本手法は 48.75% の精度を達成し、SFT+GRPO (35.00%) およびベースモデル (0.00%) を改善しました。
アブレーション研究:
- RCTPの必要性: 標準的なSFT初期化に報酬条件付けを追加しても、わずかな利得しか得られませんでした。しかし、初期化をRCTP-FTに切り替えてRC-GRPOを適用すると、劇的な改善が見られました（Qwen2.5-7B で +38.75%）。
- メカニズム: 学習ダイナミクスの分析により、RC-GRPOは低いエントロピーで高い性能を達成し、エントロピーと報酬の間に負の相関があることが明らかになりました。これは、性能がハイエントロピーに依存する標準的なGRPOとは対照的です。

5. 重要性と主張

本論文は、強力なSFT初期化済みエージェントにグループベースのRLを適用する際の根本的な限界、すなわち「グループ内の多様性の欠如による学習信号の崩壊」に対処することを主張しています。

制御された多様性: 多様性は、多くの場合不十分なサンプリング温度（stochastic sampling temperature）に頼るのではなく、条件付けトークンを通じて明示的に制御できることを示しました。
ランダム性に対する安定性: 著者らは、観察された改善はエントロピー（ランダム性）の増加によるものではなく、構造化された分散を通じて情報量の多い、消失しないアドバンテージ信号を回復させたことによるものであると主張しています。
実用的影響: オープンウェイトモデルが複雑なマルチターン・ツール呼び出しタスクにおいてクローズドソースAPIモデルを凌駕することを可能にすることで、本手法は、クリティック・ネットワークの計算オーバーヘッドや標準的なGRPOの不安定さを伴わずに、堅牢なエージェントシステムを訓練するためのスケーラブルな経路を提供します。

著者らは、手法の安定性に関する分散ベースの理論的説明を提供してはいるものの、マルチターン・エージェントの学習ダイナミクスに関する完全な理論を提示しているわけではないとして、控えめな姿勢を維持しています。主要な貢献は、制御可能な生成とグループベースのRLを、希薄な報酬環境における「消失アップデート」問題への統一的な解決策として定式化した点にあります。

問題： 「完璧な優等生」の罠