技術要約: RODS – マルチターン・ツール使用エージェントのための報酬駆動型オンライン・データ合成

1. 問題提起

強化学習（RL）を用いたマルチターン・ツール使用のための大規模言語モデル（LLM）エージェントの訓練は、静的なデータセットにおける情報量の高いサンプルの急速な枯渇という決定的なボトルネックに直面している。エージェントが向上するにつれ、静的なデータセットはシグナル枯渇（課題C2）に陥る。これは、タスクが習得済み（高報酬）であるか、あるいは解決不可能（低報酬）であるかのいずれかとなり、エージェントに学習を促す「境界」となるタスクが残らなくなることで、勾配シグナルが消失するために起こる。

既存のアプローチは、これらを包括的に解決できていない：

• 大規模なオフライン合成（APIGen-MT、TOUCANなど）は、膨大なコーパスを事前に生成するが、訓練ループから切り離されており、エージェントの進化する能力境界を追跡できていない。
• オンライン環境拡張（EnvTuningなど）は、固定されたデータに対するフィードバックを豊かにするが、最終的にはシード・コーパスの多様性に制約される。
• 制約のないセルフプレイは、マルチターン推論に必要な長期的コヒーレンス（一貫性）を欠いた、意味的に断片化した軌跡を生成してしまうことが多い（課題C3）。

したがって、極端なデータ不足の条件下において、エージェッチの能力境界を厳密に追跡しながら、マルチターンの意味的コヒーレンスを維持しつつ、動的にデータを合成する手法が必要とされている。

2. 手法: RODSフレームワーク

著者らは、データ生成を強化学習の訓練プロセスに直接結合させたクローズドループ・フレームワークであるRODS (Reward-driven Online Data Synthesis) を提案する。核心となる洞察は、GRPOのような方策勾配法におけるプログレス報酬（Progress Reward）の分散が、コストゼロで実用的な、エージェントの能力境界を検知するデテクターとして機能することである。

2.1 理論的根拠: 境界検出器としての分散

GRPOにおいて、勾配シグナルの密度はロールアウト報酬の分散によって支配される。**ポポヴィチュの不等式（Popoviciu's inequality）**を引用すると、有界な変数の分散は、平均成功確率（$\mu$）が約0.5のときに最大化される。RODSはこれを運用し、エージェントの平均プログレス報酬（$\bar{r}_i$）が特定の境界ゾーン（$\alpha_- \le \bar{r}_i \le \alpha_+$、通常は $[0.20, 0.85]$）に収まるタスクを特定する。これらの「境界シード（boundary seeds）」は、成功と失敗のバランスが取れており、最も情報量の多い勾配シグナルが集中する領域を表している。

2.2 コア・コンポーネント

RODSは、以下の3つの共進化するモジュールで構成される：

1. 報酬ベースのシード検出:

   • システムは、$K$回のロールアウトにおける平均プログレス報酬に基づき、タスク空間を「習得済み（Mastered）」、「境界（Boundary）」、「困難（Hard）」の領域に分割する。
   • 多様なスキル・カバレッジ（例：不足している関数、長いコンテキスト）を確保するため、タイプ・クォータ・メカニズムを用いて「境界シード」を選択する。
   • 選択においては、勾配のポテンシャルを最大化するために、能力の中間点（$\mu \approx 0.5$）に最も近いシードを優先する。

2. スキル整合型データ合成:

   • 単なるパラフレーズではなく、RODSは構造的に同型なバリアントを生成するために、5段階のマルチエージェント・パイプラインを採用する。
   • 構造の保持: パイプラインは、シードから複雑性プロファイル $\Phi(x_{seed})$（例：API依存グラフ、パラメータの流れ）を抽出する。新しいタスクは、依存関係の深さとトポロジーにおいてこのプロファイルに一致するようにサンプリングされ、新しいタスクが能力境界の近くに留まることを保証する。
   • 意味的コヒーレンス: **コヒーレンス書き換えエージェント（Coherence Rewrite Agent）**が、すべてのターンを単一の物語目標に固定し、ナイーブな合成でよく見られる「意味的な断片化（C3）」を解消する。
   • フィードバック駆動型実行: エグゼキューション・オーケストレーターが、シミュレーション環境内でプランを実行する。エラーが発生した場合、**コンフィグ・パッチ・エージェント（Config Patch Agent）**が環境状態（例：認証やリソースの可用性の修正）を修正し、サンプルを破棄するのではなく、有効な実行を保証する。

3. 動的リプレイ・バッファ管理:

   • ステージド注入: 合成されたバリアントは候補キューに保持され、分布のショックを防ぐためにエポックの境界で注入される。
   • マルチレイヤー退去メカニズム: プールの情報量を維持するため、RODSは3層の退去メカニズムを採用する：
     • バーイン・フィルタリング（Burn-in filtering）: 初期報酬が閾値を下回るバリアントを破棄する。
     • 境界ドリフト退去（Boundary-drift eviction）: 習得済みまたは解決不能なゾーンにドリフトしたタスクを除去する。
     • 分散優先プルーニング（Variance-prioritized pruning）: プールが容量（$P_{max}$）を超えた場合、高勾配シグナルを維持するために、報酬の分散が低いサンプルを退去させる。

3. 主な貢献

1. RODSフレームワーク: 強化学習のプログレス報酬を再利用して、リアルタイムで境界タスクを特定・拡張する、報酬駆動型の境界拡張手法であり、静的データセットにおけるシグナル枯渇に対処する。
2. スキル整合型合成パイプライン: 検証済みのシードの機能的依存構造を保持しながら、新しい物語を生成する新しいアプローチ。これにより、マルチターンの意味的コヒーレンスを確保し、静的な実行パスへの過学習を防ぐ。
3. データ効率: わずか400個の人間によるシードから開始し、約800個のサンプルでアクティブなプールを維持することで、RODSが17K個のオフライン・トレジェトリ（使用するオフライン・パイプライン）に匹敵する性能を達成できることを示す。

4. 実験結果

著者らは、BFCL V3マルチターン・ベンチマーク（800サンプル、うち400を訓練用）を用い、Qwen3-4B-Instruct、Qwen2.5-7B-Instruct、および Llama-3.1-8B-Instruct を用いてRODSを評価した。

• ベースラインとの比較: RODSは、すべてのモデルファミリーにおいて、「静的データセット」訓練および「EnvTuning」（環境拡張）の両方を上回った。Qwen3-4Bにおいて、RODSは**56.00%**の総合精度を達成し、静的ベースライン（50.00%）およびEnvTuning（50.50%）を上回った。
• データ効率: RODSは、約800個のアクティブ・プールを使用しながら、FunReason-MT-4B（17K個のオフライン・トレジェトリで訓練）と同等の性能を実現した。
• OOD（分布外）汎化: RODSは、OODベンチマーク（BFCL V4、$\tau^2$-bench、ACEBench）においても一貫した改善を示し、モデルがイン・ディストリビューションの記憶ではなく、汎用的な推論パターンを学習したことを示唆している。
• アブレーション研究:
  • コヒーレンス書き換えステージを削除すると、最大の性能低下（$\downarrow 5.13\%$）が発生し、意味的なグラウンディングの重要性が浮き彫りになった。
  • 境界ターゲット型のシード選択をランダム選択に置き換えると、大幅な低下（$\downarrow 4.75\%$）を招き、単にデータ量を増やすことよりも境界をターゲットにすることがより重要であることを裏付けた。
  • 退去メカニズムを無効にすると、性能が低下（$\downarrow 3.38\%$）し、習得済みのデータを蓄積することが勾配シグナルを希釈することを確認した。

5. 意義と主張

本論文は、RODSがデータ不足のボトルネックを、動的なカリキュラム設計問題へと効果的に作り変えるものであると主張している。能力境界としてのプログレス報酬の固有の分散を利用することで、RODSは大規模なオフライン・コーパスを必要とせずに、訓練を通じて情報量の多い方策勾配を維持することができる。

著者らは、データをどこで合成するか（能力境界において）が、どれだけ多く合成するかよりも重要であると強調している。本フレームワークは好ましいトレードオフを実現している。すなわち、追加の合成計算コスト（GPU時間ベースで訓練コストの約1倍）は発生するものの、大規模なオフライン・パイプラインと比較して、必要なデータ量を桁違いに削減できる。

限界事項: 著者らは、現在の合成パイプラインが、正当性を検証するために決定論的なシミュレーション環境（実行可能なPythonオブジェクト）に依存していることを指摘している。これを不透明な環境やリモートのModel Context Protocol (MCP) サーバーに適応させることは、今後の課題である。また、システムは現在単一の合成バックボーンを使用しているが、マルチバックボンド・アンサンブルがスケーリングの方向性として示唆されている。