技術的概要：RubricEM

問題定義

自律的な計画、検索、証拠評価、長文レポートの統合を可能にする深層研究エージェントの訓練は、強化学習（RL）にとって根本的な課題を呈する。数学問題やコード生成など検証可能な正解が存在するタスクとは異なり、深層研究の出力は開放的で、客観的な正解性の指標が存在しない。その結果、標準的な RL アプローチは以下の 3 つの重要なボトルネックに直面する：

1. 疎で遅延する報酬： フィードバックは通常粗く、長い多ターン軌道の終端でのみ得られるため、帰属付け（クレジット・アサインメント）が困難である。
2. 再利用可能なガイダンスの欠如： 従来のポストトレーニング手法は、判定された試行をパラメータ更新に変換するが、将来の試行に対する明示的で再利用可能なガイダンスを生み出すことには失敗する。
3. 非効率的な探索： 構造化された中間監督がなければ、エージェントは複雑なタスクを分解するのに苦しみ、長期的な視野にわたって誤差が累積する。

既存のオープンソースの取り組みは、しばしば検証可能な検索プロキシや高品質な模倣データに依存しており、一方、プロプライエタリなシステム（例：Gemini、OpenAI Deep Research）は、その訓練手法について不透明なままである。ここで扱われる中心的な問いは、「検証可能な報酬を超えて深層研究エージェントを RL で訓練し、長期的なクレジット・アサインメントと経験からの学習を可能にするにはどうすればよいか？」である。

手法：RubricEM

著者は、ルブリック（評価基準）を単なる最終回答の評価者としてではなく、方策の実行、判定者のフィードバック、およびエージェントのメモリを構造化する共有インターフェースとして扱う、ルブリック誘導型の RL フレームワークRubricEMを提案する。このフレームワークは、以下の 3 つの中核コンポーネントを統合する：

1. ルブリック誘導型の方策分解（構造化された足場）

平坦な自己回帰プロセスの代わりに、RubricEM はエージェントの軌道に明示的な段階構造を課す：計画 $\to$ 調査 $\to$ レビュー $\to$ 回答。

• 自己生成ルブリック： 計画段階において、エージェントは後続の段階を誘導するタスク固有のルブリック（知識チェックリスト、分析基準、ネガティブ制約）を生成する。
• 運用ルブリック： これらのルブリックは静的ではなく、検索クエリを条件付け、調査およびレビュー段階における自己評価の参照となり、最終的な統合の基準を定義する。
• 理論的正当性： 本論文は、異なる意思決定モード（例：検索対統合）間で局所的文脈が曖昧な場合、明示的な段階情報は平坦な方策と比較して方策の期待される下流価値を厳密に向上させることを示す理論的証明（定理 1）を提供する。

2. 段階構造化 GRPO（SS-GRPO）

疎な報酬に対処するため、RubricEM は**段階構造化グループ相對方策最適化（SS-GRPO）**を導入する。

• 密なクレジット・アサインメント： 単一のターミナルスコアをすべてのトークンにブロードキャストするのではなく、SS-GRPO はルブリック誘導型の判定者を用いて、計画、調査、レビュー、回答の各セグメントに段階固有のスコア（$R_{i,k}$）を割り当てる。
• 因果的段階依存性： 因果行列 $\Lambda$ は、下流の段階スコアが上流の段階の戻り値にどのように寄与するかを定義する（$G^{\Lambda}_{i,k} = \sum_{j=k}^{K} \lambda_{k,j} R_{i,j}$）。これにより、初期段階が成功した下流の結果を可能にしたことに対するクレジットを受け取ることが保証される。
• 進化型ルブリック判定者： 判定者は、各段階に対する識別的なルブリックのバッファを維持し、方策の現在の分布に適応する。これにより、オラクル中間報酬を必要とせずにプロセスレベルのフィードバックが可能となる。

3. リフレクションメタ方策訓練

RubricEM は、共有バックボーンを持つリフレクションメタ方策を通じて、経験の再利用を明示的な RL 目的として扱う。

• 共同訓練： 同じバックボーンが、タスク方策とリフレクション生成者の両方として機能する。軌道が判定された後、バックボーンは学んだ教訓を要約するルブリックに基づくリフレクション候補を生成する。
• 判定者ゲート付き選択： LLM 判定者は、これらの候補をエピソード内改善（現在の試行の向上）とエピソード間転移（関連する質問に対する将来の試行の向上）への有用性に基づいてスコアリングする。
• ルブリックバンク： 最高スコアのリフレクションは、自然言語メモリとしてルブリックバンクに保存される。訓練中、エージェントはこれらのリフレクションを検索して、将来のロールアウトを条件付ける。
• 非同期効率性： 逐次的なボトルネックを回避するため、システムは非同期パイプラインを採用しており、ステップ $N$ に対するリフレクション生成と訓練が、ステップ $N+1$ に対するタスクロールアウトと並行して実行される。これにより、壁時計時間上のオーバーヘッドはほとんど生じない。

主要な貢献

1. RubricEM フレームワーク： 方策分解、クレジット・アサインメント、メモリ進化を単一のルブリック誘導型インターフェースの下で統合する新しい RL 構造。
2. SS-GRPO アルゴリズム： ステップレベルのオラクル報酬を必要とすることなく、長期的最適化のためのより密な意味フィードバックを提供する、クリティック不要の段階認識型 GRPO の変種。
3. リフレクションによるメタ RL： 判定された軌道を再利用可能でルブリックに基づくガイダンスに蒸留し、「判定された試行」を実質的に「再利用可能な経験」へと変換する、共有バックボーンを持つメタ方策の訓練手法。
4. 実証的検証： 構造化された足場、段階別クレジット、リフレクション訓練の組み合わせが、先行研究と比較してより少ない訓練ステップで優れた性能をもたらすことを示す包括的なアブレーション研究とベンチマーク。

実験結果

著者は、RubricEM-8B（Qwen3 に基づく 80 億パラメータモデル）を、4 つの長文研究ベンチマーク：HealthBench、ResearchQA、DeepResearchBench (DRB)、およびResearchRubricsで評価した。

• 性能： RubricEM-8B は、非プロプライエタリモデル間で平均スコア55.5という最先端の成績を収め、DR Tulu-8B（53.6）や WebThinker-32B-DPO（49.0）といった強力なオープンベースラインを上回った。
• プロプライエタリシステムとの比較： OpenAI Deep Research や Gemini Deep Research などのプロプライエタリシステムの性能に迫り、平均的には Perplexity Deep Research を上回り、DRB ベンチマークではそれを凌駕した。
• 効率性： このモデルは1,400 回の RL ステップでピーク性能に達し、より弱い教師モデル（Gemini-3.1-Pro 対 GPT-5）から出発したにもかかわらず、DR Tulu が必要とする 1,900 ステップよりも著しく少ないステップ数で達成された。
• 一般化能力： 主に長文データで訓練されたにもかかわらず、RubricEM は SimpleQA、2Wiki、WebWalker、DSQA などの短文ベンチマークへの強力なゼロショット転移を示し、学習されたスキルが単なるレポート形式化ではなく、転移可能なツール使用および証拠に基づく能力であることを示唆している。
• アブレーション研究： どのコンポーネント（構造化された足場、SS-GRPO、またはメタ方策）を除去しても性能が低下し、観測された向上にはこれら 3 つの要素すべてが必要であることを確認した。

意義と主張

本論文は、RubricEM が検証可能な報酬を超えた長期的 RL に対する「レシピ」を提供すると主張する：タスク構造を露呈させ、その構造にクレジットを割り当て、判定された試行を再利用可能な経験へと変換する。

• 検証可能な報酬を超えて： この研究は、正解が存在しない場合でも、ルブリック誘導型の意味フィードバックに依存することで、高品質な深層研究エージェントを訓練できることを実証している。
• エージェントのためのメタ RL： 推論時のプロンプティング（例：数ショット例）を超えて、訓練時の進化へと移行することで、言語エージェントのメタ RL の分野を前進させた。ここでは、エージェントのパラメータとそのテキストメモリが共進化する。
• スケーラビリティ： 結果は、適切な構造的先行知識と RL アルゴリズムを備えれば、コンパクトなモデル（8B）が複雑な研究タスクにおいて競争力のある性能を達成できることを示唆しており、深層研究を実行できるのは巨大なプロプライエタリモデルだけであるという概念に挑戦している。

著者は、外部 LLM 判定者への依存（ノイズとコストをもたらす）や、長期的な訓練ループにおけるインフラの不安定性などの限界を認めつつ、控えめなトーンを維持している。将来の研究としては、より強力な判定者、人間が監査可能なルブリックバンク、および多次元の品質基準を持つ他の分野（例：科学的レビュー、教育）への応用を探求することが提案されている。