💬 NLP

DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research

本論文は、評価基準と方策を共進化させる進化するルブリックを用いた強化学習（RLER）によって訓練されたオープンソースの深層研究モデル「DR Tulu」を紹介するものであり、これにより既存のオープンエージェントを上回り、長文研究タスクにおいてプロプライエタリなシステムと競合しつつも、はるかに費用対効果の高い性能を発揮する。

原著者： Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca So

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research（DR Tulu：深層研究のための進化する評価基準を用いた強化学習）」の解説を、アナロジーを用いたシンプルで日常的な言葉で翻訳したものです。

全体像：ロボットに研究者を教える

あなたが、ロボットに「遺伝子変異がどのように希少疾患を引き起こすのか？」や「再生可能エネルギーの歴史とは何か？」といった複雑なトピックについて、長く詳細な研究レポートを書かせることを想像してみてください。

現在のほとんどの AI モデルは、短い小テストの勉強しかしていない生徒のようです。彼らは「フランスの首都はどこか？」のような単純な質問には答えるのが得意ですが、数百のウェブサイトを掘り下げて事実を確認し、出典を引用する必要がある 20 ページのレポートを書くよう求められた場合、苦戦します。

この論文の著者たちは、DR Tuluという新しい AI を構築しました。これは「深層研究者」として特別に訓練された、初のオープンソースモデルです。単に推測するだけでなく、計画を立て、ウェブを検索し、論文を読み、出典がしっかりした長いレポートを書きます。

問題：長いレポートをどう評価するか

AI をより良く訓練するには、通常強化学習という手法を使います。これは犬を訓練するのと似ています。

犬（AI）が芸をします。
正しければ、ご褒美（報酬）をもらいます。
間違っていれば、ご褒美はもらえません。

長い研究レポートの場合、「良いレポート」とはどのようなものかを知ることは難しいという問題があります。

静的な評価基準（旧来の方法）： 先生が犬に固定されたチェックリストを与えることを想像してください。「5 つの段落であること。1990 年を言及すること。」もし犬が 1991 年についての素晴らしいレポートを書いたとしても、先生は厳格なチェックリストに従わなかったとして不合格にします。このチェックリストは、犬が実際に何を見つけ出したかを知りません。
「クローズドブック」の問題： AI にすでに知っていることだけを基にチェックリストを作成させると、インターネットで新たに発見した事実を見逃す可能性があります。

解決策：「進化する評価基準」（賢い先生）

この論文では、**RLER（Reinforcement Learning with Evolving Rubrics：進化する評価基準を用いた強化学習）**という新しい手法を紹介しています。

固定されたチェックリストを使わない賢い先生を想像してください。代わりに、この先生は生徒（AI）が研究を行う様子をリアルタイムで見守ります。

生徒が検索する： 生徒は外に出て新しい事実を見つけ、下書きを書きます。
先生が適応する： 賢い先生は生徒が見つけたものを見ます。「ああ、その事実が存在するとは知らなかった！チェックリストに新しいルールを追加すべきだ。『この新しい事実を説明すること』。」
フィードバックループ： 先生は生徒が学習している最中にチェックリストを更新します。もし生徒が（文章を読まずにコピーするなどの）不正を試みれば、先生は即座に「不正は禁止」というルールを追加します。

技術的には、これらを進化する評価基準と呼びます。これらは、AI がより多くの情報を探索するにつれて変化し、賢くなる評価基準です。これにより、AI は静的なルールセットに縛られるのではなく、自らの発見から学ぶことができます。

結果：予算内で活躍するスーパー研究者

著者たちはこの「賢い先生」方式を用いて DR Tulu を訓練しました。その結果は以下の通りです。

より賢い： DR Tulu は、他のオープンソースの研究モデルを圧倒的な差で凌駕しました。より良いレポートを書き、より正確な事実を見つけ、出典を正しく引用しました。
巨人たちと肩を並べる： OpenAI や Google などの大手企業から提供されている高価な専用システムと同等、あるいはそれ以上の性能を発揮しました。
安い： これが最大の勝利です。高価なシステムは質問 1 つあたり約1.80 ドルかかりますが、DR Tulu は約0.002 ドルです。これは約1,000 倍安いことになります。

「遺伝性疾患」テスト

本当に機能することを証明するために、チームは DR Tulu に非常に困難な課題を与えました。それは、特定の薬で治療できるかどうかを調べるために遺伝子変異を分析するという、通常は人間の医療専門家が行う任務です。

DR Tulu は医療データベースを正常に検索し、関連する論文を見つけ、レポートを統合しました。
この課題において、最も高価なクローズドソースの AI システムと競合することができました。
他のオープンソースモデルは、適切な引用を見つけられなかったり、事実を検証できなかったりしたため、失敗しました。

ツールキット：「dr-agent-lib」

この論文では、dr-agent-libという「道具箱」も公開されました。

これは AI 研究者のためのスイスアーミーナイフのようなものです。
これにより、AI は Google 検索、特定のウェブページの読み込み、学術論文の検索など、さまざまなツールを使用できます。
重要なのは、AI がその仕事に適切なツールを選ぶことを学ぶ点です。質問が科学に関するものであれば「論文検索」ツールを使い、一般的なニュースに関するものであれば「ウェブ検索」を使います。 blindly（盲目的に）一つのツールだけを使うわけではありません。

まとめ

この論文は、深層で長文の研究を行うことを学ぶオープンソース AIDR Tuluを提示しています。これは、AI が発見する内容に基づいてリアルタイムで更新される特別な訓練方法（進化する評価基準）を使用しています。これにより、AI は現在の最先端の研究ツールよりもはるかに賢く、正確で、かつ大幅に安価になります。著者たちはコード、データ、モデルを共有しており、誰でも利用できるようにしています。

技術概要：DR Tulu：深層研究のための進化する評価基準を用いた強化学習

問題定義

深層研究（DR）エージェントは、計画、検索、多様な情報源からの情報の統合を通じて、複雑なタスクに対する詳細で出典が明確な回答を生成するように設計されています。しかし、既存のオープンソースの DR エージェントは重大な限界に直面しています：

トレーニングの不一致：ほとんどのオープンエージェントは、短形式で検証しやすい QA タスクにおける検証可能報酬を用いた強化学習（RLVR）によってトレーニングされています。このアプローチは、回答が複雑で未定義な現実的な長文の深層研究タスクには一般化しません。
報酬信号の不足：オープンエンドな長文生成に対する信頼できる報酬信号を定義することは困難です。静的で事前に定義された評価基準は、品質のニュアンスを捉えきれないことが多く、正確な評価には、モデルのパラメトリック知識を超えた広範で最新の外部情報へのアクセスが頻繁に必要となります。
オープンインフラの欠如：既存のオープンシステムは、単一のツールに依存したり、完全な引用サポートが欠けていたり、トレーニングデータやコードを公開していないことが多く、再現性やさらなる研究を阻害しています。

手法：進化する評価基準を用いた強化学習（RLER）

これらの課題に対処するため、著者らはオープンエンドな長文の深層研究向けにエンドツーエンドでトレーニングされた、最初の完全オープンモデルであるDR Tulu-8Bを導入します。中核的な革新は、評価基準（ルブリック）がトレーニング中にポリシーモデルと共進化するフレームワークである**進化する評価基準を用いた強化学習（RLER）**です。

RLER の中核コンポーネント

報酬としてのルブリック：静的な基準の代わりに、システムは自然言語で定義されたサンプル単位のルブリックを使用します。ジャッジ大規模言語モデル（LLM）がこれらのルブリックに対して回答を評価し、スコアを生成します。
検索拡張型進化するルブリック：
- 初期化：各トレーニングプロンプトに対して、初期ルブリックは外部検索 API から取得したドキュメントを用いて LLM（ $G_{rubric}$ ）によって生成されます。これにより、基準は最新の外部知識に基づきます。
- 共進化：トレーニング中、システムは複数のモデル応答（ロールアウト）と検索トレースをサンプリングします。ルブリック生成器は、これらの応答を対比させることで新しいルブリックを作成します。
  - ポジティブルブリック：既存のルブリックが見落としていた、現在のポリシーによって探求された強みや新しい関連知識を捉えます。
  - ネガティブルブリック：応答全体で観察される一般的な望ましくない行動（例：報酬ハッキング、逐語的なコピー）を特定します。
- バッファ管理：ルブリック数の線形増加を防ぐため、バッファ管理戦略はルブリックをその識別力（応答間の報酬の標準偏差）に基づいてフィルタリングし、ランク付けして、最も情報量の多いもののみを保持します。
補助報酬：このフレームワークには、フォーマットの正確性、効果的な検索ツールの使用、関連する主張を支持する高品質な引用に対する補助報酬が含まれています。

トレーニングパイプライン

ベースモデル：モデルはQwen3-8Bから初期化されます。
教師あり微調整（SFT）：検索パターンやツールの使用を蒸留するために、ティーチャーモデル（GPT-5 などを含む）によって生成された 16K の高品質な軌跡（長文および短文）を使用した「コールドスタート」フェーズ。
オンライン RL：モデルはGRPO（Group Relative Policy Optimization）の変種を用いた RL トレーニングを受けます。トレーニングループは以下の手順を含みます：
1. 実際のツール呼び出し（Google 検索、Web ブラウジング、論文検索）を伴うエージェントロールアウトの生成。
2. 動的に更新されるルブリックバッファに対する回答のスコアリング。
3. ポリシーモデルの更新。
4. 新しい進化するルブリックの追加と分散の低いものの削除によるルブリックバッファの洗練。
インフラ：著者らは、非同期ツール呼び出し、グローバルキャッシング、マルチツール検索統合をサポートする拡張可能なエージェントライブラリdr-agent-libを公開します。

主要な貢献

DR Tulu-8B：長文タスク向けにエンドツーエンドでトレーニングされた、最初の完全オープンな深層研究モデル。出典が明確で長文のレポートを生成可能。
RLER フレームワーク：ポリシーモデルの進化能力に適応する、インスタンス固有で検索に基づいたルブリックを生成する新しいトレーニング手法。より識別力のあるオンポリシーフィードバックを可能にする。
オープンエコシステム：モデル、トレーニングデータ、評価ルブリック、および dr-agent-lib インフラの公開。深層研究エージェントのための完全で再現可能なスタックを提供。
新しいベンチマーク：モデルが遺伝子変異の治療適格性に関する証拠を統合することを要求する、挑戦的な臨床データセットGeneticDiseasesQAの導入。

実験結果

モデルは、4 つの長文深層研究ベンチマーク：AstaBench-ScholarQA-CS2 (SQAv2)、HealthBench、ResearchQA、およびDeepResearchBench (DRB) において評価されました。

オープンモデルとの比較：DR Tulu-8B（RL）は、既存のすべてのオープン深層研究エージェントを大幅に上回ります。平均スコアは65.6に達し、以前の最先端オープンモデル（Tongyi DR-30B）を15.6 ポイント上回ります。注目すべきは、8B パラメータのベースを使用しているにもかかわらず、32B バックボーンなどのより大きなオープンモデルを上回っている点です。
プロプライエタリモデルとの比較：DR Tulu-8B は、平均的にプロプライエタリシステム（OpenAI Deep Research、Perplexity DR、Gemini 3 Pro + Search）と同等かそれ以上の性能を発揮します。SQAv2 では、テストされたすべてのシステムの中で最高性能を達成しました。
コスト効率：DR Tulu-8B は著しくコスト効率が高いです。SQAv2 において、クエリあたりのコストは約0.0019 ドルであり、OpenAI Deep Research（1.80 ドル/クエリ）の約1,000 分の 1、他のオープンモデルに比べて桁違いに安価です。
ツール適応性：モデルはタスクに基づいて適切なツールを選択することを学習します。学術文献タスク（SQAv2）では、90% の確率で論文検索に依存し、一般ドメインタスク（DRB）では、ウェブ検索やブラウジングをより頻繁に利用します。
GeneticDiseasesQA：この専門的な臨床タスクにおいて、DR Tulu-8B はプロプライエタリエージェントと競合するかそれ以上であり、他のオープンエージェントが失敗する場所で信頼性が高く検証可能な引用を生成する能力を実証しました。

意義と主張

本論文は、DR Tulu と RLER を、深層研究能力の民主化に向けた重要なステップとして位置づけています。

ギャップの解消：この研究は、RLER という手法を提供することで、現実的な長文タスクにおける深層研究エージェントのトレーニングにおける長年の障壁を解消します。RLER は、人間のエキスパートが各インスタンスに対して手動でルブリックを洗練させることなく、信頼できる報酬信号を生成します。
再現性：トレーニングスタック全体（データ、コード、モデル、インフラ）を公開することで、著者らはコミュニティにおける厳密な評価とさらなる研究を可能にすることを目指しています。これは以前はプロプライエタリシステムに限定されていた能力です。
検証者のスケーラビリティ：著者らは RLER を、検証者計算のスケーリングの新たな次元として位置づけています。ここでは、報酬モデルの推論トークンを単に増加させるのではなく、評価の質を向上させるために「特権情報」（外部検索結果や対照的なモデル応答）をジャッジに提供します。
控えめな主張：著者らは、DR Tulu がプロプライエタリシステムと競争力のある性能を発揮する一方で、主に研究用アーティファクトであることを認識しています。医療のような高リスク分野では、ダウンストリーム利用には慎重な評価、不確実性に関する透明性、人間の監督が必要であると強調しています。また、ルブリック設計やジャッジモデルの不一致により、トレーニング報酬がダウンストリーム評価性能と常に完全に相関するわけではないとも指摘しています。