KARL: Knowledge Agents via Reinforcement Learning

本論文は、多様な検索タスクを網羅する評価ベンチマーク「KARLBench」を構築し、合成データと反復的な強化学習を活用して、コストと性能の面で既存の最先端モデルを凌駕する企業向け知識エージェント「KARL」を開発したことを報告しています。

要約

KARL：知識を学ぶ「探偵エージェント」の物語

この論文は、Databricks の研究チームが発表した、**「KARL（カール）」**という新しい AI システムについて書かれています。

KARL は、単に本を読ませて知識を詰め込んだ AI ではなく、**「自ら調べ、考え、答えを見つける探偵」**のような存在です。従来の AI は「知っていること」だけで答えるのに対し、KARL は「知らないこと」があれば、図書館やインターネットを飛び回り、証拠を集めて推理します。

この探偵をどうやって鍛え上げたのか、その秘密を 4 つのポイントで、わかりやすく解説します。

---

1. 超難問の「訓練メニュー」を作った（KARLBench）

まず、KARL を鍛えるために、6 種類の「超難問トレーニング」を用意しました。これらはすべて、答えが一つに定まらず、複数の情報を組み合わせて考える必要があるものです。

• 例え話:
  • 制約付き検索: 「1980 年代のドラマで、外交官の免罪符を持った密輸犯を逮捕したエピソードを探せ。主演俳優は 2000 年代にがんを患い、8 歳で劇場デビューした人物だ」といった、条件が絡み合った難問。
  • レポート作成: 医療論文を 10 本読み込み、それらを統合して新しい治療法についてのレポートを書く。
  • 数字の計算: 数百ページに及ぶ企業の決算報告書から、特定の数字を見つけ出し、計算して答えを出す。

これら 6 つの異なる「探偵仕事」をすべてこなせるよう訓練することで、KARL はどんな分野の質問にも対応できる**「万能探偵」**になりました。

2. AI 同士で「模擬試験」を繰り返した（エージェント合成）

KARL を鍛えるための「問題集」は、人間が一つ一つ作りました。しかし、それだけでは数が足りません。そこで、**「AI 同士で模擬試験」**を行う仕組みを作りました。

• 仕組み:
  1. 問題作成 AI: 既存の資料から「難しそうな問題」を勝手に作ります。
  2. 解答 AI: その問題に挑戦し、答えを出します。
  3. 採点 AI: 「これは難しすぎる（誰も解けない）」や「簡単すぎる（誰でも解ける）」という問題は捨て、**「少し頑張れば解ける、でも簡単ではない」**という絶妙な難易度の問題だけを残します。

このようにして、KARL が最も成長できる「黄金の問題集」を、AI 自身で作り出し、洗練させていったのです。

3. 「失敗」から学ぶ新しい勉強法（強化学習）

KARL は、正解を丸暗記するのではなく、**「試行錯誤（トライ＆エラー）」**を通じて学びます。これを「強化学習」と呼びます。

• 例え話:
  迷路を歩くようなものです。
  • 従来の AI は「正解のルート」を教わって覚えます。
  • KARL は、**「壁にぶつかったら（失敗）、次に違う道を進む」**という経験を何千回も繰り返します。
  • 正解にたどり着けたときは「ご褒美（報酬）」をもらい、間違ったときは「反省」します。

この方法を使うと、KARL は「なぜその答えが正解なのか」という**「思考の筋道」**そのものを身につけます。そのため、訓練時に一度も見たことのない新しい種類の質問（未知の分野）に対しても、柔軟に対応できるようになります。

4. 時間とお金を節約する「賢い検索」

KARL のすごいところは、**「速くて、安くて、正確」**なことです。

• コストと速度:
  従来のトップクラスの AI（Claude や GPT など）に比べると、KARL は**「同じ品質の答えを、もっと安く、もっと短時間で」**出せます。

  • 例え話: 大手の高級探偵事務所（他の AI）は、高い報酬と長い時間がかかります。KARL は、地元の優秀な探偵ですが、**「必要な情報だけをピンポイントで集めるコツ」**を身につけているため、無駄な動きがなく、結果として安くて速いのです。

• 並列思考（Parallel Thinking）:
  さらに、KARL は**「複数の探偵を同時に派遣」**する技術も持っています。

  • 1 人の探偵が迷っている間、10 人の探偵が別々の道を探します。最後に、その 10 人の報告をまとめて「一番確実な答え」を導き出します。これにより、より複雑な問題でも、高い精度で解決できます。

---

まとめ：KARL が教えてくれること

この研究が示しているのは、「AI に知識を詰め込むこと」よりも、「AI に『調べ方』と『考え方』を教えること」の方が、実社会での役に立つということです。

KARL は、企業内の膨大なメモや、専門的な技術文書、複雑な財務データなど、**「AI が事前に知らない情報」**を、自ら探し出して正しく理解し、人間に役立つ答えを返すことができます。

まるで、**「どんな分野でも、すぐに現地の専門家に相談し、証拠を集めてレポートを書く、最強のビジネスパートナー」**が手に入ったようなものです。これからの AI は、単なる「知識の引き出し」ではなく、「問題解決のパートナー」として進化していくことを示唆しています。

技術概要

Databricks AI Research による論文「KARL: Knowledge Agents via Reinforcement Learning」の技術的サマリーを以下に提示します。

1. 問題定義 (Problem)

現代の「ナレッジエージェント（知識エージェント）」は、大規模なデータコレクションに対して反復的に検索・取得・推論を行うシステムであり、実務的に極めて価値が高い領域です。しかし、既存のモデルや研究には以下の課題がありました。

• 汎用性の欠如: 既存のベンチマーク（HotpotQA や BrowseComp など）は特定のタスクに特化しており、制約駆動型の実体検索、ドキュメント横断レポート作成、表形式の数値推論、技術文書への手続き的推論など、多様な「根拠に基づく推論（Grounded Reasoning）」タスクを網羅的に評価・学習するシステムが不足していました。
• 学習データの限界: 従来の合成データ生成は静的なドキュメントに依存しており、エージェントが動的に探索しながら生成する「根拠のある（grounded）」かつ「困難な」トレーニングデータの構築が難しかった。
• 強化学習（RL）の課題: 大規模な MoE（Mixture of Experts）モデルにおけるオンライン RL（例：GRPO）は、トレーニングエンジンと推論エンジンの不一致に弱く、安定化のために複雑なヒューリスティック（重要性重みのクリッピング等）が必要でした。また、単一タスク最適化では分布外（OOD）のタスクへの一般化が不十分でした。

2. 手法とアーキテクチャ (Methodology)

KARL は、強化学習を用いて企業検索エージェントを訓練する包括的なシステムです。

A. 評価ベンチマーク：KARLBench

6 つの異なる検索レジームを網羅する新しい評価スイート「KARLBench」を提案しました。

1. 制約駆動型実体検索: 複数の属性を満たす単一の実体を特定（BrowseComp-Plus）。
2. ドキュメント横断レポート合成: 分散した情報を統合してレポート作成（TREC-Biogen）。
3. 表形式数値推論: 長文書からの数値抽出と計算（FinanceBench）。
4. 網羅的実体検索: 条件を満たす全実体のリスト化（QAMPARI）。
5. 技術文書への手続き的推論: 技術ドキュメントからの解決策導出（FreshStack）。
6. 社内ノートからの事実集約: 非構造化の社内メモからの事実抽出（PMBench、社内ベンチマーク）。

B. エージェント合成パイプライン (Agentic Synthesis)

トレーニングデータの質と多様性を確保するため、エージェント自身がデータ生成を行うパイプラインを開発しました。

• 段階 I（質問・回答合成）: ベクター検索ツールを用いてコーパスを探索し、根拠に基づいた質問と回答を生成。
• 段階 II（解の合成とフィルタリング）: 複数のソルバーエージェントで回答を試行し、難易度（パス率）に基づいてフィルタリング。さらに品質フィルタエージェントが曖昧さや事実誤認を除去。
• イテレーティブ・ブートストラッピング: 能力が向上したエージェントを次のデータ合成に利用し、データ品質を継続的に向上させる。

C. 反復的バッチ・オフポリシー強化学習 (OAPL)

新しいポストトレーニング手法「OAPL (Optimal Advantage-based Policy Optimization with Lagged Inference)」を提案しました。

• オフポリシー学習: 大規模バッチでオフポリシーデータを収集し、損失関数を最小化することで、トレーニングと推論エンジンの不一致に頑健です。
• KL 正則化: 参照モデルからの乖離を制御しつつ、報酬を最大化する方策を学習します。
• マルチタスク学習: 異なるタスク（例：BrowseComp-Plus と TREC-Biogen）の損失を単純に結合することで、単一タスク最適化よりも優れた分布外一般化を実現します。
• コンテキスト圧縮: 長いロールアウトにおいて、エージェント自身が履歴を要約する「圧縮」ステップを RL 対象に含め、文脈管理も最適化します。

D. テスト時計算の拡張 (Test-Time Compute, TTC)

• Parallel Thinking: 並列に複数のロールアウトを生成し、アグリゲーターが統合して最終回答を導出。
• Value-Guided Search (VGS): 価値モデルを用いて、探索ツリーの中で最も有望な分枝を選択する探索手法。

3. 主要な貢献 (Key Contributions)

1. KARLBench の導入: 6 つの異なる検索能力を評価する包括的なベンチマークと、その上で SOTA（State-of-the-Art）を達成するエージェント。
2. 異種検索行動の一般化: 単一ベンチマークに最適化されたモデルよりも、多様な検索行動で訓練されたモデルの方が、分布外タスクへの一般化能力が大幅に高いことを実証。
3. エージェント合成パイプライン: 長期的な推論とツール使用を活用し、高品質で多様性のあるトレーニングデータを生成する自己改善型パイプラインの確立。
4. OAPL アルゴリズム: サンプル効率が高く、大規模 MoE モデルの安定したマルチタスク RL 学習を可能にする新しいオフポリシー RL パラダイム。

4. 結果 (Results)

• 性能: KARL は、Claude 4.6 や GPT 5.2 などの最新クローズドモデルと比較して、KARLBench においてコストと品質、レイテンシと品質のトレードオフ（パレート最適）で優位性を示しました。
• テスト時計算: 並列推論（Parallel Thinking）を 10 回実行することで、Opus 4.6 に匹敵する品質を達成し、さらにコストとレイテンシを大幅に削減しました。
• 一般化: 訓練時に含まれていなかった分布外タスク（OOD）においても、高い性能を発揮し、単一タスク RL や教師あり微調整（SFT）による蒸馏モデルよりも優れた汎化能力を示しました。
• 効率性: RL 訓練により、不要な検索ステップが削減され、より少ないトークン数で高精度な回答が可能になりました。

5. 意義と結論 (Significance)

この研究は、「カスタマイズされた合成データ」と「マルチタスク強化学習」の組み合わせが、コスト効率が高く、高品質な根拠に基づく推論エージェントを実現する有効な道であることを示しました。

• 実用性: 金融、法務、医療など、機密性の高い企業データや専門知識を必要とする分野において、ブラックボックス検索に依存せず、内部データに基づいた正確な推論を行うエージェントの実現可能性を証明しました。
• 技術的示唆: オンライン RL の複雑な安定化対策なしに、オフポリシー学習で大規模モデルを訓練できること、およびテスト時計算を組み合わせることで性能をさらにスケールアップできることを示しました。
• 将来展望: ベクター検索だけでなく、コード実行や構造化検索などのツールを拡張することで、さらに汎用的なエージェントへの発展が期待されます。

総じて、KARL は、企業規模のナレッジエージェントを構築するための新しいパラダイムを示し、コストと性能の両面で既存の最先端モデルを凌駕する可能性を提示しています。