💬 NLP

Recursive Agent Optimization

本論文は、エージェントがサブタスクを自分自身に再帰的に委任するように訓練する強化学習フレームワークである再帰的エージェント最適化（RAO）を導入し、これにより訓練効率の向上、コンテキスト制限を超えたスケーラビリティの実現、および分割統治戦略による複雑な問題への汎化能力の向上を可能にします。

原著者： Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少し忘れっぽい個人秘書を想像してください。4 人家族の京都への 3 日間旅行の計画を立てる、あるいは 100 万冊の図書館に隠された特定の事実を見つけるなど、巨大で複雑な仕事をその秘書に与えます。

もしこの仕事を単一の秘書に任せた場合、2 つの問題が発生し得ます：

圧倒される： 指示が長すぎて、計画の終わりに到達する頃には、冒頭の内容を忘れてしまいます。
行き詰まる： 一度に処理するには仕事が大きすぎるため、諦めてしまったり、ミスを犯したりします。

この論文は、再帰的エージェント最適化（Recursive Agent Optimization: RAO） と呼ばれる、これらの秘書を訓練する新しい方法を紹介します。単一の秘書にすべてを一人でやらせるのではなく、RAO は彼らにスーパーパワーを教えます。それは自分自身をクローンする能力です。

以下に、簡単なアナロジーを用いてその仕組みを説明します。

1. 「クローン軍」戦略

従来の方法では、秘書がトピックを調査する必要がある場合、長い一続きの文章をすべて読み進めていました。テキストが長すぎると、詳細を見逃してしまいます。

RAO では、メインの秘書（彼女をマネージャーと呼びましょう）は大きなタスクを見て、「これを一度に頭の中に保持するには大きすぎる。分割しよう」と言います。

そして彼女は、自分自身のクローンであるサブエージェントを生成します。

マネージャー： 「お前、サブエージェント A、最高の桜の名所を探せ。」
マネージャー： 「お前、サブエージェント B、静かなお寺と子供向けのアトラクションを探せ。」
サブエージェント B： 「待て、一度に両方はできない。自分のクローンを作ろう！サブエージェント B1、お寺を探せ。サブエージェント B2、アトラクションを探せ。」

これにより、作業者の木構造が生まれます。各作業者は、パズルの小さくて管理しやすい部分にのみ集中すればよく、プロジェクト全体の履歴を記憶する必要はありません。彼らが記憶すべきは、自分自身の具体的な小さなタスクだけです。

2. 「チームボーナス」システム（学習方法）

この論文の大きな画期的な点は、単にクローンを使うことではなく、それらを使うためにどのように訓練するかにあります。

ポイントがもらえるビデオゲームを想像してください。

従来の方法： ゲーム全体をクリアした場合にのみポイントがもらえます。最初のレベルで素晴らしい動きをしても、最終ボスを倒せなければ、ポイントはゼロです。これでは、序盤のレベルを上手にプレイする方法を学ぶのが困難になります。
RAO の方法： 以下の 2 つに対してポイントがもらえます。
1. あなたが自分の特定の小さなタスクを解決しましたか？（例：お寺を見つけましたか？）
2. あなたが雇った人々（あなたのサブクローン）が彼らのタスクを解決しましたか？

もしマネージャーが失敗したサブエージェントを雇った場合、マネージャーには「委任ペナルティ」が課されます。もし成功したサブエージェントを雇った場合、マネージャーには「委任ボーナス」が与えられます。

これにより、マネージャーは 2 つの重要な教訓を学びます。

いつクローンを作るか： 小さなタスクではクローンを作らないこと（時間の無駄になる）。タスクが大きすぎる時に作ること。
どのようにクローンを作るか： クローンが成功できるよう、明確な指示を与えること。

3. 結果：論文が見つけたもの

研究者たちは、この手法を 3 種類の「困難な仕事」でテストしました。

「クラフト」ゲーム（TextCraft-Synth）： マインクラフトのようなゲームを想像してください。そこでは、多くの小さなアイテムを組み合わせることで、ハチミツの巣のような複雑なアイテムを構築する必要があります。
- 結果： RAO 訓練を受けたエージェントは、単一のエージェントでは処理しきれないほど複雑なアイテムを構築できました。単一エージェント版が完全に失敗した「ハード」レベルのパズルさえも解決できました。
- 速度： クローンがクラフトの異なる部分を同時に作業できるため（例えば、一人が木材を切り、もう一人が塗装するなど）、実際の時間では単一エージェントよりもはるかに早く仕事を完了しました。ただし、合計の「ステップ数」は増加しました。
「長い本」テスト（Oolong-Real）： 55,000 語の本から特定の文を見つけるよう秘書に依頼すると想像してください。ただし、秘書は一度に「読める」のは 32,000 語までです。
- 結果： 単一の秘書は本全体を読めないため、推測したりトリックを使ったりせざるを得ませんでした。RAO エージェントは本をチャンク（断片）に分割し、各チャンクを異なるクローンに与え、その後答えを組み合わせました。これにより問題を完璧に解決し、単一エージェントの失敗と対照的でした。
「深掘り調査」テスト（DeepDive）： インターネットを検索し、5 つの異なるウェブサイトを読み、情報を結びつけることで、特定の歴史的な事実を見つけるよう秘書に依頼すると想像してください。
- 結果： RAO エージェントは調査をステップ（検索、検証、統合）に分解して委任することを学びました。単一エージェントよりもはるかに正確でしたが、ステップが互いに依存しているため（互いに依存する 2 つの事実を全く同時に検索することはできない）、時間がかかりました。

大きな教訓

この論文は、単にクローン化のような凝ったツールを作り、AI がそれらの使い方を自分で見つけてくれるのを待つべきではないと主張しています。代わりに、AI にそれらのツールを使うように特別に訓練すべきです。

AI に大きな問題を小さな問題に分割し、それらを自分自身のクローンに委任し、クローンが良く働いた場合に報酬を与えるように教えることで、AI は以下のようになります。

難しい問題に強くなる： 記憶容量を超えた課題にも取り組めるようになります。
並列タスクが速くなる： 同時に多くのことを実行できるようになります。
学習が上手くなる： 最終結果だけでなく、すべての小さなステップに対してフィードバックを得るため、学習が速くなります。

要約すれば、RAO は、圧倒されてしまう単一の作業者を、単独では決して処理できなかった問題を解決できる、よく組織化された自己管理型のチームへと変えるのです。

技術的概要：再帰的エージェント最適化（RAO）

問題定義

大規模言語モデル（LLM）エージェントは、長い時間軸、実質的な作業記憶、および大規模な探索を伴う複雑な現実世界のタスクにますます展開されている。多くのそのようなタスクは自然に分治戦略に適しているが、既存の再帰的およびマルチエージェントシステムは、通常、再帰を事前学習済みモデルを包み込む静的な推論時の足場として扱っている。これらのシステムでは、モデル自体が、いつ委任が有益かを決定し、いかに効果的なサブタスクを策定し、実行レベル間をいかに通信し、サブエージェントの出力をいかに結合するかについて訓練されていない。その結果、再帰的推論を固定されたアーキテクチャ制約ではなく、学習されたプリミティブとして効果的に活用するモデルの訓練にギャップが存在する。

手法：再帰的エージェント最適化（RAO）

著者は、再帰的エージェントのエンドツーエンド訓練のために設計された強化学習（RL）アプローチである再帰的エージェント最適化（RAO）を導入する。オーケストレーション方式を固定する先行研究とは異なり、RAO は、動的に生成された実行ツリーのすべてのノードでインスタンス化される単一の共有方策（ $\pi_\theta$ ）を訓練する。

1. エージェントの定式化と推論

エージェントは、自然言語推論と Python REPL でのコード実行を交互に行う環境で動作する。行動空間には、非同期関数 launch_subagent(goal, ...) が含まれるように拡張される。

動的実行ツリー: タスク $X$ を解決する際、方策は委任されたサブタスク $X_1, \dots, X_n$ に対してゼロまたは複数の子エージェントを生成できる。これらのサブタスクの数と内容は、方策自体によって選択される。
並行性: 親エージェントは、タスクの依存関係に応じて、asyncio.gather を使用して子を逐次的または並行的に起動できる。
有界性: 再帰深度とエージェントインスタンスあたりの環境ステップ数に明示的な制限を設け、計算の有界性を確保する。

2. 報酬設計（ローカルノード報酬）

RAO は、実行ツリー全体にわたるクレジット割当てを改善するためにローカル報酬構造を採用する。タスク $X$ に対応し、軌道 $\tau_X$ と即時の子 $C(X)$ を持つノードに対する報酬は、以下のように定義される：
$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$

$\tilde{s}(X, \tau_X)$ : 現在のノードの成功シグナル。局所的な監督が利用できない場合、正確な検証、LLM ジャッジ、またはプロキシ（例：ルートタスクの成功）から導出される。
委任ボーナス: 第二項は、即時の子の成功率に基づいてエージェントに報酬を与える。パラメータ $\lambda$ はこのボーナスの強度を制御する。
根拠: この設計は、単に多くの子を生成するのではなく、生産的な委任を促す。特にルートタスクの成功が稀な訓練の初期段階において、密な監督シグナルを提供する。

3. 方策最適化

目的は、ルートタスクおよび方策によって生成された子孫の両方にわたって共有方策を最適化することである。目的関数 $J(\theta)$ は、再帰的ロールアウトのすべての深度 $d$ にわたる期待報酬を合計する：
$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$

カリキュラム効果: 再帰的構造は、自然に難易度の異なる関連タスクを生成し、暗黙的なカリキュラムを作成する。ここで、サブタスクはルートタスクよりも単純または構造化されていることが多い。
アドバンテージ推定: 深度ごとに軌道の数が異なることを処理するために、著者はルートロールアウト報酬から計算されたリーヴ・ワン・アウト（leave-one-out）ベースラインを使用する。
深度レベル重み付け: より深いレベル（指数関数的に多くの軌道を含む可能性がある）による最適化の支配を防ぐために、深度レベルの逆頻度重み付けが適用される。過剰に表現された深度からの軌道は、全体の更新スケールを維持するために重み付けが下げる。

主要な貢献

再帰的エージェントのエンドツーエンド訓練: RAO は、動的に生成された再帰ツリーのすべてのノードにわたって単一方策を共同訓練し、モデルにいつ、どのように委任するかを教える最初の手法である。
新規報酬メカニズム: 委任ボーナスを備えたローカルノード報酬の導入により、深い再帰構造における効果的なクレジット割当てが可能になり、方策を単なる量ではなく委任の品質と整合させる。
スケーラブルな推論プリミティブ: このアプローチは、再帰的エージェントがモデルのコンテキストウィンドウを超えるタスクにスケーリングし、訓練中に経験した問題よりもはるかに難しい問題に一般化できることを示している。
効率性の向上: この手法は、単一エージェント訓練と比較して訓練効率の向上を示し、並列化可能なタスクの実行時間を削減できる。

実験結果

著者は、RAO を 3 つのベンチマークで評価した：TEXTCRAFT-SYNTH（合成クラフトタスク）、OOLONG-REAL（長文脈ドキュメント集約）、およびDEEPDIVE（マルチホップ Web 検索による深層研究）。

コンテキストウィンドウの拡張: TEXTCRAFT-SYNTH において、8K コンテキストウィンドウで訓練された再帰的エージェントは、ハードタスクで 95% の成功率を達成し、40K コンテキストで訓練されたモデルのパフォーマンスに匹敵した。一方、8K コンテキストの単一エージェントベースラインは、ハードタスクで完全に失敗した。同様に、OOLONG-REAL において、再帰的エージェントは 32K の制限で訓練されたにもかかわらず、175K トークンまでの入力を処理したが、単一エージェントは完全な入力を読み取ることができなかった。
より難しいタスクへの一般化: 中程度の難易度の TEXTCRAFT-SYNTH タスクのみで訓練されたエージェントは、ハードタスクに対して 88% の成功率で一般化したのに対し、単一エージェントベースラインは 20% にとどまった。
訓練効率: 再帰的エージェントは、すべてのベンチマークで構造化されたサブエージェント報酬が密なプロセス報酬として機能し、自己誘発カリキュラムが作用した結果、単一エージェントベースラインよりも著しく速く学習した。
ウォールクロック時間: 並列化可能なタスク（TEXTCRAFT-SYNTH）において、再帰的エージェントはハードタスクで単一エージェントと比較して最大 2.5 倍のウォールクロック時間を削減した。逐次的なタスク（DEEPDIVE）では、サブタスクの逐次的性質によりウォールクロック時間は増加したが、成功率は 0.24 から 0.40 に向上した。
適応的委任: エージェントは、タスクの難易度に応じて委任深度を適応させることを学習し、推論中に明示的な深度制約なしに、より難しい問題に対して最大 10 レベルまでの深いツリーにスケーリングした。

意義と主張

本論文は、再帰的エージェント最適化が、推論時の足場の活用方法における転換点を表すと主張している。固定されたモデルの周りに足場を設計するのではなく、モデルがそれを効果的に使用するように訓練されるべきである。RAO は、再帰が以下の点を提供する強力な推論時のスケーリングプリミティブであることを示している。

サブエージェントのための新鮮なコンテキストウィンドウによる、実質的な作業記憶の拡張。
より難しい問題に一般化する分治構造。
テスト時の計算の適応的割り当て。
並列実行の機会。

著者は、RAO を、自らの問題解決プロセスを動的に構造化できる「自己組織化エージェント」への一歩として位置づけている。彼らは、実験が特定のドメインに焦点を当てているが、このアプローチは、複雑な推論時の構造を活用するエージェントを訓練するためのより広範な原理を示唆していると指摘している。今後の課題として、高価なロールアウトに対する代理サンプリング手順の対応や、質的に異なるド間で委任戦略を転移できる汎用的な再帰的エージェントの訓練が必要であると特定されている。