技術要約：効果的なプランニングとツール利用のための、イン・ザ・フロー（In-the-Flow）型エージェンティック・システムの最適化

問題提起

結果駆動型の強化学習（RL）は、大規模言語モデル（LLM）の推論能力を著しく向上させてきたが、既存のツール拡張型アプローチは重大な限界に直面している。既存手法の多くは、単一のモノリシックなポリシーを訓練し、フルコンテキストの下で推論とツール呼び出しを交互に行わせるものである。このアーキテクチャは、長い推論ホライゾンや多様なツールセットに対してスケーラビリティに乏しく、しばしば訓練の不安定性や未知のシナリオへの汎化性能の低下を招く。

対照的に、エージェンティック・システム（Agentic Systems）は、タスクを専門化されたモジュール（プランナー、エグゼキューター、クリティックなど）に分解することで、有望な代替案を提示している。しかし、現在のエージェンティック・システムの多くは、手作業によるロジックや静的なプロンプティング・ヒューリスティクスに依存した、訓練を行わない手法である。訓練を採用しているものであっても、通常は静的なデータセットに対するオフラインの教師あり微調整（SFT）や選好最適化を用いている。これらのオフポリシーのアプローチは、マルチターン相互作用のライブなダイナミクスから切り離されており、モジュールが進化するツールの出力にどのように適応すべきか、あるいは初期のミスからどのように回復すべきかを捉えることができない。その結果、エージェンティック・システムは、動的な環境における疎な報酬、脆弱な適応力、および非効率なオーケストレーションという課題に直面する。

手法：AGENTFLOW および Flow-GRPO

著者らは、マルチターン相互作用のループ内で直接プランニングとツール利用を最適化するために設計された、訓練可能な「イン・ザ・フロー（in-the-flow）」型のエージェンティック・フレームワークである AGENTFLOW を導入する。

1. AGENTFLOW アーキテクチャ

AGENTFLOWは、共有される進化するメモリ（$M$）とツールセット（$K$）を通じて、4つの専門化されたモジュールを調整する。

• プランナー（Planner, $P$）: サブゴールを策定し、ツールを選択し、メモリからコンテキストを抽出する、訓練可能なポリシー（$\pi_\theta$）。
• エグゼキューター（Executor, $E$）: 選択されたツールを呼び出し、実行結果（$e_t$）を返す。
• ベリファイア（Verifier, $V$）: 実行の妥当性と、蓄積されたメモリがクエリを解決するのに十分であるかを評価し、バイナリ信号（$v_t$）を生成する。
• ジェネレーター（Generator, $G$）: 終了時に最終的な解を生成する。

モノリシックなモデルにおける潜在的な思考プロセスとは異なり、AGENTFLOWは、推論プロセスを記録する明示的、決定的、かつ構造化されたメモリを保持する。これにより、透明性、制御可能な挙動、および限定されたコンテキストの成長が保証される。システムは、プランナーがライブループ内でオンポリシーで最適化されるマルチターン・マルコフ決定過程（MDP）として機能する。

2. Flow-based Group Refined Policy Optimization (Flow-GRPO)

疎な軌跡レベルの報酬に起因する複雑な長期間のクレジット割り当て問題を解決するために、著者らは Flow-GRPO を提案する。これは、複雑なマルチターンRLの課題を、一連の扱いやすいシングルターン更新へと変換するオンポリシー・アルゴリズムである。

• 軌跡レベルの報酬ブロードキャスト: 脆い中間報酬を割り当てる代わりに、システムは全軌跡に対して単一の検証可能な最終結果報酬（$R(\tau)$）を割り当てる。この報酬は、ロールアウト内のすべてのターン（$t$）にブロードキャストされる。
• シングルターン分解: 全体の成功シグナルを各ターンにブロードキャストすることにより、マルチターン最適化は実質的に独立したシングルターン・ポリシー更新へと分解される。各ターンにおいて、プランナーは（メモリを介して）完全な履歴コンテキストにアクセスでき、グローバルな成功に整合した一貫した報酬シグナルを受け取る。
• グループ正規化アドバンテージ: 訓練を安定させ分散を抑えるために、このアルゴリズムはグループ正規化アドバンテージを使用する。$G$ 個の並列ロールアウトのグループに対して、特定の軌跡のアドバンテージは、グループの報酬の平均および標準偏差に対して正規化することによって計算される。

目的関数は、参照ポリシーに対するKLダイバージェンス・ペナルティを伴うクリップされたサロゲート目的関数（PPOと同様）を利用して、並列ロールアウトにおける期待リターンを最大化する。

主な貢献

1. AGENTFLOW フレームワーク: マルチターンループ内で直接プランナーを最適化する、訓練可能なエージェンティック・システム。進化するメモリを介して専門化されたモジュールを調整することで、適応的な長期間のプランニングと堅牢なツール・オーケストレーションを可能にし、モノリシックな推論モデルと静的なエージェンティック・システムの間の溝を埋める。
2. Flow-GRPO アルゴリズム: マルチターンRLを一連のシングルターン更新に変換する、オンポリシーかつ結果駆動型のアルゴリズム。検証可能な軌跡レベルの結果をすべてのターンにブロードキャストし、グループ正規化アドバンテージで学習を安定させることで、クレジット割り当て問題を解決する。
3. 包括的な実証実験: 10の多様なベンチマークにおける広範な実験により、7Bパラメータのバックボーンを持つ AGENTFLOW が、特化したベースラインや、より大規模なプロプライエタリ・モデルをも凌駕することを実証した。

実験結果

著者らは、知識集約型の検索、エージェンティックな推論、数学的推論、および科学的推論にわたる10のベンチマークで AGENTFLOW を評価した。

• 性能向上: AGENTFLOW（7Bバックボーン）は、トップクラスのベースラインと比較して、検索タスクで平均 14.9%、エージェンティック・タスクで 14.0%、数学的タスクで 14.5%、科学的タスクで 4.1% の精度向上を達成した。
• プロプライエタリ・モデルとの比較: 特筆すべきことに、7Bスケールの AGENTFLOW システムは、すべてのドメインにおいて約200Bパラメータの GPT-4o を上回り、その差は 8.2% から 18.0% に及んだ。
• アブレーション研究:
  • 訓練戦略: 固定されたプランナーをより強力なモデル（GPT-4o）に置き換えると、わずかな向上しか得られなかった。逆に、GPT-4o の軌跡を用いたオフライン SFT は壊滅的な性能低下（19.0% の低下）を引き起こしたが、イン・ザ・フローの Flow-GRPO 訓練は、固定ベースラインに対して 17.2% の向上をもたらした。
  • スケーリング: バックボーンを 3B から 7B パラメータにスケールアップしても、性能向上は一貫していた。さらに、最大許容ターン数（$T_{max}$）を 3 から 10 に増やすことで、アウトカムが一貫して改善され、問題の複雑さに応じてターン割り当てを適応させるシステムの能力が検証された。
• 定性的分析: ケーススタディにより、Flow-GRPO がプランナーに以下のことを可能にすることが明らかになった：
  • ツールの選択の最適化（例：ドメイン固有のタスクに対して、一般的な検索から特定のウェブ検索への切り替え）。
  • エラーからの回復（例：コード実行ループにおける変数名の問題の修正）。
  • 新しい解決経路の発見（例：初期の失敗後に戦略的にツールを切り替える）。

重要性と主張

本論文は、イン・ザ・フローの最適化が効果的なエージェンティック・システムにとって極めて重要であると主張している。Flow-GRPO を用いて、ライブなマルチターンループ内で直接プランナーを訓練することで、システムは長期間のワークフローを処理し、動的なツールのフィードバックに適応し、累積するエラーから回復する方法を学習する。これらは、オフラインの訓練手法では捉えきれない能力である。

著者らは、適切に設計されたエージェンティック・システムであれば、比較的規模の小さい 7B パラメータのバックボーンであっても、大幅に大規模なモノリシック LLM よりも優れた、かつ効率的なパフォーマンスを提供できることを、本アプローチが示していると断言している。これは、複雑な推論の成功においては、純粋なモデルの規模よりも、アーキテクチャと訓練手法（具体的には、モジュールの分解とオンポリシーのフロー最適化の組み合わせ）の方がより重要な要因であることを示唆している。本研究は、訓練可能なイン・ザ・フローの最適化が、プランニングの向上、ツール呼び出しの信頼性の強化、およびポジティブなスケーリング傾向をもたらすことを証明し、エージェンティック・システムにおける新たな最先端（SOTA）を確立した。