技術的概要：エージェント型 AI システムの構成学習（ARC）

問題定義

大規模言語モデル（LLM）に基づくエージェントシステムの構成には、ワークフロー、ツール、トークン予算、プロンプトからなる広大な組み合わせ設計空間からの選択が伴います。現在の手法は、クエリの難易度に関係なく固定された構成を適用する静的なヒューリスティックや「何でもあり（kitchen sink）」戦略に依存しています。この「万能型」アプローチは、以下の 2 つの主要な問題を引き起こします：

1. 性能の低下：長いコンテキストは、モデルが関連情報に注意を向けられない「真ん中忘れ（lost-in-the-middle）」現象にしばしば見舞われます。
2. 非効率性：静的なシステムは、些細なクエリに対して重く反復的なワークフロー（例：ウェブ検索を伴うマルチホップ推論）を適用することで計算リソースを浪費し、不要な遅延とコストを招きます。

核心的な課題は、設計空間が過大であり、蛮力的な探索や手動の調整には適さない点です。例えば、いくつかのワークフローパターン、ツール、予算レベルを持つ modest なシステムでも、数万件の構造的構成を生み出す可能性があり、プロンプトのバリエーションを含めると $10^5$ を超えます。さらに、エージェントワークフローは原子行動ではなく、可変の持続時間とコストを持つ時間的に拡張されたプロセスであるため、標準的なマルコフ決定過程（MDP）の定式化では不十分です。

手法：ARC（Agentic Resource & Configuration learner）

著者は、エージェント構成を半マルコフ決定過程（SMDP）として定式化する階層強化学習フレームワークARCを提案します。この定式化において、各構成は、エージェントシステムがクエリを処理する方法を決定する時間的に拡張された「オプション」として機能します。

1. SMDP 定式化

標準的な MDP では行動が固定された持続時間を持つのに対し、ARC は構成を、可変の実行時間（LLM 呼び出し回数）とコストを持つオプションとしてモデル化します。

• 状態（$S$）：クエリの意味的埋め込みと、手作業で設計された特徴量（例：クエリの長さ、数値密度）の連結。
• オプション（$O$）：各オプションは完全な構成 $(\omega, t, b, p)$ を表します。ここで $\omega$ はワークフロー、$t$ はツール、$b$ はトークン予算、$p$ はプロンプトです。
• 報酬：正解性とコストのバランスを取る効用関数：$U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$。報酬には、トークン使用量、実行時間、持続時間（LLM 呼び出し回数）に対するペナルティが含まれます。

2. 階層方策分解

組み合わせの複雑さを管理するため、方策 $\pi_{arc}$ は 2 段階に分解されます：

• 構造方策（$\pi_{struct}$）：ワークフローのトポロジー、ツールの割り当て、予算の階層を選択します。
• プロンプト方策（$\pi_{prompt}$）：構造的選択に基づき、意味的フラグメントのライブラリから特定のプロンプト指示を自己回帰的に構成します。
• 行動マスキング：構造的無効性（例：シングルエージェントの「Direct」ワークフローにツールを割り当てるなど）に対処するため、システムはトレーニング中に無効な構成を剪定する行動マスキングを適用します。

3. トレーニングパイプライン

トレーニングプロセスは、強化学習（RL）と教師あり微調整（SFT）を組み合わせます：

1. RL フェーズ：設計空間を探索するために、整形された報酬を用いた Proximal Policy Optimization（PPO）を使用します。報酬関数は、正解性、ステップペナルティ、トークンペナルティ、ツールの整形（ツールの割り当てと実際の使用の不一致に対処するため）の項に分解されます。
2. SFT 微調整：RL が収束した後、システムは「エリート」軌道（正解で高報酬のもの）をリプレイバッファからフィルタリングします。その後、教師あり微調整フェーズで、これらの成功した戦略を方策ネットワークに蒸留します。このステップは学習を安定化し、分散を減少させ、性能の下限を提供します。

4. 理論的保証

本論文は 2 つの理論的結果を確立します：

• 収束：SMDP 定式化は一意の最適価値関数 $Q^*$ を許容し、RL ターゲットが適切に定義されていることを保証します。
• 方策の集中：SFT フェーズは、最終方策が高報酬構成に集中することを保証し、最小性能閾値を確保します。

主要な貢献

1. SMDP 定式化：著者はエージェント構成を SMDP 問題として提示し、ワークフローを時間的に拡張されたオプションとして扱うことで、可変な計算フットプリントを自然に処理します。
2. ARC フレームワーク：基盤 LLM を更新することなく、ワークフロー、ツール、予算、プロンプトといったクエリ固有の構成を動的に選択する軽量な階層方策の導入。
3. ハイブリッドトレーニング：スパースな報酬下での学習を安定化し、一貫性を向上させるため、エリート軌道におけるマスク付き PPO と SFT を組み合わせたパイプライン。
4. 実証的検証：クエリごとの構成学習が静的な設計に優る代替手段であることを示す広範な実験。

実験結果

著者は、Qwen 2.5 7B および Gemini 2.5 Flash Lite を使用して、推論、ツール使用、エージェントベンチマークにおいて ARC を評価しました。

• 推論タスク：ARC は、予算一致のツール拡張 LLM に対して、平均推論精度を**31.3%**向上させました。GSM8k において、ARC は 88.6% の精度を達成し、GEPA（83.6%）や RL Episodes（85.2%）といった強力なベースラインを上回りました。
• ツール使用タスク：ARC はツール使用精度を**13.95%**向上させました。HotpotQA において、AutoGen（34.1%）と同等の性能を示し、最強の RL ベースラインを 6.3% 上回りました。
• エージェントタスク：$\tau$-Bench（航空会社）において、ARC は Pass$^1$ 成功率を**9.0% から 18.0%**に倍増させました。一方、固定プロンプト最適化（DSPy）は性能を低下させました。
• 効率性：ARC は、精度とコストのトレードオフにおいてパレート最適領域を占め、固定または検索ベースのベースラインと比較して、低コストで高い精度を達成しました。
• 一般化：学習された方策は、推論タスク間（例：GSM8k から DROP へ）で中程度の転移性を示し、モデルサイズ間（7B から 72B へ）でゼロショットスケーリングが可能でした。これは、構造的な事前知識がスケールに対してほぼ不変であることを示しています。

意義と主張

本論文は、クエリごとのエージェント構成の学習が「万能型」設計に対する強力な代替手段であると主張しています。この研究の意義は、以下の点を実証していることにあります：

• 適応性：エージェントシステムは、タスクの難易度に応じて計算フットプリントを動的に適応させ、精度と効率性のバランスを取ることができます。
• スケーラビリティ：軽量なコントローラーは、基盤 LLM を再トレーニングすることなく、広大な組み合わせ設計空間を効果的に管理できます。
• 実用性：RL 探索と SFT 微調整の組み合わせは、複雑なエージェントアーキテクチャを探索するための実行可能な方法を提供し、柔軟かつ計算効率の高い LLM ベースのエージェントシステム構築に向けた実用的な方向性を示しています。

著者は、プロンプトの意味は知識集約型ドメインにおいて支配的となり得るものの、ARC が提供する構造的な最適化は、リソース配分や複雑な多段階相互作用の処理において依然として不可欠であると強調しています。