技術的サマリー：Uno-Orchestra

問題定義

現在の大規模言語モデル（LLM）マルチエージェントシステムは、通常、タスク分解、ワーカー選択、推論予算を統合的に最適化できない硬直的なオーケストレーションパターンに依存しています。既存のアプローチは、一般的に以下の 2 つの並行するが限定的な流れに分類されます：

1. モデルルーティング：単一呼び出しのルーターは、クエリ全体を単一の専門家モデルに配信します。このアプローチは、複雑なタスクの並列構造を見落とし、分解の深さと実行予算の間でトレードオフを行うことができません。
2. 階層的オーケストレーション：プランナーはタスクをサブエージェントに分解しますが、サブタスクを特定のエクゼキューターに割り当てる作業は、多くの場合、手作業で設計され、プロンプト駆動であるか、単一の独自最先端モデルに紐付いています。

その結果、「タスクを分解するかどうか・どの程度深く分解するか」という 2 つの重要な決定と、「各サブタスクをどの専門家へルーティングするか」という決定が、統一的な目的関数のもとで最適化されていません。これにより、単純なクエリが過剰にオーケストレーションされたり、複雑なタスクが最適ではないモデルへルーティングされたりする非効率が生じます。

手法：Uno-Orchestra

著者らは、選択的委任を単一の因果言語モデル（LM）タスクとして扱う統合オーケストレーションポリシーであるUNO-ORCHESTRAを導入します。このシステムは、単一のアシスタントターン内で、タスク分解計画と、すべてのサブタスクに対する特定の(モデル、プリミティブ)ルーティング決定を同時に生成することを学習します。

コアアーキテクチャ

• 統合ポリシー：分離されたプランナーとディスパッチャーモジュールの代わりに、単一の因果 LM バックボーンが、分解グラフとルーティングペアを同時に生成します。
• アクション空間：ポリシーは、$\mathcal{M}$（異種ワーカーモデルのプール）と$\mathcal{S}$（直接回答、連鎖思考推論、ツール呼び出し、コード実行などの原子行動の「プリミティブ」の閉じた語彙）の積集合$\mathcal{M} \times \mathcal{S}$からなる許容ペアの疎な集合$P \subseteq \mathcal{M} \times \mathcal{S}$から選択します。
• 選択的委任：ポリシーは、単純なクエリを単一の直接回答に集約（ゼロ配信コスト）したり、複雑なクエリをサブタスクの有向非巡回グラフ（DAG）に分解したりできます。独立したサブタスクは並列で配信されます。

学習パイプライン

ポリシーは、実世界のワーカー相互作用を用いて 2 段階で学習されます：

1. 検証者ゲート付き教師あり微調整（SFT）：

   • 38 の公開データセットから構築された 61,201 の教師蒸留軌跡のカリキュラムが作成されます。
   • 「検証者ゲート」メカニズムが軌跡をフィルタリングします：コールドスタートルーターによって解決されたタスクは破棄され、強力な教師オーケストレーターによって解決されたタスクは SFT 用に保持され、教師が失敗したタスクは強化学習（RL）用に予約されます。
   • 重要なのは、コードおよびツールサブタスクが実際のサンドボックスで実行され、観測値がシミュレートされたトレースではなく、ランタイム出力であることを保証している点です。

2. Agentic-GRPO（強化学習）：

   • ポリシーは、「残差ハードプール（教師が失敗したタスク）」に対して、グループ相対方策最適化（GRPO）のマルチターン拡張であるAgentic-GRPOを用いて洗練されます。
   • 中間クレジット割り当て：全体軌跡に単一の報酬を割り当てる従来の GRPO と異なり、Agentic-GRPO は個々のターン粒度でクレジットを帰属させます。これは、スキーマの有効性や修復インジケーターなどの有界なターンごとの成形信号をターミナル報酬に付加することで、長期的なクレジット割り当て問題を解決します。
   • 目的：コントローラーは、ソース固有の検証者によって検証される正しさとトークンレベルのコストをトレードオフするユーティリティ関数$J(\theta)$を最大化し、冗長な配信を罰します。

主要な貢献

1. 統合された選択的委任：タスク分解とサブタスクごとのルーティングを単一の因果 LM ポリシーとして定式化し、分離されたモジュール間の冗長なコンテキスト受け渡しを排除します。
2. Agentic-GRPO：マルチターンオーケストレーションのための構造化されたクレジット割り当てを可能にするエージェント適応型 RL 目的関数の導入により、モデルは中間観測に基づいて、いつ修復、分解、または集約を行うかを学習できます。
3. 検証者ゲート付きカリキュラム：実世界のサンドボックス実行と厳格な検証を活用して高品質でコスト意識のある軌跡を生成する学習パイプラインにより、ポリシーが実際のランタイム結果から学習することを保証します。

実験結果

著者らは、数学的推論、コード/ソフトウェア工学、知識検索、長文脈読解、エージェント的ツール使用という 5 つの能力ドメインにまたがる 13 のベンチマークスイートで UNO-ORCHESTRA を評価しました。

• 性能：UNO-ORCHESTRA は77.0% のマクロ pass@1を達成し、最強のワークフローベースライン（AgentOrchestra）よりも約16% 高い性能を示しました。
• 効率性：このシステムは、より高い精度を維持しながら、クエリあたりのコストをベースライン（約 1.20 ドル）に対して約1 桁低い（約 0.10 ドル）レベルで動作します。
• コスト - 精度フロンティア：この手法は、精度と効率性のトレードオフにおいて有利な領域を占め、分解できないフラットルーターと、分解から逃れられない階層的オーケストレーターの両方を上回ります。
• 汎化性：性能の向上は、ドメイン内、ニアドメイン、ドメイン外の設定すべてで維持されます。アブレーション研究により、改善は特定の最先端モデルへの依存ではなく、学習されたルーティングポリシーに起因することが確認されました。システムは、オープンウェイトモデルの「より弱い」プールに制限された場合でも、ベースラインを上回ります。

意義と主張

本論文は、単一の目的関数のもとで分解を行うことと分解を控えることの両方を行う能力である選択的委任が、コスト意識のあるマルチエージェントシステムを進展させるための重要な組織原理であると主張しています。

• 構造的効率性：分解と配信を単一の共有バックボーンに集約することで、Uno-Orchestra はモジュール式システムに固有の調整オーバーヘッドを回避します。
• 動的適応：システムは、単純なクエリに対しては分解を「控えて」（単一の安価なワーカーに集約し）、真に複合的なタスクに対してのみマルチ呼び出しオーケストレーションを予約することを学習します。
• スケーラビリティ：このアプローチは、高精度が高価で単一のワークフローを必要とするものではなく、タスクの複雑さに基づいて異種リソースを動的に割り当てる学習されたコントローラーから生み出されることを示しています。

著者らは、Uno-Orchestra が精度と効率性のフロンティアを前進させ、コントローラーが単に多くのワーカーを呼び出すのではなく、適切なワーカーを選択するために容量を割り当てるスケーラブルなパラダイムを提供すると結論付けています。