技術要約: TOOLSELF

問題提起

現在の大規模言語モデル（LLM）を活用したエージェント・システムは、ドメイン特化型の性能とタスク横断的な汎用性の間の根本的な緊張関係に直面しています。既存のシステムは通常、エージェントの戦略、ツールボックス、コンテキスト管理、および推論スタイルを定義する静的な構成（実行前に固定されるもの）に依存しています。

• 特化 vs. 汎用: 強固なドメイン・プライア（事前知識）とコンパクトなツール空間は、特定のタスクにおける性能を向上させますが、転移性を弱めます。逆に、広範なツール空間とタスクに依存しないワークフローを持つ汎用エージェントは、カバー範囲を拡大しますが、ガイダンスの希薄化や長期的なパフォーマンスの低下を招くことがよくあります。
• 既存手法の限界: 従来のアプローチは、以下のような方法でこれを解決しようとしてきました：
  • 実行前最適化: オフラインで特化した構成を導出しますが、実行時の適応はできません。
  • プランナー・ワーカーのオーケストレーション: 計画と実行を分離しますが、情報の損失やクレジット割り当て（貢献度の特定）の断片化を招きます。
  • 構成パッチ適用: 外部モジュールを介して孤立した次元（例：コンテキストやツール）を変更しますが、システムレベルの変更を調整できないため、断片的な最適化に終わります。
• 核心的な課題: これらの手法は、適応と実行を切り離しているため、エージェントがリアルタイムのタスク進行やフィードバックに基づいて自律的に構成を更新することを妨げています。

手法: TOOLSELF

著者らは、タスク実行と実行時の自己再構成を単一の最適化可能なポリシー内に統合するパラダイムである TOOLSELF（Tool-driven Self-reconfiguration：ツール駆動型自己再構成）を提案しています。

1. 核心メカニズム: 統一されたアクション空間

TOOLSELFは、構成を固定された定数ではなく、動的でツールによって更新可能な状態として扱います。実行エージェント $\pi_i$ は、以下の構成 $C_i = (q_i, \sigma_i, T_i, K_i, m_i)$ の下で動作します：

• $q_i$: 現在のサブゴール。
• $\sigma_i$: 実行戦略。
• $T_i$: ステージ固有のツールボックス（グローバルプール内のサブセット）。
• $K_i$: ローカルな知識と制約。
• $m_i$: コンテキスト管理モード。

エージェントには、標準化された再構成ツール（$T_{reconfig}$）が備わっています。エージェントが現在の構成がタスクの要求と乖離している（例：戦略の失敗、知識の不足、またはサブゴールの完了）と判断した場合、$T_{reconfig}$ を呼び出します。このツールは以下の動作を行います：

1. 現在のステージの要約をグローバル履歴プールにアーカイブする。
2. 同一のポリシーが次の構成 $C_{i+1}$ を合成するためのガイドとなる構成生成仕様（$z_i$）を返す。

この設計により、構成の更新がエージェントのアクション空間内のネイティブなアクションとなり、サブゴール、戦略、ツール、およびコンテキスト管理の同時かつ包括的な更新が可能になります。

2. 学習フレームメント: 構成を意識した2段階学習 (CAT)

自己再構成をメタ能力として内面化するために、著者らはエンドツーエンドの学習フレームメントである CAT を導入しています。

• ステージ I: コールドスタート初期化 (RFT): 教師モデル（Qwen3-235B）によって生成された成功した軌跡（トラジェトリ）を用いた棄却サンプリング微調整（RFT）を使用します。ポリシーは、成功した結果に基づいた、有効なステージ軌跡と構成更新を生成することを学習します。
• ステージ II: 強化学習による洗練 (KTO): 軌跡レベルのバイナリフィードバックを用いたKahneman-Tversky Optimization (KTO) を採用しています。自己再構成の質は、ダウンストリームのタスク成功を通じてのみ観測可能であるため、最終的なタスクの結果（成功/失敗）に基づいて、軌跡内のすべての決定（実行および再構成）にクレジット割り当てが伝播されます。

主な貢献

1. TOOLSELF パラダイム: 構成の更新を標準化されたツールインターフェースとして抽象化し、実行と適応を単一のポリシーのアクション空間内に統合する新しいアーキテクチャ。これにより、手動で注入されたガイダンスなしでの、結合最適化と創発的な適応可能性を実現します。
2. CAT フレームワーク: エージェントにクロスステージの自己再構成を行うことを教え、ダウンストリームのタスク成功のために明示的に構成決定を最適化する、2段階の学習アプローチ（RFT + KTO）。
3. 統一された最適化: 適応と実行を併置することで、クロスモジュール間の情報損失を排除し、エンドツーエンドのクレジット割り当てを可能にし、長期的な計画策定や自己修正といった能力を促進します。

実験結果

著者らは、Qwen3-8B および Qwen3-14B モデルを用い、ディープリサーチ（FRAMES, xbench）、一般的なAIアシスタンス（GAIA, GAIA(WS)）、およびソフトウェアエンジニアリング（SWE-Lite）の5つのデータセットで TOOLSELF を評価しました。

• ゼロショット性能: CAT 学習なしのゼロショット状態でも、TOOLSELF はタスク特化型エージェント（WebSailor, SWE-Agent など）に匹敵しながら、強力なタスク横断的汎用性を維持しています。
• 学習による向上: CAT 学習後、TOOLSELF は静的な構成を持つベースラインに対して平均 28.8 ポイント の向上を達成しました。
  • Qwen3-8B において、平均精度は 16.5%（Vanilla Agent）から 45.3%（TOOLSELF + RFT + KTO）へと上昇しました。
  • FRAMES（Qwen3-14B）では 61.5% に達し、WebSailor (42.0%) や Co-Sight (46.0%) といった特化型ベースラインを上回りました。
• アブレーション研究:
  • 統合型 vs. 分離型: 統合された設計（統一ポリシー）は、別のLLMが構成を生成する分離型バリアントを大幅に上回り、きめ細かな実行コンテキストが効果的な再構成に不可欠であることを裏付けました。
  • コンポーネント分析: 知識転移とサブゴール計画が、長期的な推論において最も重要な構成次元であることが特定されました。
  • 効率性: TOOLSELF は、より深い探索を行ったにもかかわらず、Co-Sight のような特化型エージェントと比較して高いトークン効率を示しました。

意義と主張

本論文は、TOOLSELF がエージェント・システムにおける創発的な適応性への道を照らすものであると主張しています。手動で注入されたガイダンスを、学習可能な実行時の自己再構成に置き換えることで、システムは以下のことが可能になります：

• 多様なタスクや実行ステージに合わせて動的に特化しつつ、汎用的な柔軟性を維持する。
• 長期的な計画、自己洗練、自己修正といった高度な能力を内面化する。
• タスク固有の静的な構成や外部のオーケストレーターを必要とせずに、複雑なベンチマークで最先端の性能を達成する。

著者らは、このアプローチが構成を静的な制約ではなく学習可能な動的変数にすることで、特化と汎用のトレードオフを解決し、エージェントが軌跡レベルのフィードバックを通じて「適応することを学ぶ」ことを可能にすると強調しています。