技術要約：エージェントはオープンワールドへ汎化できるか？

1. 問題の定式化

大規模言語モデル（LLM）エージェントは、教師あり微調整（SFT）や強化学習（RL）を用いた静的なベンチマークでは高い習熟度を示すが、その実世界への展開は、オープンな環境における非定常性によって阻害されている。現在のベンチマークの多くは、トレーニング時と推論時でツールの分布、スキーマ、および相互作用のロジックが一貫しているという「静的世界仮定」に依存している。しかし、実際のデプロイメントでは、APIの廃止、ツールスキーマの進化、ユーザー指示の曖昧さといった動的な変化に直面する。

著者らは、以下の4つの次元における分布シフトを特徴付ける問題設定として、OpenAgentを定式化した。

1. ユーザークエリ ($\Delta Q$): セマンティックな指示および言語的な表層形式の変化。
2. ツールセット ($\Delta A$): ツールの名称変更、挙動の変化、または構造的な再構成（統合・分割）を伴う非定常なアクションスペース。
3. 相互作用ダイナミクス ($\Delta O$): 予期しないエラー状態、ヌル値、または修正指示を含む、非定常なフィードバックチャネル。
4. タスクドメイン ($\Delta D$): $Q, A, O$ の結合的なシフトを伴いながら、潜在的な問題解決構造を維持したまま新しいドメインへ移行すること。

核心となる研究課題は、現在の学習パラダイム（SFTおよびRL）が、これらのオープンワールドにおけるシフトに対してエージェントの汎化を可能にするのか、それともその性能は単なるクローズドセットへの過学習の産物なのか、という点である。

2. メソドロジー

2.1 制御されたサンドボックス環境

実世界のAPIに伴うノイズから環境のシフトを分離するため、著者らは関心地点（POI）データに基づいた合成サンドボックス環境を構築した。

• データ: 学習サンプル6,050個、評価サンプル880個からなり、データ漏洩を防ぐために厳密に分離されている。
• バックボーン: Qwen2.5-7B-Instruct。
• ベースライン: フルパラメータSFTおよびRL（スパース報酬を用いたGRPOフレームワークを使用）。両者は、安定したベースラインを確立するために、クローズドな環境で収束するまで学習された。

2.2 4層の診断フレームワーク

著者らは、エージェントの堅牢性を体系的に調査するために、階層的な評価フレームワークを設計した。

• ティア1：知覚の汎化 (Perception Generalization): 生の観測結果を接地（グラウンディング）する能力をテストする。
  • 指示の堅牢性: ぼやけた指示や情報の冗長性の処理。
  • スキーマの適応性: パラメータキーの変化（例：args 対 parameters）への適応。
  • 意味的接地: 記号的ドリフト、セマンティック・トラップ（敵対的な記述）、およびアイデンティティ消失（ランダムなツール名）に対する耐性のテスト。
• ティア2：相互作用の汎化 (Interaction Generalization): フィードバックを利用してポリシーを調整する能力をテストする。
  • フォーマットの適応性: 非標準的なリターン形式（例：Markdown 対 JSON）のパース。
  • エラー訂正: 明示的なエラーやサイレントなヌルリターンからの回復。
  • 動的アライメント: フィードバックによって提供される値やツールのリダイレクションへの適応。
• ティア3：推論の汎化 (Reasoning Generalization): 有効な実行計画を構成する能力をテストする。
  • ルール推論: 変化した機能的セマンティクス（例：計算係数）への適応。
  • パスプランニング: トレースの簡略化（ショートカット）や論理の反転（因果関係の逆転）への対応。
• ティア4：内部化の汎化 (Internalization Generalization): 高レベルの境界認識をテストする。
  • 能動的拒絶: 解けないタスク（不足している条件や致命的なエラー）の認識。
  • ドメイン転移: 推論のトポロジーを、意味的に異なるドメイン（例：地理学から医療登録へ）に転移させること。

2.3 提案手法：摂動拡張微調整 (Perturbation-Augmented Fine-Tuning: PAFT)

SFTにおける特定された脆弱性に対処するため、著者らはデータ中心の介入戦略であるPAFTを提案する。標準的なオーギュメンテーションとは異なり、PAFTは制御された摂動を成功した学習軌跡に注入することで、軌跡レベルで動作する。

• 環境フィードバック摂動 (Environmental Feedback Pertation: EFP): 軌跡の途中に観測のアノマリー（例：ツールのリダイレクション）を注入し、モデルに修正アクションの生成を監督させる。
• 解決可能性境界摂動 (Solvability Boundary Perturbation: SBP): 致命的なエラーサンプルを導入することで、明示的な拒絶を教え、「すべての問題は解決可能である」という仮定を打破する。
• 記号表現摂動 (Symbolic Representation Perturbation: SRP): ツール名やドキュメントに対して、表面レベルのオーギュメンテーション（類義語による書き換え、ノイズ注入）を適用し、記号的なアンカリングをデカップル（分離）させる。

3. 主な結果と観察

3.1 現行パラダイムの失敗モード

• SFT (記号的アンカリング): SFTエージェントは「脆い記号的アンカリング」を示す。これらは記憶されたトークンシーケンスや表面的な名称に強く依存している。ツール名が摂動を受けたりセマンティクスが変化したりすると（ティア1）、SFTの性能は急激に低下する。さらに、SFTは環境フィードバックを無視する傾向があり（オープンループ動作）、明示的なエラーリダイレクションが提供されている場合でも、成功した結果を幻覚として生成してしまう（ティア2）。
• RL (境界盲目): RLエージェントは、報酬駆動の相互作用により、より優れた意味的接地と明示的なガイダンスへの適応性（ティア2）を示す。しかし、これらは「境界盲目」に苦しむ。エラーを感知してはいるものの、その目的論的なバイアス（結果指向の報酬）により、解決不可能なタスクを拒絶するのではなく、無理に完了させようとする（ティア4）。SFTとRLの両者は、グローバルな依存関係の反転（ティア3における論理反転）の下で著しく失敗し、これはアクションシーケンスの動的な論理構造ではなく、時間的な順序に過学習していることを示している。

3.2 PAFTの性能

PAFTは、標準的なSFTで見られる劣化を効果的に緩和する。

• 堅牢性: PAFTは、学習の初期段階で見られる深刻な性能低下を、ティア1〜3におけるプラスのデルタへと変容させる。
• 拒絶能力: SBPコンポーネントは、特に解決不可能なタスクを拒絶する能力を回復させ、致命的なエラーシナリオにおいて、標準的なSFTのほぼゼロと比較して、約99%の拒絶率を達成した。
• アブレーション: 本研究は、各コンポーネント（EFP, SBP, SRP）が異なる失敗モードに対処していることを確認している。分布のカバー範囲と信号の質のバランスを取るための最適な摂動比率（$\alpha$）は0.3であることが判明した。

4. 貢献と意義

本論文は主に3つの貢献を行う。

1. OpenAgentの定式化: ツール使用エージェントのオープンワールドにおける厳密な問題設定を定義し、クエリ、ツール、相互作用、およびドメインにわたるシフトを特徴付けた。
2. 体系的な評価: 制御されたサンドボックスと4層の診断フレームワークを確立し、SFTおよびRLパラダイムにおける特定の構造的な弱点（記号的アンカリングと境界盲目）を明らかにした。
3. メソドロジーによる介入: モデルを浅いパターン記憶からデカップルし、明示的な境界認識を教えることで、エージェントの堅牢性と安全性を高める、摂動ベースの戦略であるPAFTを提案した。

意義:
著者らは、静的なベンチマークにおけるエージェントの見かけ上の習熟度は、しばしば脆弱なものであると主張している。SFTが軌跡への過学習に、RLが結果バイアスによる強制的な完了に苦しんでいることを特定することで、本論文は、実世界へのデプロイメントにおける重大な安全性と信頼性のギャップを浮き彫りにしている。提案されたPAFTは、エージェントを非定常な現実環境において有用にするための道筋を提供し、エージェントがタスクを解くだけでなく、いつ立ち止まるべきかを認識できるようにするものである。この研究は、エージェント的システムの汎化能力を診断し改善するために、静的なクローズドセットの評価を超えていく必要性を強調している。