技術的サマリー：エージェントは自らの不可能性を理解しているか？

問題定義

大規模言語モデル（LLM）を活用して外部 API や環境と対話するツール利用型エージェントは、長い推論チェーンと反復的なツール使用により、多大な計算コストを発生させることが多い。実際の展開シナリオでは、成功に必要な特定の能力が現在のツールおよび環境制約下で利用できないため、多くのタスクが実行不可能となる。

現在のエージェントベンチマークおよび評価パラダイムは、大半が提供された環境内でタスクが解決可能であることを前提としている。それらは主に持続的な実行と最終的なタスク成功を評価基準とし、タスク完了が不可能になった後も推論やツール呼び出しを継続する「脆い挙動」を見落としていることが多い。その結果、深刻なトークンの無駄と不要な対話コストが生じている。さらに、評価用の真に実行不可能なタスクを構築することは困難である。既存の方法は、労働集約的な人間の注釈や、重要な能力の除去を保証しない摂動戦略に大きく依存しており、エージェントが代替戦略を通じてタスクを解決することを許容する可能性がある。

手法：FeasiGen

著者は、実行不可能なエージェントタスクを構築し、エージェントがそれらを認識する能力を評価するために設計された自動パイプラインFeasiGenを提案する。このフレームワークは 3 つの段階で動作する。

1. データ収集: 既存のエージェントデータセット（BFCL, StableToolBench, API-Bank, $\tau$-bench）からタスクを収集する。これらは閉じたツールセット上で動作し、各タスクは固定された事前定義済みの利用可能ツールのプールに関連付けられている。
2. 重要ツールの特定: システムは、元の解決可能なタスク上で複数のエージェントシステムを実行する。成功したツール呼び出しの痕跡を収集し、多様な成功実行戦略全体で共有されるツールの共通部分を重要ツールとして特定する。根底にある仮説は、異なる成功軌道で一貫して必要とされるツールは、不可欠な実行依存性を表すというものである。
3. 実行不可能タスクの生成: 特定された重要ツールを候補ツールプールからマスク（除去）する。これにより、元々解決可能だったタスクが、制約された環境下で実行不可能なタスクへと変換される。

評価プロトコル:
本論文は、標準的なタスク成功率を超えた実行可能性を考慮した評価指標を導入する。

• 誤継続率 (FCR): エージェントが欠落した能力を検知できず、停止する代わりに実行を継続してしまう、実行不可能なタスクの割合を測定する。
• 早期停止までのトークンコスト ($TC_{early-stop}$) vs. タスク失敗までのトークンコスト ($TC_{task-failure}$): 効率性のトレードオフを定量化し、早期終了によって節約されたトークンと、失敗した実行で浪費されたトークンを測定する。
• 実行可能性考慮型成功スコア (FASS): 正しい実行可能性の検出と、実行可能なタスクでの成功したタスク完了を組み合わせた統合指標。

統計的に根拠のあるサブセット（95% 信頼区間、5% の誤差範囲）における人間の検証により、構築された实例の**94.7%**が真に実行不可能であることが確認された。

主要な結果

実験は、単一エージェントおよびマルチエージェント（プランナー–エグゼキューター）の両方のアーキテクチャ下で、9 つの現代モデル（GPT-5.5、DeepSeek-V4、Qwen3.5、Llama3.1 ファミリーを含む）に対して実施された。

• 弱い実行不可能性検出: 現在のエージェントシステムは、実行不可能なタスクを検知する能力が著しく弱い。誤継続率 (FCR) は、最高性能の GPT-5.5 で**23.5%から、Qwen3.5-9B で73.9%**の範囲にある。これは、エージェントが頻繁に不可能なタスクを試みてリソースを浪費していることを示している。
• 効率性への影響: 実行不可能性の検出に失敗することはコストがかかる。失敗した実行のトークンコスト ($TC_{task-failure}$) は、モデル全体を通じて早期停止のコスト ($TC_{early-stop}$) の2.3 倍から 5.0 倍高い。
• マルチエージェントによる改善: マルチエージェントアーキテクチャは、実行不可能性の検出を大幅に改善する。実行前にタスクを分解し、必要な能力を特定する計画段階を導入することで、平均 FCR は単一エージェントの**54.6%から17.5%**に低下する。最良のマルチエージェントペア（Qwen-122B $\to$ GPT-OSS）は、FCR **2.6%**を達成した。
• 推論モード: 推論モードを有効化すると、一般的に検出が改善され、早期停止のためのトークン消費が減少するが、その効果はモデルのサイズやファミリーによって異なる。
• スケーリングの異常: 実行可能性への意識は、モデルサイズと均一にスケーリングしない。Qwen3.5 モデルはパラメータが増大するにつれて検出が改善されるのに対し、Llama3.1 モデルは劣化し（70B から 405B で FCR が 29.3% 増加）、トレーニングの選択やアライメントの目的（拒絶よりも関与を報酬とするなど）が、パラメータ数単独よりもこの能力に大きな影響を与えていることを示唆している。
• ベンチマーク汚染: 研究では、ツールを呼び出すことなく実行不可能なタスクに対して正しい回答を生成する「偽陽性」が観察された。手動分析によると、これらの事例の**91%**は最終回答を直接生成するものであり、ツール利用可能性に関する真の推論ではなく、事前学習コーパスからのタスク出力の記憶（ベンチマーク汚染）によるものである可能性が高い。

意義と貢献

本論文は以下の貢献を主張する。

1. FeasiGen パイプライン: 重要な実行依存性を特定してマスクすることにより、実行不可能なエージェントタスクを構築する最初の自動フレームワークであり、人間の検証において 94% 以上の精度を達成した。
2. 実行可能性を考慮した評価: 現在の評価パラダイムがタスク成功のみに焦点を当てているギャップを埋めるため、制約の認識と実行の終了というエージェントの能力を明示的に測定する指標（FCR、トークンコスト比率）を導入した。
3. 限界の実証的証拠: 包括的な評価により、現在のエージェント（最高性能のものさえも）は実行不可能な条件を認識することに苦しみ、重大なリソースの浪費を招いていることが明らかになった。
4. アーキテクチャ的洞察: マルチエージェントによる分解（特に計画段階）が実行可能性の検出を改善する支配的な要因であるという発見は、より効率的で堅牢なエージェントシステムへの実用的な道筋を提供する。

著者は、実用的なシナリオにおける堅牢なエージェント行動を評価するには、タスク成功だけでは不十分であると結論づけている。既存のベンチマークは、記憶と制約を考慮した推論の欠如により、真のエージェント能力を過大評価している可能性があり、コミュニティに対して、標準的な評価プロトコルに実行可能性の検出を組み込むよう促している。