AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?

以下は、論文「AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?」の詳細な技術的サマリーです。

1. 問題定義

生産環境におけるエージェントシステムは、ユーザーリクエストごとに多数のモデル呼び出しを行います。これらの呼び出しの大部分は、短く、構造化され、定型化されたもの（例：検索、レコード抽出、単一提出）です。現在、業界のデフォルトは、このような呼び出しをすべて高価で大型の「フロンティア」モデル（例：GPT-5）にルーティングすることです。

• 核心的な問い: 既存の評価基準は、エージェントワークフローのどの部分が真にフロンティアの知能を必要とし、どの部分がより小型のオープンウェイトモデルで処理可能かを直接回答していません。
• ギャップ: 単一ターンベンチマーク（例：BFCL）は逐次的な依存関係を無視しており、複雑な多段階スイート（例：SWE-Bench）は API のドリフト、ウェブのグラウンディング、データ汚染によって混乱しています。小型モデルがフロンティアのパフォーマンスと一致する地点と、乖離する地点を制御された形で示すマップは存在しません。

2. 手法：AgentFloor ベンチマーク

著者は、ツール使用における認知要求を分離するために設計された、決定論的な 30 タスクベンチマーク「AgentFloor」を導入します。

• 構造: このベンチマークは、各ティアが正確に 1 つの新しい認知要求を導入する「6 段階の能力ラダー（A0 から E）」として構成されています。
  • A0: 指示遂行（ツールなし）。
  • A: 単一ツールの呼び出し。
  • B: 逐次的な 2 ツールの連鎖（ツール 1 の出力がツール 2 に供給される）。
  • C: 中間結果に基づく条件分岐。
  • D: 競合回復を伴う複数ソースからの合成。
  • E: 持続的な制約下での長期的計画（8〜12 ステップ）。
• 環境: タスクは、メモリ内固定データベースを備えた固定された抽象的なツール環境で実行されます。ファイルシステム、ライブ API、時間変化する状態は存在せず、環境ノイズと事前学習汚染を排除しています。
• 評価対象モデル: Gemma、Qwen、Mistral、Granite、Ministralを含む0.27Bから32Bパラメータの16のオープンウェイトモデルと、GPT-5。
• 評価プロトコル:
  • 実行回数: 16,542 回のスコア付き実行。
  • スコアリング: 4 つのチェッカーファミリー（最終回答の一致、提出の検証、軌道の充足、ハルシネートされたツールなどの禁止された行動の不在）に基づく二値の通過/不通過。
  • 統計的厳密性: 登録済みの±10 パーセントポイント（pp）のマージンにおける同等性のために、ペア化されたブートストラップ分析（10,000 回のリサンプリング）と Two-One-Sided Test (TOST) を使用。
  • 失敗の分類: 失敗は厳格なカスケード（F1: ハルシネートされたツール、F4: ステップ予算の枯渇、F5: 早期の降参など）に分類されます。

3. 主要な貢献

1. AgentFloor ベンチマーク: API ドリフトなどの交絡因子を排除し、エージェント的ツール使用における特定の認知要求を分離する、制御された決定論的な 30 タスクラダー。
2. 能力とコストのマッピング: 登録済みの比較により、最良のオープンウェイトモデル（Gemma 4:26b）が GPT-5 と集計的な同等性を達成しつつ、はるかに安価で高速であることを示す。
3. 失敗モード分析: 「長期的なギャップ」は普遍的ではないことを示す詳細な分析。異なるモデルが異なる理由（例：ステップの枯渇対早期の降参）で失敗するため、介入はモデル固有のものであり、普遍的ではない。

4. 主要な結果

A. 集計的同等性とコスト効率

• パフォーマンス: 全 30 タスクにおいて、Gemma 4:26bはGPT-5と統計的に同等です（ペア化された $\Delta = +0.4$ pp、90% 信頼区間 $[-4.0, +5.1]$）。
• コスト: 一致した集計精度（約 60% TCR）において、Gemma 4:26b は自己ホスト型 Mac 上で GPT-5 より15 倍安価、クラウド GPU 上では3 倍安価です。
• レイテンシ: 通過したタスクあたりの速度は、Gemma 4:26b の方が GPT-5 より2.5 倍高速です。
• パレートフロンティア: オープンウェイトモデルは、測定されたすべての信頼性ポイントにおいて、タスク通過あたりのコストのパレートフロンティア全体を占めています。

B. ティア別内訳

• A0（指示）: オープンウェイトモデル（例：Gemma 4:26b）は GPT-5 を厳密に上回ります（100% 対 80%）。GPT-5 の失敗は、技術用語の過剰な言い換えに起因することが多かったです。
• A（単一ツール）: オープンウェイトモデルは GPT-5 と形式的に同等です。
• B, C, D（連鎖、分岐、合成）: 点推定値は GPT-5 に近い（9 pp 以内）ですが、サンプルサイズが不足しており、±10 pp のマージンで形式的に同等性を証明するには不十分でした。
• E（長期的計画）: これは GPT-5 が厳密に優位である唯一のティアです（Gemma 4:26b の 0% 対 10% の通過率）。ただし、どのモデルもこのティアで「実務者に関連する」信頼性（>80%）には達していません。

C. 「崖」とモデルサイズ

• 定型作業には小型モデルで十分: ティア A0 と A については、0.6B〜4Bパラメータのモデルでも 80〜90% の信頼性目標をクリアするのに十分です。
• B→C への移行: 逐次的連鎖（B）から分岐（C）へ移行する際、パフォーマンスが急激に低下します。コーパス内のゼロショットオープンウェイトモデルは、ティア C、D、E のいずれにおいても 80% の信頼性ラインをクリアできませんでした。
• 非単調なスケーリング: パフォーマンスはパラメータ数に厳密に比例して向上するわけではありません。例えば、4B モデル（Nemotron）はティア D で 26B モデルを上回り、14B モデルは同じファミリー内の 8B モデルに劣りました。

D. 介入分析（ギャップが存在する理由）

著者はティア E のギャップを埋めるための介入をテストしましたが、普遍的な解決策は見つかりませんでした。

• 明示的提出プロンプト: 特定のタスクにおいて Ministral-3:8b を 0% から 100% に引き上げましたが、GPT-5 や Gemma 4:26b には全く効果がありませんでした。
• ステップ予算の倍増: 特定のタスク（E1）では GPT-5 に役立ちましたが、他のタスクでは無効でした。
• 推論モード: 推論を無効化することは、ティア B において 32B Qwen モデルには役立ちましたが、8B と 14B のバージョンには悪影響を及ぼしました。
• 構造化プロンプト（計画/実行/提出）: この「明らかな」普遍的なレバーは、すべてのテストモデルのパフォーマンスを低下させ、計画は立てるが実行に至らない状態を引き起こしました。
• 失敗のシグネチャ:
  • GPT-5は主に**F5（早期の降参）**で失敗します：計画を立てるが、諦めてしまいます。
  • Gemma 4:26bは**F4（ステップの枯渇）とF1（ハルシネートされたツール）**で失敗します：ステップを使い果たすか、ツールを捏造します。
  • 結論: 失敗メカニズムが異なるため、単一の介入では両方を修正できません。

5. 意義と設計原則

この論文は、エージェントシステムのルーティングのための具体的でデータ駆動型のガイドを提供します。

1. 定型作業を小型モデルへルーティング: エージェント呼び出しの大部分（A0、A、およびおそらく B）は、精度の測定可能な損失なしに、コストとレイテンシの大幅な向上を伴い、小型のオープンウェイトモデル（<5B パラメータ）で処理可能です。
2. フロンティアを長期的タスクに留保する: フロンティアモデルは、持続的な調整と制約の追跡を必要とする狭いクラスのタスク（ティア E）に厳密に留保されるべきですが、そこでも信頼性は依然として低いです。
3. 介入はモデル固有である: 長期的な計画を普遍的に修正する「銀の弾丸」のようなプロンプトやアーキテクチャの微調整は存在しません。ルーティング戦略は、選択されたモデルの特定の失敗モードに合わせて調整される必要があります。

最終的な教訓: 「ツール使用ラダー」には明確な境界があります。小型のオープンウェイトモデルは、構造化された短時間のエージェント作業の広範な基盤に対してすでに十分であり、すべてをフロンティアモデルへルーティングするというデフォルトの展開戦略に挑戦しています。