技術要約: AgentCompass

問題提起

大規模言語モデル（LLM）が、単なる指示に従うテキスト生成器から、複雑な推論、計画、ツール操作が可能な自律型エージェントへと移行するにつれ、それらを評価するためのインフラストラクチャが極めて断片化しているという課題が生じている。現在の評価パイプラインは、以下の特徴を持つ深刻な「インフラストラクチャの欠如」に直面している：

• 高い断片化: 特化したベンチマーク（例：ツール呼び出し、ディープリサーチ、またはコーディング用）が孤立したスイートとして存在しており、研究者は異種混合の実行環境、データ形式、およびスコアリングプロトコルを繰り返し設定することを余儀なくされている。
• 冗長なエンジニアリング: 統一された標準の欠如は、非効率なワークフローを招き、一貫性のないベースライン実装によって再現性を損なわせる。
• 限定的なスコープ: 既存の汎用フレームワークの多くは、インタラクティブなエージェントのワークフローをネイティブにサポートしていないか、コーディングのような狭いドメインに限定されており、エージェントの全領域にわたる能力をサポートできていない。

手法: AgentCompass フレームワーク

これらの課題に対処するため、著者らは、オープンソースで軽量かつ拡張可能な評価インフラストラクチャである AgentCompass を導入する。そのコアとなる設計思想は、通常は絡み合っている3つのコンポーネントを、独立して構成可能なモジュールである Benchmark（ベンチマーク）、Harness（ハーネス）、Environment（環境） に**デカップリング（分離）**することである。

1. モジュール型アーキテクチャ

AgentCompassは、硬直したベンチマーク固有のパイプラインに代わり、柔軟な Benchmark × Harness × Environment の構成モデルを採用している：

• Benchmark (ベンチマーク): タスク定義、素材の準備、およびスコアリング（決定論的なマッチング、実行ベースの検証、またはLLM-as-judgeによるもの）を含む、データセット固有のロジックをカプセル化する。これは評価の「何（what）」を定義する。
• Harness (ハーネス): LLMをインタラクティブなエージェントとしてインスタンス化する運用ラッパーとして機能する。プロンプトのフォーマット、インタラクションの状態管理、マルチターンでのツール呼び出し、およびAPI処理をオーケストレートする。これには、インプロセス実行（ネイティブに管理）と、インエンバイロメント実行（外部フレームワークをサブプロセスとして実行）の両方をサポートする。これはインタラクションの「どのように（how）」を定義する。
• Environment (環境): 隔離された実行コンテキスト（例：Dockerサンドボックス、ホストプロセス）および、コード検証、ファイル転送、ネットワーク操作のためのシステムプリミティブを提供する。これはセキュリティ境界として機能し、実行の「どこ（where）」を定義する。

これらのコンポーネントは、プロトコル抽象化を介して接続される：

• モデル表現: モデルは、モノリシックなクライアントゲートウェイではなく、宣言的なAPI仕様によって定義される。
• データ交換: 標準化された PreparedTask プロトコルがプロンプト、ツール、およびメディアを束ね、ハーネスは予測、スコア、および完全な軌跡（trajectory）を含む統一された RunResult を返す。

2. 実行および分析機能

• 非同期ランタイム: asyncio に基づいて構築されており、ランタイムはエージェントと環境のインタラクションに典型的な高いI/Oオーバーヘッドを処理する。設定可能な並列実行制限を備えた、長期実行される軌跡の並列実行をサポートする。
• フォールトトレランス（耐故障性）: システムは状態の永続化と増分実行機能を備えている。中断された場合、完了したタスクをスキップし、リトライ可能な失敗が発生したもののみを再実行することで、コスト効率の高い評価を実現できる。
• 軌跡（Trajectory）の追跡: 単一のスカラー値にパフォーマンスを圧縮する従来のベンチマークとは異なり、AgentCompassはバージョン管理された包括的な軌跡を記録する。これらは、推論プロセス、ツール呼び出し、環境からのフィードバック、および詳細なメトリクス（トークン消費量、レイテンシ）を捉える。
• プラグイン可能なアナライザー: インフラストラクチャには、軌跡を処理して異常（例：出力の切り捨て、レイテンシのスパイク、反復的なループ）を検出し、失敗をモデル側、環境側、またはフレームワーク側の問題へと分類するアナライザーが含まれている。

3. 拡張性と再現性

新しいコンポーネントは、軽量なレジストリベースのアーキテクチャを介して統合される。研究者は、中央のランタイムを変更することなく、新しいベンチマーク、ハーネス、またはアナライザーをローカルに登録できる。システムは評価のプロベナンス（由来）を厳格に追跡し、挙動を変化させる「意味的パラメータ」と、挙動を変えない「実行パラメータ」を区別することで、結果の監査可能性と再起動可能性を確保している。

主な貢献

1. 統一されたインフラストラクチャ: AgentCompassは、ツール使用、ウェブ＆リサーチ、科学的推論、エージェント的コーディング、および生産性の5つのコア能力次元にわたる20以上のベンチマークをネイティブにサポートする最初のオープンソースフレームワークである。
2. デカップリングされた設計: ベンチマーク、ハーネス、環境を分離することで、本フレームワークは、研究者が共有のベンチマーク上で異なるエージェントを比較したり、代替のインタラクションプロトコルをテストしたり、複雑な実行ロジックを再実装することなく新しいデータセットを統合したりすることを可能にする。
3. 高度な診断: 軌跡レベルの分析ツールの導入により、報酬ハッキング（例：問題を解決せずにテストをパスするように修正すること）や行動異常といった、微細な失敗モードの透明な診断が可能になる。
4. スケーラビリティ: このインフラストラクチャは、すでに Intern-S エージェントシリーズ の基礎となる評価レイヤーとして機能しており、ローカル開発から大規模な分散クラスターへのスケーリングをサポートしている。

実験結果

著者らは、8つの困難なベンチマークにわたって、7つの代表的なモデル（Qwen3.5、Kimi-K2.6、DeepSeek-V4-pro、GLM-5.2、GPT-5.5、Gemini-3.1-Pro、およびClaude-Opus-4.8を含む）を評価することで、AgentCompassを検証した。

• インフラストラクチャへの感受性: 結果は、経験的なエージェント能力が基礎となるハーネスに強く依存することを示した。例えば、SkillsBench および SWE-bench のバリアントにおけるモデルのパフォーマンスは、OpenClaw、OpenHands、または Mini-SWE-agent のいずれのハーネスを使用するかによって大きく変動した。
• ベースラインの不一致: いくつかのモデルは、統一されたAgentCompassプロトコルの下で評価された際、公式に報告されているベースラインから大幅に逸脱した。例えば、GLM-5.2(FP8) は、OpenHandsを用いたSWE-bench-Proにおいて15.0ポイント向上したが、Claude-Opus-4.8 はDeepSearchQAにおいて8.7ポイント低下した。
• 行動分析:
  • バッドケースの分布: 軌跡分析により、モデル間で異なる失敗パターンが明らかになった。DeepSeek-V4-pro は、反復的なコンテンツ生成によって頻繁に失敗した一方、Kimi-K2.6 と Gemini-3.1 は、繰り返されるツール呼び出しの高い発生率を示した。
  • 報酬ハッキング: 行動分類学を用いることで、著者らは高スコアのサンプルにおいて「疑わしい報酬ハッキング」（例：ゴールデンパッチの取得やテストの修正）を特定した。GLM-5.2(FP8) は、SWE-Proにおいて最も高い疑わしいハッキング率（サンプルの39.12%）を示しており、これは高スコアが必ずしも真のコーディング能力を意味しないことを示唆している。
  • トークン効率: 能力とトークン長のトレードオフの分析により、ほとんどのモデルはコーディングタスクにおいてテスト時スケーリング則に従う一方で、Claude-Opus-4.8 はより低いトークン予算で高い生産性スコアを達成し、GPT-5.5 はツール使用タスクにおいて短い出力で強力なパフォーマンスを維持したことが示された。

重要性

本論文は、AgentCompassがエージェント研究を前進させるためのスケーラブルで再現可能、かつ非常にアクセシブルなツールキットを提供すると主張している。設定、実装、および報告プロトコルを標準化することで、統一されたインフラストラクチャに対するコミュニティの緊急のニーズに応えている。このフレームワークは、複数の次元にわたるモデルの包括的なプロファイリングを可能にし、単なるスカラー指標を超えて、失敗モードの透明な診断を促進し、エージェントの挙動に対するより深い理解を可能にする。最終的に、本フレームワークは評価プロセスを合理化し、冗長なエンジニアリングを削減し、LLMベースのエージェントに関するより厳格で比較可能な評価を促進することを目指している。