技術サマリー：TERMINALWORLD：実世界のターミナルタスクにおけるエージェントのベンチマーク

問題定義

大規模言語モデル（LLM）を搭載した自律型エージェントは、対話型コマンドラインインターフェース（CLI）セッション内でコマンドを発行し、ツールを構成し、フィードバックを解釈することで、複雑なターミナルワークフローの自動化においてますます能力を発揮しています。しかし、実在する実世界のターミナルタスクにおいてこれらのエージェントを信頼性高く評価することは、依然として未解決の課題です。

現在の評価基準は、手動でキュレーションされたベンチマーク（例：Terminal-Bench、LongCLI-Bench）に大きく依存しています。これらのベンチマークには、以下の 3 つの主要な限界があります：

1. 真正性のギャップ: 専門家は難易度を最大化するために対戦的なパズルを優先する傾向があり、その結果、タスクは開発者が実際に行う日常的な実世界のワークフローから乖離してしまいます。
2. スケーラビリティのボトルネック: 手動によるキュレーションは労働集約的であり、変化するターミナルの慣行や多様化する新興ツールに追いつくことが難しく、結果としてベンチマークの範囲が狭く、すぐに陳腐化してしまいます。
3. 検証の欠如: 最近の自動合成手法は手動キュレーションを回避しようとしていますが、主にトレーニングデータの生成を目的として設計されています。それらは真の真正性とテストの妥当性を保証するために必要な厳格な検証をほとんど受けていません。

その結果、実世界の開発者実践に真正であり、かつそれらに併せて進化できるほどスケーラブルな評価システムが存在していません。

手法：TERMINALWORLD データエンジン

これらの限界に対処するため、著者らは「in-the-wild（野外）」のターミナル記録から高忠実度の評価タスクを自動的にリバースエンジニアリングするスケーラブルなデータエンジン、TERMINALWORLD を導入します。このエンジンは、開発者が自発的にセッションのトランスクリプトを共有する公開リポジトリであるasciinemaプラットフォームから収集された 80,870 件のターミナルセッション記録のコーパス上で動作します。

このエンジンは、ノイズの多いログを厳密なベンチマークに変換するために、4 つの体系的な段階を経て生記録を処理します：

1. 人間の記録の収集とフィルタリング

エンジンは asciinema からトランスクリプトとメタデータを取得します。多段階のフィルタリングプロセスにより、データの品質と安全性が確保されます：

• プライバシーと安全性: 個人識別情報（PII）、機密資格情報、または悪意のあるコマンド（例：rm -rf *）を含む記録の除外。
• 範囲の定義: テキストユーザーインターフェース（TUI、例：vim や nano）や GUI を含む記録を破棄し、純粋な CLI ワークフローに厳密に焦点を当てます。
• 再現性: アクセスできない URL、Windows 環境、またはコンテナ化できないプロプライエタリソフトウェアに依存するセッションを削除します。
• 品質スコアリング: 不透明なセッションや純粋に探索的なセッションをフィルタリングするために LLM を使用し、高品質で決定論的なワークフローのみを保持します。
• 結果: 合成のために 9,492 件の高品質な記録が保持されました。

2. ターミナルタスクの合成

生トランスクリプトにはタイプミス、再試行、冗長なシステム出力などのノイズが含まれています。エンジンは LLM（例：Claude Sonnet 4.6）を使用して、これらを 2 つのアーティファクトに要約します：

• タスク指示の形式化: LLM は開発者の根本的な意図を推測し、結果指向の指示を生成します。重要なのは、指示が手順的な経路ではなく、最終状態（例：「ブロックされた IP アドレスを /app/result.txt に保存する」）を指定することであり、これにより特定の解決策に関するヒントがタスクに漏れるのを防ぎます。
• 参照ソリューションの抽出: LLM はトランスクリプトからクリーンで実行可能な Bash スクリプトを抽出し、重複や失敗した試行を削除して、真の基準となる参照ソリューションを作成します。

3. 実行可能環境の再現

生記録は元の開発者の特定のシステム状態に依存しているため、エンジンは実行環境をリバースエンジニアリングする必要があります。

• 環境合成: LLM エージェント（例：Claude Code）が参照ソリューションから依存関係（ベースイメージ、システムパッケージ、ランタイム）を推測し、Dockerfile と docker-compose.yaml を合成します。
• 実行ベースの改善ループ: 環境が忠実であり、幻覚（ハルシネーション）ではないことを確認するため、エージェントは Docker イメージを構築し、参照ソリューションの再生を試み、ランタイムエラー（例：欠落しているライブラリ、未設定の変数）をフィードバックとして使用して Dockerfile を反復的に修正します。
• 結果: このループにより、5,035 件のタスクに対して実行可能な環境の再現に成功しました。

4. テストスイートの生成

タスクの成功を自動的に判定するために、エンジンは再現された Docker コンテナ内で試行ベースの改善ループを使用してテストスイートを生成します：

• テスト合成: エージェントは形式化された指示と、参照ソリューションによって引き起こされた実際のファイルシステム変更（状態の差分）に基づいてアサーションを生成します。
• 3 回の実行による検証:
  1. AllPassing Trial（全通過試行）: 参照ソリューションを実行する。すべてのテストが合格しなければならない（解決可能性の確保）。
  2. Nop Trial（何もしない試行）: 何も実行しない。すべてのテストが不合格でなければならない（非自明性の確保）。
  3. Partial Trials（部分試行）: 切り詰められた/削除されたソリューションを実行する。少なくとも 1 つのテストが不合格でなければならない（不完全なソリューションに対する識別性の確保）。
• 結果: テストスイートが 3 つの試行すべてを合格したタスクのみが採用されます。このプロセスにより、完全なベンチマーク用の1,530 件の検証済みターミナルタスクが生成されました。

この完全なセットから、著者らは意味的な整合性と正確性を保証するために著者自身によって手動レビューされた200 件のタスクからなる VERIFIED サブセットをキュレーションし、最先端モデルのための厳密なテストベッドとして機能させました。

主要な貢献

1. TERMINALWORLD ベンチマーク: 18 の実世界のカテゴリ（例：コンテナオーケストレーション、CI/CD、セキュリティ）にまたがり、1,280 の固有のコマンドを網羅する 1,530 件の検証済みタスクのデータセット。注目すべきは、これらのコマンドの 91% が Terminal-Bench などの既存のベンチマークに存在しないことです。
2. 自動化データエンジン: 実世界の記録からタスクをリバースエンジニアリングする完全自動化パイプラインにより、ベンチマークが「構築上、真正かつスケーラブル」であることを保証します。
3. VERIFIED サブセット: 複雑なワークフローの高忠実度評価のために設計された、手動で精査された 200 件のタスクのコア。
4. 包括的なベンチマーク: VERIFIED サブセットにおける 8 つの最先端 LLM と 6 つの主要ターミナルエージェントの広範な評価。

実験結果

著者らは、TERMINALWORLD-VERIFIED サブセットにおいて、最先端モデル（例：Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro）とエージェント（例：Terminus-2、Claude Code、OpenHands）を評価しました。

• 性能の天井: 現在のシステムは、実世界のターミナルワークフローにおいて著しく苦労しています。最高性能のモデル（Claude Opus 4.7）でも達成できた合格率はわずか**62.5%**でした。
• 効率のパラドックス: リソース消費（ターン数、トークン数）と成功の間には弱い負の相関があります。モデルはしばしば進歩することなく環境を探索するために過剰な計算資源を費やします。失敗した試行は、成功した試行よりもはるかに多くのリソース（トークン数が 3.3 倍）を消費します。
• ドメイン固有性: 性能はドメインによって劇的に異なります。モデルは環境設定（87.5%）では良好に機能しますが、パフォーマンス最適化（28.1%）やスクリプト/自動化（39.1%）では苦労します。
• エージェントフレームワークの影響: エージェントフレームワークは主にコスト効率に影響し、根本的な能力の天井には影響しません。例えば、Terminus-2 と mini-SWE-agent は Claude Code と同様の合格率を達成しましたが、そのコストはごく一部でした。
• 既存のベンチマークとの弱い相関: Terminal-Bench 2.0 のスコアと TERMINALWORLD-VERIFIED のスコアの間には、弱い相関（ピアソン相関係数 $r = 0.20$）しか見られませんでした。専門家がキュレーションした課題を支配するモデル（例：GPT-5.5）は、実世界のワークフローではしばしば性能を発揮できず、既存のベンチマークが必要な能力を完全に捉えていないことを示唆しています。
• 人間のワークフローからの乖離: エージェントは、元の人間の記録の特定のコマンド経路をほとんど模倣しません。エージェントの軌道と人間の参照ソリューション間のコマンドセットの中央値の重複率はわずか**21.4%**であり、これはエージェントがしばしば有効だが異なる代替戦略を通じてタスクを解決していることを示しています。

意義と主張

本論文は、TERMINALWORLD が、対戦的な専門家キュレーションのパズルから、真正でスケーラブルな実世界のワークフローへと評価の焦点を移すことで、ターミナルエージェントの評価における新たな基準を確立すると主張しています。

• 真正性: 実際の開発者記録からタスクをリバースエンジニアリングすることで、このベンチマークは、合成または手作業で作成されたベンチマークが見逃す、実世界の依存関係、ツールの多様性、ワークフローの複雑さのニュアンスを捉えます。
• スケーラビリティ: エンジンの自動化された性質により、新しい記録が asciinema にアップロードされるにつれてベンチマークが継続的に進化でき、データセットが陳腐化するのを防ぎます。
• 診断的価値: このベンチマークは、現在の最先端モデルとエージェントが、オープンエンドな実世界の行動空間において、堅牢なツール使用能力を欠いていることを明らかにしています。既存のベンチマークでの高いスコアは、実用的で変化するターミナル環境におけるエージェントの能力を過大評価している可能性があると指摘しています。

著者らは、TERMINALWORLD が、静的で専門家がキュレーションした評価を超えて、実世界のターミナル環境で信頼性の高いエージェントを開発するための必要な基盤を提供すると結論付けています。