技術サマリー: REALCLAWBENCH

問題提起

現在のエージェント・ベンチマークは、展開されているデベロッパー・エージェントのセッションの実態を反映できていないことが多い。既存のベンチマーク（SWE-bench、WebArena、AgentBenchなど）は、実行可能性やツール認識能力は向上させているものの、主に作成されたタスク、公開されたアーティファクト、または精査された環境に依存している。これにより、「リアリズムのギャップ」が生じている。つまり、これらのベンチマークは実行可能で難易度も高いが、実際のプロダクション・ワークフローに見られるローカルな状態、暗黙的なユーザーの意図、および自然に発生する成功基準を欠いている。

現実世界のデベロッパー・エージェント・セッション（特にOpenClawエコシステム内）は、ベンチマークにおいて特有の課題を提示する：

• コンテキスト依存性: タスクはしばしば、ローカルの実行環境や特定のプロジェクトの状態に依存する。
• 暗黙的な意図: ユーザーのリクエストには、未規定のゴールや会話上の省略が含まれることが多い。
• 検証の困難さ: 成功基準が非決定的であったり、主観的な判断を必要としたりすることが多く、自動的なスコアリングを困難にする。

その結果、既存の評価では、実際に展開されている使用状況の分布から抽出されたタスクを解決するエージェントの能力を正確に測定できない可能性がある。

メソドロジー

本論文では、実際のOpenClawユーザー・セッションから直接構築されたライブ・ベンチマーク・フレームワークであるREALCLAWBENCHを紹介する。コアとなるメソドロジーは、生の機密性の高いデプロイメント・ログを、再現可能でプライバシー保護された、自動スコアリング可能なタスクへと変換するパイプラインである。

1. ソース分布へのアンカリング

本フレームワークは、ソース分布としてOpenClawからの76,155件の展開されたツール使用セッションを使用する。最終的な品質フィルタリング前のクリーンアップされたツール使用ストリームにサンプリングをアンカリングすることで、希少なカテゴリや特定のタスク混合を含む、実際のユーザー需要の経験的分布を保持するように設計されている。

2. セッション・トゥ・タスク・パイプライン

各リリース・インスタンスは、4段階の変換プロセス（図2に記載）を通じて構築される：

• 環境再構築 ($E_0$): ファイル、依存関係、コマンド・コンテキスト、スキーマを含むセッションのエビデンスから、初期ワークスペースを具現化する。プライベートなサービスに依存するタスクは、フィクスチャによるバックアップが行われるか、拒否される。
• リクエストの書き換え ($x$): 元のユーザーメッセージをスタンドアロンの指示書に変換する。このプロセスでは、ローカルの参照や会話の省略を解決しつつ、プライベートな識別子を除去する。重要な点として、書き換えは解決のヒントを与えることなく、元のタスク・カテゴリを保持する。
• 検証器（Verifier）の構築 ($V$): 最終的なワークスペース、stdout、および限定されたサブプロセスを検証するための決定論的なプログラムを構築する。検証器は、構造的なアウトカム（例：ファイルの存在、スキーマの妥当性）をチェックする。主観的または審美的な判断を必要とするタスクは、自動的かつ決定論的なスコアリングを確実にするために除外される。
• フィデリティ・レビュー: ドラフト・インスタンスに対して、バグ、曖昧な表現、または「リーク」した指示を検出するためのプロービングを行う。再構築可能性と検証器の妥当性チェックを通過したインスタンスのみがリリースされる。

3. ライブ・リリース・メカニズム

REALCLAWBENCHは、バージョン管理されたライブ・リリースをサポートしている。同じ構築マップ ($T$) を、将来のログの重複しない時間窓に対して適用できる。これにより、制御された評価プロトコルを維持しながら、ユーザー需要の時系列的な変化を追跡することが可能になる。

主な貢献

1. リアリズムのギャップの特定: 実行可能なエージェント・ベンチマークと、実際に展開されているデベロッパー・エージェントの使用分布との間の乖離を正式に定義し、現在のデータセットにおけるローカルな状態と暗黙的な意図の欠如を浮き彫りにした。
2. セッション・トゥ・タスク・パイプライン: 環境再構築、意図を保持する書き換え、および決定論的な検証器を用いて、生のプライバシーに配慮したデプロイメント・ログを再現可能なベンチマーク・タスクに変換する新しいパイプラインを提示した。
3. ライブ・ベンチマークのリリース: 実際のセッションからサンプリングされた281個の実行可能なタスクを含む、分布にアンカリングされたベンチマークであるREALCLAWBENCHをリリースした。これは、フィルターの再設計なしに、将来のログに対して構築プロセスを再実行できることを示している。

結果

分布の忠実度

構築パイプラインは、実際のユーザー分布の形状を正常に保持している。

• イェンセン・シャノン距離 (JSD): 最終的な281タスクのリリースは、タスクタイプ、ユーザーターン、定義されたツール、およびツールコールという4つの軸において、ソース分布（76,155セッション）に対して最大0.0448のJSDを維持している。
• フィルタリングの影響: 生のコールから最終セットに至るまでの積極的なフィルタリングは、重大な分布のドリフトを引き起こしておらず、隣接するステージ間のシフトはすべて0.05ビット未満であった。

モデル性能（リーダーボード）

本ベンチマークは、600秒のタイムアウトを設定した共有OpenClawハーネスの下で、14の現代的なモデル（Claude Opus/Sonnet、GPT-5.5、DeepSeek、Geminiなどを含む）を評価するために使用された。

• トップパフォーマンス: 最も優れた性能を示したモデルであるClaude Opus 4.7は、サンプル平均成功率で**65.8%**を達成した。
• ヘッドルーム: トップモデルがタスクの約66%しか解決できていない事実は、現実的なデベロッパーのワークロードにおいて、現在のエージェントには大幅な伸びしろ（ヘッドルーム）があることを示している。
• コスト効率: パフォーマンスとコストは密接には連動していない。例えば、MiMo V2.5 Proは、GPT-5.5（$61.87）のような高コストなモデルよりも大幅に低いコスト（$11.87）でありながら、良好なトレードオフを提供した。
• ロングテール挙動: マクロ平均スコア（タスクタイプの不均衡な分布を考慮したもの）は、単純なサンプル平均とは異なるランキングを示しており、多様な現実世界のタスクカテゴリにわたるパフォーマンス評価の重要性を強調している。

ライブ・ベンチマーキングの検証

パイプラインは、フィルターやルールを変更することなく、後の時間窓（$W_{live}$）に対してテストされた。

• 収穫量: パイプラインは、ベースとなる時間窓と同等の保持率で、ライブ・ウィンドウから34の最終ケースを正常に生成した。
• ドリフト: ライブ・ウィンドウはベース・ウィンドウと分布的に近く（最大JSD 0.0411）、プロトコルが比較可能性を維持しながら需要の変化を追跡できることを裏付けた。

意義と主張

本論文は、REALCLAWBENCHが実際の使用におけるエージェントの能力をより良く測定するための実用的な道筋を提供するものであると主張している。実際のデプロイされたセッションを制御された評価インスタンスに変換することで、本フレームワークは作成されたベンチマークの限界に対処している。

主な主張は以下の通りである：

• リアリズム: 本ベンチマークは、精査されたデータセットでは見落とされがちな、展開されたエージェント使用の分布、多様性、および現実世界の難易度を捉えている。
• 再現性: 実際のセッションが、ソース分布の「測定された形状」を失うことなく、再現可能で自動スコアリング可能なタスクに変換できることを示している。
• 動的評価: 鮮度やデータの汚染を軽減する、ライブでバージョン管理されたリリースをサポートしており、展開されたエージェントの使用とともにベンチマークが進化することを可能にする。

著者らは、本ベンチマークがOpenClawエコシステムおよびデベロッター志向のユーザー層に特化していること、また、プログラムによるスコアラーは最終的なワークスペースで確認可能なアウトカムを優先するため、コードの保守性や部分的な進捗といった性質を見逃す可能性があることを強調している。しかし、本フレームワークは、エージェント評価を現実世界のデプロイメント・データに接地させるための新しい基準を確立している。