ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

以下は、論文「ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents」の詳細な技術的サマリーです。

1. 問題定義

現在の言語モデル（LM）エージェントのベンチマークは、主に静的な単一セッション環境内の「ワンショット」タスク解決を評価しています。しかし、LM エージェントの新たなユースケースは、複数日にわたって人間と協働する「永続的な同僚」です。この設定は、既存のベンチマークでは対処されていない 3 つの重要な課題を提示します。

• 時間的進化: エージェントのターン間において、環境は独立して変化します（例：新しいメールが届く、カレンダーの予定が移動する、ファイルが更新される）。エージェントは静的な世界を仮定するのではなく、これらの外因的状態変化に適応しなければなりません。
• 動的状態: 静的なログやキャッシュされたスナップショットとは異なり、実際のワークフローは状態を保持するサービスを含み、外部要因によりステップ 1 で読み取ったデータがステップ 2 では異なる可能性があります。
• マルチモーダル証拠: 専門的なワークフローは、テキストだけでなく、画像、スキャンされた PDF、音声、動画、スプレッドシートなど、多様なモダリティにわたる生で文字起こしされていない証拠に依存しています。

既存のベンチマークは、しばしばスコアリングに「LLM-as-a-judge（LLM を審判として使用）」に依存しており、これにより主観性や非決定性が生じます。また、エージェントのターン間で環境が変化する「生きている世界」をシミュレートすることは稀です。

2. 手法：ClawMark ベンチマーク

ClawMark は、状態を保持し、動的で、マルチモーダルな環境における同僚エージェントを評価するために設計されたベンチマークです。

A. 環境とアーキテクチャ

• 状態を保持するサンドボックス化されたサービス: ベンチマークは、Docker 環境内の 5 つの隔離された状態保持サービスに対して実行されます。
  1. ファイルシステム
  2. メール（GreenMail SMTP/IMAP）
  3. カレンダー（Radicale CalDAV）
  4. ナレッジベース（Notion 互換）
  5. スプレッドシート（Google スプレッドシート互換）
• マルチターン、マルチデイのワークフロー: 各タスクは 2〜6 ターンにわたって展開され、1 ターンは物語内の 1 営業日に相当します。
• 外因的変異: ターン間において、環境はエージェントとは独立して 2 つのメカニズムを通じて変異します。
  • 騒がしいイベント（Loud Events）: 「起床」プロンプトで明示的に発表されます（例：「新しいメールが届きました」）。
  • 静かな変異（Silent Mutations）: サービスに注入される無通告の変更（例：スプレッドシートの行が上書きされる、ファイルが変更される）です。エージェントは状態をリフレッシュすることでこれらを検出する必要があります。
• マルチモーダル入力: 証拠は、事前の文字起こしなしに、生のアートファクト（写真、音声、動画、PDF）として配信され、エージェントはそれらを処理するために（whisper、ffmpeg、PyMuPDF などの）ツールを使用する必要があります。

B. スコアリングプロトコル（LLM-as-Judge 不使用）

ClawMark は、完全に決定論的かつルールベースのスコアリングシステムを採用しています。

• チェッカー: 各タスクには、サンドボックス化されたサービスの実行後状態を検査する、重み付けされた 6〜29 個の Python チェッカーが含まれます。
• 指標:
  • 加重スコア: 重み付けされたチェッカーの合格率に基づき、部分的な進歩を評価する連続的な指標（0〜100）。
  • タスク成功: すべてのチェッカーが合格することを要求する厳格な二値指標（0〜100%）。
• レッドライン制約: 55 個の特定のチェッカーが「レッドライン（ハード制約）」として機能します。これらに違反した場合（例：最終レポートの承認前に請求を承認する、データの持ち出しなど）、他の進捗に関わらず、厳罰または失敗となります。
• 決定論保証: タスクは、2 つの独立した再実行がビットレベルで同一のチェッカー判定を生み出す場合にのみリリースされ、LLM 審判なしでの再現性が保証されます。

C. 構築パイプライン

このベンチマークは、タスクファーストのパイプラインを使用して構築されました。

1. タスク作成: 設計者がワークフロー、評価基準、必要な状態変化を定義します。
2. 証拠の収集: 1,072 の生マルチモーダルアートファクトが、タスク設計に合致するように、ウェブ収集、オリジナル録音、またはターゲット AI 合成を通じて収集されます。
3. レビューループ: 人間のレビュー、AI 監査（「チェッカーハッキング」や脆い文字列一致のチェック）、参照モデルによる軌跡レビューを含む 3〜5 ラウンドのプロセスです。
4. リリースゲート: タスクは、すべての監査を通過し、決定論的なチェッカーの一貫性を示した場合にのみリリースされます。

3. 主な貢献

1. 初の「生きている世界」ベンチマーク: 複数日にわたるタイムライン、外因的な環境変異、生マルチモーダル証拠を組み合わせたベンチマークを導入しました。
2. 決定論的評価プロトコル: LLM-as-judge のバイアスを排除し、ビットレベルで同一の再現性を保証する、1,537 個のチェッカーによるルールベースのスコアリングシステムを確立しました。
3. 包括的なデータセット: 87 種類の異なる役割を含む 13 の専門シナリオ（例：臨床アシスタント、保険、EDA、法務）にわたる 100 のタスクを公開しました。
4. オープンインフラ: 再現可能な研究を支援するため、ベンチマーク、評価ハーネス、および構築パイプラインを公開しました。

4. 実験結果

著者は OpenClaw フレームワークを使用して、7 つの最先端エージェントシステム（5 つの独自モデル、2 つのオープンソースモデル）をベンチマークしました。

全体的なパフォーマンス

• 加重スコア: 最上位のパフォーマーであるClaude Sonnet 4.6は、75.8を達成しました。他の上位モデルには、Claude Opus 4.6（74.6）と GPT-5.4（72.0）が含まれます。
• 厳格なタスク成功: 部分的な進歩と完全な完了の間には大きな隔たりがあります。最上位のタスク成功率はわずか20.0%（Claude Opus 4.6）でした。ほとんどのモデルは、エンドツーエンドで 15% 未満のタスクを解決しました。
• シナリオのばらつき: パフォーマンスはドメインによって大きく異なりました。例えば、モデルは「EDA（電子設計自動化）」や「不動産」では優れていましたが、「プロジェクト管理」では著しく苦戦しました（平均スコア約 35.1）。

ターンレベル分析（適応）

• 2 日目への低下: 73 の 3 ターンタスクの分析により、7 つのモデルのうち 6 つが、最初の外因的変異が発生する 2 日目にパフォーマンスが低下したことが明らかになりました。
• 回復: 3 日目までに、ほとんどのモデルは部分的にしか回復せず、1 日目のベースラインを下回ったままとなりました。これは、変化する状態への適応が主要な失敗点であることを浮き彫りにしています。
• 効率性: トークン/ツールの使用量とスコアの間には単調な関係はありませんでした。興味深いことに、最高スコアを獲得したモデル（Sonnet 4.6、Opus 4.6）は、最もツール効率が高かったこともありました。

失敗の分類

10,759 のチェッカー評価の分析により、2 つの支配的な失敗モードが明らかになりました。

1. 静かな変化の検出（失敗率 56.5%）: エージェントは頻繁に、環境での無通告の変化に気づくことに失敗しました。
2. バックエンドへの書き戻し（失敗率 53.6%）: エージェントは正しく推論することが多かったものの、最終的なアクションを正しいサービスにコミットすることに失敗しました（例：ファイルの保存や行の更新）。

• レッドライン違反: 全体としては稀（7.1%）でしたが、特定のタスクに集中していました。特に、Qwen 3.6 Plusは、トップティアのモデル（約 3.6%）と比較して、著しく高いレッドライン失敗率（14.5%）を持っていました。

5. 意義

ClawMark は、エージェント評価におけるパラダイムシフトを表しています。

• 静的から動的へ: 「このパズルを解け」から「このワークフローを管理せよ」へと移行し、時間的コンテキストの維持と外部ノイズへの適応能力をテストします。
• 流暢さよりも信頼性: 厳格なタスク成功指標とレッドライン制約は、専門的な設定では、部分的な進歩や流暢な会話よりも、コンプライアンスと正確性がより重要であることを強調しています。
• 実世界への準備: 結果は、最先端のモデルが複雑な推論を処理できる一方で、永続的で自律的な同僚としての役割に必要な堅牢性、特に静かな状態変化の検出と信頼性の高いバックエンド更新の実行において、現在欠けていることを示しています。

ClawMark のリリースは、真に信頼性の高い永続的な AI 同僚への進展を推進するために必要なインフラを提供します。