技術要約: CEO-BENCH

問題提起

現在の言語モデル（LM）エージェントは、ソフトウェアエンジニアリング、カスタマーサービス、ウェブワークフローといった、孤立した短期間のタスクにおいて習熟度を示している。しかし、これらのタスクは通常、明確な目標、即時的なフィードバック、および短いアクションシーケンスを伴う。現実世界の課題には、未だ十分にテストされていない、より洗練された能力の組み合わせが必要である。すなわち、不確実性下での長いホライゾン（長期的な展望）のナビゲーション、ノイズの多い環境からの情報獲得、変化する状況への適応、そして一貫した目標に向けて複数の相互依存的な意思決定をオーケストレートする能力である。既存のベンチマーク（例：SWE-bench、WebArena）は、結果が迅速に観察される短いエピソードに焦点を当てている一方、他のもの（例：Vending-Bench、Accounting-Bench）は、限定的な意思決定セットと概ね安定した環境を扱っている。エージェントが、相互に依存するアクションを調整し、遅延したフィードバックから隠れた状態を推論し、非定常な市場条件下で戦略を考案する能力をテストするための評価フレームワークが不足している。

手法

著者らは、500日間のスタートアップ運営をシミュレートすることで、汎用的な長期的ホライゾンにおけるエージェントの能力を評価するベンチマーク、CEO-BENCHを導入する。

環境設計

• シミュレーションの範囲: エージェントは、100万ドルの現金を持ち、顧客ゼロの状態からスタートする架空のサブスクリプション・ソフトウェア企業（「NovaMind」）を管理する。シミュレーションは500日間（約71週間）実行される。
• 状態とダイナミクス: 環境は部分観測的であり、ノイズが多く、非定常である。
  • 顧客: 26の異なる顧客グループが存在し、各グループには個別の価格および品質への嗜好を持つ個々のエージェントが含まれる。顧客行動は、不透明なLLMジャッジではなく、メカニスティックなルール（例：ミクロ経済学的な参加ルール）によって制御される。
  • フィードバックループ: 意思決定には、遅延を伴う不確実な結果が伴う。収益は請求サイクルに従って発生し、R&Dには時間がかかり、ミスは後にチャーン（解約）やレピュテーションを通じて表面化する。
  • 外部要因: マクロ経済サイクル、競合他社のショック（適応的に品質期待値を引き上げる競合）、および変化する顧客の嗜好によって、環境は進化する。
• アクション・インターフェース: エージェントは、以下の機能を持つプログラマブルなPythonインターフェース（novamind_api）を介して操作を行う。
  • 34のツール: 価格設定、成長、製品品質、信頼性、エンタープライズセールス、情報獲得、および公開コミュニケーションをカバーする。
  • 19テーブルのデータベース: 台帳、サブスクリプション、広告リード、サポートチケット、ソーシャルメディアフィードを含む、現実的なSQLデータベース。
  • ワークフロー: エージェントは、データベースをクエリし、データを分析し、ツールをカスタムワークフローとして構成するために、Pythonスクリプトを記述・実行する。

実験設定

• 評価対象モデル: 本研究では、クローズドウェイトモデル（例：GPT-5.5、Claude Opus 4.8/4.7、Gemini 3 Flash）とオープンウェイトモデル（例：DeepSeek-V4-Pro、GLM-5.1）の混合を評価する。
• プロトコル: 各モデルは、固定された乱数シードを用いて、3回の500日間シミュレーションを実行する。成功は最終的な手元現金によって測定される。現金が0ドル未満（破産）になった場合、シミュレーションは終了する。
• ベースライン: ルールベースのヒューリスティック・ベースライン（LLM呼び出しなし）が含まれており、これは価格とクォータを固定しつつ、使用量に基づいてキャパシティを調整するものである。

主な貢献

1. 新しいベンチマーク: CEO-BENCHは、コーディング、データ分析、および戦略的思考の統合を必要とする、現実的かつ大規模なスタートアップ・シミュレーションにおいてエージェントを評価する初のベンチマークである。
2. メカニスティックなリアリズム: LLMをジャッジとして利用するベンチマークとは異なり、CEO-BENCHは顧客行動、市場ダイナミクス、および財務結果に対して明示的かつメカニスティックなルールを使用しており、成功が脆弱なシミュレーションの搾取ではなく、真の戦略的スキルに依存することを保証している。
3. 粒度の細かいアクション空間: インターフェースは、きめ細かなアクション（例：特定の顧客グループへの広告やR&Dのターゲット設定）を可能にし、戦略と失敗モードの組み合わせ爆発的な広がりを生み出している。
4. 包括的な分析: 本論文は、定量的メトリクス（現金の推移、生存日数）と、エージェントの振る舞い（メモの内容、コードの複雑性、ツール使用パターン）に関する定性的分析の両方を提供している。

結果

• 全体的なパフォーマンス: ほとんどの最先端モデルは、破産せずにシミュレーションを完了することに苦戦している。Claude Opus 4.8とGPT-5.5のみが、ベストケースにおいて開始時の100万ドルを超える現金残高を維持して終了した。
• ベースラインとの比較: ルールベースのベースラインは、最終的な現金残高を約1,576万ドルに達した。Claude Opus 4.8（約2,780万ドル）およびGPT-5.5（約2,130万ドル）はこれを上回ったものの、推定される理論的上限値である約22億ドルには遠く及ばず、このタスクが未だ飽和していないことを示している。
• 行動パターン:
  • 探索 vs. 利用: 高性能なモデル（Opus 4.8、GPT-5.5）は、多様な戦略を積極的に探索し、将来のシナリオをシミュレートし、頻繁に適応した。対照的に、性能の低いモデルは、受動的な「現金保存」戦略を採用するか、成長と品質の調整に失敗することが多かった。
  • 高度な分析: 強力なエージェントは、キャッシュ予測のために顧客コホートをシミュレートするコードを記述したり（Opus 4.8）、交渉履歴をマイニングして隠れた顧客の嗜好を推論したり（GPT-5.5）した。
  • ツールの使用: 成功したモデルは、アクションをツール間でより均等に分散させ、他のモデルと比較して、ターゲットを絞ったグループ特有の改善に対してより高い割合の開発支出を割り当てた。
• アブレーション研究:
  • 競合の難易度: 競合他社を除去するか、その適応性を低下させると、タスクの難易度が大幅に低下した。これは、非定常な市場圧力が重要な課題要素であることを裏付けている。
  • タイムホライゾン: ホライゾンを50日間に短縮した場合でも、ほとんどのモデルは正の利益を生み出すことができず、現在のエージェントが短期的なオーケストレーションにおいても苦戦していることを示唆している。
  • ハーネスの感度: 標準的なエージェント・ハーネス（例：Claude Code、Codex）に切り替えると、アクション数が大幅に減少し、パフォーマンスも低下した。これは、実行環境の重要性を強調している。

意義と主張

本論文は、CEO-BENCHが「時間をかけた持続的かつ適応的な進歩を駆動するために必要な知能を測定するための第一歩」を踏み出したと主張している。それは、現在のモデルのローカルなツール習熟度と、現実世界の運用に求められる持続的な戦略的制御との間にある決定的なギャップを浮き彫りにしている。

著者らは、エージェントは個々のタスクを実行することはできるものの、遅延したフィードバック、隠れた状態、および変化する状況に直面した際、それらの能力を一貫した適応的行動へと統合することに失敗すると指摘している。このベンチマークは、以下の能力において、将来のモデルに大きな「ヘッドルーム（改善の余地）」があることを明らかにしている：

1. ノイズの多いデータから隠れた構造を推論する。
2. 遅延した結果を予測する。
3. 競争圧力に適応する。
4. 相互に依存する意思決定を調整する。

本論文は、孤立したタスクの実行者を超えていくためには、エージェントが進化するシステムを遠い目標に向けて組織化できるかどうかをテストする評価が必要であると結論付けており、CEO-BENCHはその測定のために設計されている。