Can LLMs Be CEOs? Benchmarking Strategic Resource Reallocation with Multi-Role Agent Simulation

技術要約：LLMはCEOになれるか？マルチロール・エージェント・シミュレーションによる戦略的リソース再配分のベンチマーク

問題提起
現在の大規模言語モデル（LLM）の評価は、主に孤立した認知タスク（推論、知識検索、定型的な設定における経済的合理性など）に焦点を当てている。これらのベンチマークは、現実世界の経営判断における決定的な課題、すなわち、情報の非対称性、組織的制約、および時間的依存関係の下で、専門化されたステークホルダーからの相反する推奨事項を統合するという課題に対処できていない。具体的には、LLMエージェントがCEOレベルの戦略的なリソース再配分（断片化され、しばしば矛盾する情報ストリームを、一貫した行動へと合成する高度なレバレッジを要する意思決定）を実行できるかどうかに関する体系的なテストが不足している。

手法：CEO-BENCH
このギャップを埋めるため、著者らは、複数の事業部門にわたる戦略的なリソース再配分におけるLLMの性能を評価するためのマルチエージェント・ベンチマークであるCEO-BENCHを導入する。

• タスク定義： コアとなるタスクは、複数の事業部門を統括するCEOとして振る舞うLLMエージェントである。エージェントは、複数ラウンドにわたってリソース（資本、人材、注力すべき領域）を移動させるリソース再配分計画を作成しなければならない。アクション空間は連続的であり、あらかじめ定義された選択肢から選ぶのではなく、計画を構築することが求められる。
• エージェント・アーキテクチャ： 本ベンチマークは、ロール条件付きのマルチビュー・アーキテクチャを採用している。CEOエージェントは、4人のC-suiteアドバイザー（CFO、CTO、COO、CMO）から構造化された入力を受け取る。各アドバイザーは、独自の優先順位、プライベートな信号、および制約を持っている。
  • 情報の非対称性： アドバイザーたちは共通の企業シナリオを共有しているが、それぞれ異なるプライベートな信号（例：CFOは財務制約を把握し、CTOはインフラのボトルネックを把握している）を保有している。これにより、CEOは、局所的には合理的だがグローバルには互換性のない推奨事項を調整することを余儀なくされる。
  • マルチラウンドのダイナミクス： シナリオは時間の経過とともに進化し、過去の配分が将来の組織状態に影響を与える。これにより、履歴に敏感な戦略的一貫性の評価が可能となる。
• シナリオ設計： ベンチマークには、難易度を4つのティア（Easy, Tension, Fragile, Adversarial）に分けた13のシナリオが含まれている。これは、部門間の対立や不確実性が高まる状況下でのパフォーマンスをテストするためである。従来のベンチマークとは異なり、CEO-BENCHは単一の「正解」を避け、複数の許容可能な戦略プロファイル（例：積極的な成長戦略 vs 段階的な再編成）への適合性を評価する。
• 評価指標： パフォーマンスは以下の4つの次元で測定される。
  1. ロール統合（Role Integration）： 単一の機能的な視点に陥ることなく、相反する視点を合成する能力。
  2. 条件的大胆さ（Conditional Boldness）： 戦略的な積極性を特定の組織状態に合わせて調整する能力（デフォルトの保守主義や無謀さを回避すること）。
  3. 履歴に敏感な判断（History-Sensitive Judgment）： 短絡的な最適化を避けるために、過去の組織の軌跡を取り入れる能力。
  4. 計画の妥当性（Plan Validity）： ハードな制約（質量バランス、上限値）および戦略的適合性の遵守。

主な結果
実験は、5つのフロンティアモデル（Gemma-4-27B, GPT-OSS-20B, Qwen-Plus, Claude-3.5-Haiku, Nemotron-9B）を用いて、13のシナリオに対して実施された。

• 構造的妥当性と戦略的較正： すべてのモデルが高い計画の妥当性（構造的に実行可能な計画の生成）を達成したが、戦略的較正（大胆さと統合）においてパフォーマンスが大きく分かれた。
• モデルの性能：
  • Gemma-4-27B と GPT-OSS-20B は、最も高い総合パフォーマンスを示し、最も多くの有効な計画を生成し、「Fragile」および「Adversarial」の設定においても堅牢性を示した。
  • GPT-OSS-20B は、アドバイザー間のトレードオフを効果的に説明しており、ロール統合（81/100）において優れていた。
  • 条件的大胆さは、すべてのモデルにおいて最も弱い次元であった。多くのモデルは、シナリオが大胆な行動を求めている場合でも、デフォルトで保守的な実行を選択した。
• 失敗モード： 研究により、体系的な失敗パターンが特定された：
  • 単一アドバイザーへの捕捉（Single-Advisor Capture）： モデルはしばしば、一つのアドバイザーの視点（例：CMOの成長ロジックやCFOのリスク管理）を過度に重視し、他のアドバイザーの視点を無視する傾向があった。
  • 保守的なデフォルト（Conservative Default）： 特にNemotronやQwenのようなモデルにおいて、リソースの再配分を過少に行う傾向が見られた。
  • 歴史的忘却（Historical Amnesia）： 性能の低いモデルは、各ラウンドを独立した最適化問題として扱い、過去の配分経路を無視したため、一貫性のない戦略（例：過剰または過少な資金提供の繰り返し）を招いた。
  • 統合と大胆さのトレードオフ： 相反する視点と深く関与するモデルほど決定的な行動を生み出しにくく、逆に決定的な行動をとるモデルは多様な視点の統合に失敗する傾向があった。

意義と主張
本論文は、組織の意思決定者としてのLLMの現在の能力の境界線を明確にしている。著者らは、フロンティアモデルは構造的に妥当な計画を生成することはできるものの、部門間の対立を調整し、動的な制約の下で戦略的な大胆さを較正するために必要な統合的な執行判断においては苦戦していると主張している。

主要な貢献は、役割の衝突、情報の非対称性、および動的な制約が同時に課されたときにのみ、エグゼクティブな意思決定における意味のあるパフォーマンスの差が生じることを示した点にある。研究結果は、慎重さへのバイアスと、相反する機能的ロジックを合成することの困難さが、AI支援型のエグゼクティブ・システムにとって大きな障壁であることを示唆している。本ベンチマークは、孤立した推論タスクを超えて、複雑で階層的、かつ時間的依存性を持つ組織行動を評価するための将来の研究に向けた枠組みを提供するものである。