Can LLMs Be CEOs? Benchmarking Strategic Resource Reallocation with Multi-Role Agent Simulation

Technisches Resümee: Können LLMs CEOs sein? Benchmarking strategischer Ressourcenreallokation mittels Multi-Rollen-Agenten-Simulation

Problemstellung
Die aktuelle Evaluierung von Large Language Models (LLMs) konzentriert sich überwiegend auf isolierte kognitive Aufgaben – wie etwa logisches Denken, Wissensabruf und ökonomische Rationalität in stilisierten Umgebungen. Diese Benchmarks versäumen es, die definierende Herausforderung realer exekutiver Entscheidungsfindung zu adressieren: die Integration widersprüchlicher Empfehlungen spezialisierter Stakeholder unter Bedingungen von Informationsasymmetrie, organisatorischen Zwängen und zeitlichen Abhängigkeiten. Speziell mangelt es an systematischen Tests darüber, ob LLM-Agenten in der Lage sind, eine CEO-Ebene entsprechende strategische Ressourcenreallokation durchzuführen – eine Hebelentscheidung, die die Synthese fragmentierter, oft widersprüchlicher Informationsströme in kohärente Handlungen erfordert.

Methodik: CEO-BENCH
Um diese Lücke zu schließen, führen die Autoren CEO-BENCH ein, einen Multi-Agenten-Benchmark, der darauf ausgelegt ist, LLMs bei der strategischen Ressourcenreallokation über Geschäftsbereiche hinweg zu evaluieren.

• Aufgabendefinition: Die Kernaufgabe besteht darin, dass ein LLM-Agent als CEO fungiert, der ein Unternehmen mit mehreren Geschäftsbereichen leitet. Der Agent muss einen Plan zur Ressourcenreallokation (Verschiebung von Kapital, Talenten und Aufmerksamkeit) über mehrere Runden hinweg erstellen. Der Aktionsraum ist kontinuierlich und erfordert die Konstruktion eines Plans statt der Auswahl aus vordefinierten Optionen.
• Agenten-Architektur: Der Benchmark verwendet eine rollenbedingte Multi-View-Architektur. Der CEO-Agent erhält strukturierte Inputs von vier C-Level-Beratern (CFO, CTO, COO, CMO), die jeweils über unterschiedliche Prioritäten, private Signale und Beschränkungen verfügen.
  • Informationsasymmetrie: Die Berater teilen das Unternehmensszenario, besitzen jedoch unterschiedliche private Signale (z. B. sieht der CFO Finanzierungsbeschränkungen; der CTO Infrastrukturbeschränkungen), was den CEO dazu zwingt, lokal rationale, aber global inkompatible Empfehlungen zu versöhnen.
  • Multi-Runden-Dynamik: Szenarien entwickeln sich im Zeitverlauf, wobei vorangegangene Allokationen die zukünftigen Organisationszustände beeinflussen, was die Evaluierung der geschichtsensitiven strategischen Konsistenz ermöglicht.
• Szenariendesign: Der Benchmark umfasst 13 Szenarien, die in vier Schwierigkeitsstufen (Easy, Tension, Fragile, Adversarial) unterteilt sind, um die Leistung unter variierenden Ebenen von funktionsübergreifendem Konflikt und Unsicherheit zu testen. Im Gegensatz zu traditionellen Benchmarks vermeidet CEO-BENCH eine einzige „richtige Antwort“ und evaluiert stattdessen die Ausrichtung auf mehrere akzeptable strategische Profile (z. B. aggressives Wachstum vs. sequenzierte Neugewichtung).
• Evaluationsmetriken: Die Leistung wird über vier Dimensionen gemessen:
  1. Rollenintegration: Die Fähigkeit, widersprüchliche Perspektiven zu synthetisieren, anstatt in eine einzelne funktionale Sichtweise zu kollabieren.
  2. Bedingte Kühnheit (Conditional Boldness): Die Kalibrierung der strategischen Aggressivität auf den spezifischen Organisationszustand (Vermeidung von standardmäßiger Konservativität oder Rücksichtslosigkeit).
  3. Geschichtssensitive Urteilskraft: Die Einbeziehung vorangegangener Organisationsverläufe, um kurzsichtige Optimierung zu vermeiden.
  4. Planvalidität: Einhaltung harter Beschränkungen (Massenbilanz, Obergrenzen) und strategische Passgenauigkeit.

Kernergebnisse
Experimente wurden mit fünf Frontier-Modellen (Gemma-4-27B, GPT-OSS-20B, Qwen-Plus, Claude-3.5-Haiku und Nemotron-9B) über die 13 Szenarien hinweg durchgeführt.

• Strukturelle Validität vs. Strategische Kalibrierung: Alle Modelle erzielten hohe Werte in der Planvalidität (Erstellung strukturell machbarer Pläne), aber die Leistung wich bei der strategischen Kalibrierung (Kühnheit und Integration) drastisch ab.
• Modellleistung:
  • Gemma-4-27B und GPT-OSS-20B zeigten die stärkste Gesamtleistung, produzierten die höchste Anzahl valider Pläne und wiesen Robustheit in „Fragile“- und „Adversarial“-Settings auf.
  • GPT-OSS-20B zeichnete sich durch die beste Rollenintegration (81/100) aus, indem es die Zielkonflikte zwischen den Beratern effektiv artikulierte.
  • Bedingte Kühnheit war die schwächste Dimension über alle Modelle hinweg. Viele Modelle verfielen in eine konservative Ausführung, selbst wenn das Szenario mutiges Handeln erforderte.
• Fehlermuster: Die Studie identifizierte systematische Fehlermuster:
  • Einseitige Berater-Dominanz (Single-Advisor Capture): Modelle gewichteten oft die Perspektive eines Beraters über (z. B. der Folge der Wachstumslogik des CMO oder der Risikokontrolle des CFO), während sie andere ignorierten.
  • Konservativer Standard (Conservative Default): Eine Tendenz zur Unterreallokation, insbesondere bei Modellen wie Nemotron und Qwen.
  • Historische Amnesie: Schwächere Modelle behandelten jede Runde als isoliertes Optimierungsproblem, ignorierten vorangegangene Allokationspfade und führten so zu inkonsistenten Strategien (z. B. wiederholte Über- oder Unterfinanzierung).
  • Integrations–Kühnheits-Trade-off: Modelle, die sich intensiv mit widersprüchlichen Perspektiven auseinandersetzten, tendierten zu weniger entscheidungsfreudigen Aktionen, während jene, die entscheidungsfreudig waren, oft daran scheiterten, diverse Ansichten zu integrieren.

Bedeutung und Ansprüche
Das Paper skizziert die aktuelle Leistungsfähigkeitsschwelle von LLMs als organisationale Entscheidungsträger. Die Autoren behaupten, dass Frontier-Modelle zwar in der Lage sind, strukturell valide Pläne zu generieren, sie jedoch Schwierigkeiten mit dem erforderlichen integrativen exekutiven Urteilsvermögen haben, um funktionale Konflikte zu versöhnen und die strategische Kühnheit unter dynamischen Beschränkungen zu kalibrieren.

Der primäre Beitrag ist der Nachweis, dass bedeutsame Leistungsunterschiedungen in der exekutiven Entscheidungsfindung erst dann entstehen, wenn Rollenkonflikte, Informationsasymmetrien und dynamische Beschränkungen gemeinsam auferlegt werden. Die Ergebnisse legen nahe, dass die Tendenz zur Vorsicht und die Schwierigkeit, widersprüchliche funktionale Logiken zu synthetisieren, signifikante Hürden für KI-gestützte exekutive Systeme darstellen. Der Benchmark bietet einen Rahmen für die zukünftige Forschung, um über isolierte Denkaufgaben hinaus zu komplexen, hierarchischen und zeitlich abhängigen organisationalen Verhaltensweisen zu gelangen.