CEO-Bench: Can Agents Play the Long Game?
Das Paper stellt CEO-Bench vor, einen neuartigen Benchmark, der die Fähigkeit von Sprachmodell-Agenten bewertet, langfristige, unsichere und verrauschte reale geschäftliche Herausforderungen zu bewältigen, indem der Betrieb eines Startups über 500 Tage simuliert wird, was offenlegt, dass selbst modernste Modelle Schwierigkeiten haben, konsistent Rentabilität zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen brillanten, hyperintelligenten Roboter ein, um ein Startup zu leiten. Sie geben ihm eine Million Dollar, einen Laptop und einen Satz an Werkzeugen, mit denen er alles steuern kann – von der Preisgestaltung über das Marketing bis hin zur Forschung und dem Kundensupport. Ihr Ziel? Das Unternehmen über 500 Tage lang am Leben und profitabel zu halten.
Genau das testet das Paper CEO-BENCH. Die Forscher haben eine realistische, videospielähnliche Simulation eines Startups namens „NovaMind“ erstellt, um zu sehen, ob die heutigen fortschrittlichsten KI-Agenten in der Lage sind, den langen, chaotischen und unsicheren Job eines CEO zu bewältigen.
Hier ist die Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben, unter Verwendung einfacher Analogien:
1. Das Spiel: Ein 500-Tage-Marathon
Die meisten bisherigen Tests für KI waren wie Sprintrennen. Man fragte die KI nach einer spezifischen Aufgabe, die sie schnell erledigen sollte, wie zum Beispiel „behebe diesen fehlerhaften Code“ oder „schreibe eine E-Mail“. Die KI erhält ein klares Ziel, handelt und bekommt sofortiges Feedback.
CEO-BENCH ist ein Marathon in einem nebligen Wald.
- Der Nebel: Die KI kann nicht alles sehen. Sie weiß nicht genau, wie zufrieden die Kunden sind oder was die Konkurrenten planen. Sie muss basierend auf Hinweisen (wie Beschwerden in sozialen Medien oder Verkaufsdaten) raten.
- Der neblige Pfad: Entscheidungen brauchen lange, um Früchte zu tragen. Wenn man heute Geld in die Forschung steckt, sieht man vielleicht erst in Wochen ein besseres Produkt. Wenn man die Preise senkt, bekommt man jetzt vielleicht mehr Kunden, verliert aber später Geld.
- Das bewegliche Ziel: Der Wald verändert sich. Die Konkurrenz wird klüger, die Wirtschaft verschiebt sich und der Geschmack der Kunden ändert sich. Die KI muss ihre Karte ständig anpassen, während sie läuft.
2. Die Werkzeuge: Ein Schweizer Taschenmesser
Die KI spricht nicht nur; sie muss handeln. Sie operiert über ein Computerterminal, über das sie:
- Code schreiben kann, um riesige Tabellenkalkulationen (SQL-Datenbanken) zu analysieren.
- Preise für verschiedene Produkte festlegen kann.
- Werbeflächen kaufen kann.
- Verhandlungen mit großen Firmenkunden führen kann.
- In sozialen Medien posten kann, um den Ruf zu retten.
Man kann es sich wie einen Piloten vorstellen, der ein Flugzeug mit 34 verschiedenen Kontrollen steuert. Die KI muss herausfinden, welche Hebel sie wann ziehen muss und wie sich diese gegenseitig beeinflussen.
3. Die Ergebnisse: Die meisten KIs sind abgestürzt
Die Forscher ließen diese Simulation mit den klügsten KI-Modellen der Welt laufen (wie GPT-5.5, Claude Opus und andere). Die Ergebnisse waren ernüchternd:
- Die „Bankrott“-Rate: Die meisten KI-Agenten gingen pleite und hatten das Geld aufgebraucht, bevor die 500 Tage um waren. Sie waren wie Autofahrer, die ständig das Gaspedal durchdrückten, ohne auf die Tankanzeige zu achten.
- Die Überlebenden: Nur zwei Modelle, Claude Opus 4.8 und GPT-5.5, schafften es, das Rennen mit mehr Geld zu beenden, als sie begonnen hatten.
- Der Realitätscheck: Selbst die Gewinner wurden nicht reich. Sie endeten mit etwa 20–27 Millionen Dollar, aber die Forscher berechneten, dass eine perfekte Strategie über 2 Milliarden Dollar hätte einbringen können. Das bedeutet, selbst die besten KIs fehlt noch die „Geheimzutat“ echter Geschäftsstrategie.
4. Wie die Gewinner es geschafft haben
Die Forscher untersuchten genau, wie die Gewinner-KIs dachten. Sie fanden drei entscheidende Unterschiede zwischen den Gewinnern und den Verlierern:
- Sie waren Detektive: Anstatt zu raten, schrieben die Gewinner Code, um die Daten zu durchforsten. Sie analysierten vergangene Verhandlungsunterlagen, um herauszufinden, was Kunden bereit waren zu zahlen, obwohl dies der KI nicht direkt mitgeteilt wurde.
- Sie waren Hellseher: Die Gewinner ließen in ihrem „Kopf“ eigene „Mini-Simulationen“ laufen. Bevor sie einen großen Schritt machten, schrieben sie Code, um zu fragen: „Was passiert in 4 Wochen, wenn ich X tue?“ Dies half ihnen, Fallen zu vermeiden.
- Sie waren anpassungsfähig: Als der „Wettbewerber“ im Spiel stärker wurde, bemerkten die Gewinner dies schnell und änderten ihre Strategie. Die Verlierer machten einfach weiter wie bisher, bis sie scheiterten.
5. Die „regelbasierte“ Baseline
Interessanterweise testeten die Forscher auch ein einfaches, dummes Computerprogramm, das grundlegenden Regeln folgte (wie „halte die Preise immer bei 10 $“). Dieses einfache Programm verdiente 15 Millionen Dollar.
- Die Lektion: Die besten KI-Modelle gewannen kaum gegen ein einfaches, dummes regelbefolgendes Skript. Dies zeigt, dass KI zwar großartig darin ist, Anweisungen zu befolgen, aber immer noch Schwierigkeiten mit dem komplexen, langfristigen Denken hat, das für die Führung eines echten Unternehmens erforderlich ist.
Das Fazit
CEO-BENCH ist ein Weckruf. Es zeigt, dass KI-Agenten zwar sehr gut darin werden, kurzfristige Aufgaben zu erledigen (wie das Korrigieren eines einzelnen Tippfehlers), aber immer noch schlecht darin sind, langfristige Strategien zu entwickeln (wie das Steuern eines Unternehmens durch einen 500-tägigen Sturm).
Das Paper kommt zu dem Schluss, dass wir, um wirklich nützliche KI zu bauen, über das Testen von „Kann sie eine Aufgabe erledigen?“ hinausgehen und damit beginnen müssen, zu testen, ob sie „das langfristige Spiel spielen kann“ in einer Welt, die verrauscht, wechselhaft und voller verborgener Überraschungen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.