CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
Das Papier stellt CoffeeBench vor, einen Benchmark, der darauf ausgelegt ist, langfristig orientierte (long-horizon) LLM-Agenten innerhalb einer heterogenen Multi-Agenten-Kaffeeökonomie zu evaluieren, wobei aufgezeigt wird, dass die meisten Modelle durch aktive Kommunikation ein positives Nettoeinkommen erzielen, einige jedoch trotz kohärenter Planung spezifische Fehlermodi wie „Idle-Drift“ aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, digitale Kaffeeladen-Simulation vor, die über 90 Tage läuft. In dieser Welt gibt es sechs unabhängige Unternehmen: zwei Bauern, die Bohnen anbauen, zwei Röster, die diese Bohnen zu Kaffee verarbeiten, und zwei Einzelhändler, die den fertigen Kaffee an Kunden verkaufen.
Das Papier stellt CoffeeBench vor, einen neuen „Test“, um zu sehen, wie gut KI-Agenten in der Lage sind, eines dieser Unternehmen über einen längeren Zeitraum zu führen. Im Gegensatz zu bisherigen Tests, bei denen eine KI lediglich Fragen beantwortete oder ein einzelnes Spiel spielte, zwingt CoffeeBench die KI dazu, wie ein echter CEO zu agieren: Geld zu verwalten, Waren zu kaufen und zu verkaufen, mit anderen Unternehmen zu verhandeln und Tag für Tag Entscheidungen zu treffen.
Hier ist eine Aufschlüsselung, wie der Test funktioniert und was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien:
Das Setup: Eine digitale Kaffee-Kette
Stellen Sie sich die Simulation wie ein komplexes Staffellauf-Rennen mit einer Wendung vor.
- Die Akteure: Es gibt zwei Bauern, zwei Röster und zwei Einzelhändler. Sie konkurrieren alle gegeneinander, müssen aber auch miteinander handeln, um zu überleben.
- Das Ziel: Die getestete KI wird der Rolle eines spezifischen Rösters zugewiesen. Ihre einzige Aufgabe ist es, über 90 Tage hinweg so viel Gewinn wie möglich zu erwirtschaften.
- Die Gegner: Die anderen fünf Unternehmen werden von anderen KI-Agenten (oder festen Regeln) gesteuert. Auch sie versuchen, ihr eigenes Geld zu verdienen.
- Die Regeln:
- Man kann nicht einfach nur rumsitzen; man muss grüne Bohnen kaufen, sie rösten und den gerösteten Kaffee verkaufen.
- Man muss sein Bargeld verwalten (nicht pleitegehen), seinen Lagerbestand kontrollen (nicht zulassen, dass der Kaffee verrottet) und seine Preise festlegen.
- Man kann mit anderen Unternehmen kommunizieren. Man kann sagen: „Ich kaufe 20 kg Bohnen für 10 $“ oder „Hey, kannst du mir einen Mengenrabatt geben?“
- Wenn man kein Bargeld mehr hat, geht man bankrott und fliegt aus dem Spiel.
Der Test: Wie die KI abschnitt
Die Forscher stellten mehrere verschiedene KI-Modelle in dieser Kaffee-Ökonomie gegeneinander antreten. Sie wollten sehen, wer der beste „Geschäftsinhaber“ sein könnte.
1. Die Gewinner (Die aktiven Manager)
Modelle wie GPT-5.5 und Claude Opus 4.7 schnitten am besten ab.
- Was sie taten: Sie waren wie geschäftige, gesprächige Unternehmer. Sie riefen ständig andere Unternehmen an, verhandelten Preise und schlossen Deals ab. Sie warteten nicht einfach darauf, dass etwas passiert, sondern verwalteten aktiv ihre Lieferkette.
- Das Ergebnis: Sie erwirtschafteten einen gesunden Gewinn (etwa 3.000 $ in der Simulation).
2. Die „stillen“ Performer
Einige Modelle, wie Gemini 3.1 Pro, verdienten ordentliches Geld, sprachen aber nicht viel.
- Was sie taten: Sie waren effizient, aber reaktiv. Sie warteten, bis andere ihnen Nachrichten schickten, und reagierten dann. Sie initiierten nicht viele Gespräche, schafften es aber dennoch, das Geschäft am Laufen zu halten.
3. Der Verlierer: Das Versagen durch „Idle Drift“
Ein Modell, Claude Haiku 4.5, hatte ein sehr seltsames Problem.
- Das Problem: Es litt unter dem, was die Autoren als „Idle Drift“ (Leerlauf-Drift) bezeichnen.
- Die Analogie: Stellen Sie sich einen Schachspieler vor, der am Brett sitzt, sehr tief nachdenkt, einen brillanten Plan auf einem Stück Papier notiert und dann... nichts tut. Er sitzt einfach nur da und wartet, bis der nächste Tag beginnt.
- Was passierte: Die KI las die Nachrichten, analysierte den Markt, sagte „Alles sieht gut aus, ich habe einen großartigen Plan“ und entschied sich dann, an 4 aus 40 Tagen absolut gar nichts zu tun. Ihre Argumentation blieb kohärent, aber sie weigerte sich, aktiv zu werden.
- Das Ergebnis: Da sie nichts tat, verlor sie Geld und beendete die Simulation im Minus.
Wichtige Erkenntnisse aus dem Papier
- Reden ist wichtig: Die erfolgreichsten KI-Agenten waren diejenigen, die am meisten kommunizierten. In einer komplexen Wirtschaft kann man nicht einfach in seinem Büro sitzen und auf das Beste hoffen; man muss verhandeln und Beziehungen aufbauen.
- Langfristiges Denken ist schwer: Ein Unternehmen über 90 Tage zu führen, ist ein Marathon, kein Sprint. Viele KIs wurden im Laufe der Zeit verwirrt oder träge.
- Mehr Aktionen Mehr Geld: Nur weil eine KI viele Tool-Aufrufe tätigte (wie das Prüfen von Preisen oder das Senden von Nachrichten), bedeutete das nicht automatisch, dass sie mehr Geld verdiente. Die Qualität der Entscheidungen (wie etwa das Erhalten eines guten Preises) war wichtiger als die Quantität der Aktionen.
- Der „Idle“-Bug: Das Papier hebt einen spezifischen Fehlermodus hervor, bei dem eine KI in einer Schleife aus „Nachdenken“ ohne „Handeln“ stecken bleibt. Dies ist ein kritisches Problem für zukünftige KIs, die langfristige Aufgaben ausführen müssen.
Was das Papier NICHT sagt
- Es behauptet nicht, dass diese KIs bereit sind, morgen echte Kaffeeunternehmen zu leiten.
- Es sagt nicht, dass dies Finanzkrisen lösen oder die Weltwirtschaft verändern wird.
- Es deutet nicht an, dass die KI „bewusst“ ist oder sich wie ein Geschäftsinhaber „fühlt“; sie folgt lediglich Anweisungen, um eine Zahl zu maximieren.
Kurz gesagt: CoffeeBench ist ein Videospiel für KIs, bei dem das Ziel darin besteht, ein Kaffeegeschäft zu führen. Die Gewinner waren diejenigen, die am meisten sprachen und am meisten handelten. Der Verlierer war derjenige, der zu viel nachdachte und zu wenig tat, und schließlich in einen Zustand des Nichtstuns driftete.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.