: Benchmarking AI Agents for Long-Term Planning and Consistent Execution
Die Studie stellt YC-Bench vor, einen Open-Source-Benchmark, der die Fähigkeit von KI-Agenten bewertet, über ein Jahr simulierte Startup-Unternehmen zu führen, und zeigt auf, dass nur wenige Modelle erfolgreich sind, wobei die Nutzung von Scratchpads der wichtigste Erfolgsfaktor und die Erkennung adversarischer Klienten die häufigste Fehlerursache ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du bist der Chef einer kleinen Start-up-Firma. Du hast genau 200.000 Euro Startkapital und ein Jahr Zeit, um daraus eine Million zu machen. Aber es gibt einen Haken: Du bist nicht allein. Du musst mit künstlicher Intelligenz (KI) arbeiten, die als dein „digitaler Assistent" agiert.
Das Papier stellt einen neuen Test vor, genannt YC-Bench, der genau das prüft: Kann eine KI über einen langen Zeitraum hinweg kluge Entscheidungen treffen, ohne den Faden zu verlieren?
Hier ist die Erklärung, wie in einem einfachen Gespräch:
1. Das Spiel: Ein Jahr im Chaos
Stell dir das Jahr wie eine lange Reise mit einem Auto vor.
- Die KI ist der Fahrer.
- Das Auto ist deine Firma.
- Der Treibstoff ist dein Geld.
Die KI muss jeden Tag entscheiden:
- Welche Aufträge nimmt sie an? (Manche sind lukrativ, andere Fallen.)
- Welchen Mitarbeiter setzt sie ein? (Ein Mitarbeiter ist gut im Programmieren, aber schlecht im Design.)
- Wie verwaltet sie die Gehälter? (Je mehr Arbeit erledigt wird, desto höher steigen die Gehälter – das ist wie ein Auto, das mit jedem Kilometer mehr Sprit verbraucht.)
Das Tückische: Nicht alle Kunden sind ehrlich. Etwa ein Drittel sind „Betrüger". Sie versprechen viel Geld, aber wenn die KI den Auftrag annimmt, wird die Arbeit plötzlich unmöglich groß. Die KI muss lernen, diese Betrüger zu erkennen, indem sie sich an frühere Misserfolge erinnert.
2. Das große Problem: Das vergessliche Gehirn
Das größte Hindernis für die KI ist ihr Gedächtnis.
Stell dir vor, die KI hat ein kurzes Arbeitsgedächtnis, das nur die letzten 20 Gespräche speichern kann. Alles, was davor passiert ist, wird gelöscht.
- Die Lösung: Die KI hat ein Notizbuch (Scratchpad).
- Die Aufgabe: Sie muss sich selbst notieren: „Achtung! Kunde X ist ein Betrüger!" oder „Mitarbeiter Y ist der Beste für dieses Projekt."
Wenn die KI dieses Notizbuch nicht benutzt, vergisst sie nach 20 Schritten, dass Kunde X sie schon einmal betrogen hat, und fällt genau denselben Fehler wieder und wieder. Das ist wie ein Autofahrer, der immer wieder in dieselbe Baustelle fährt, weil er das Schild „Stau" nicht aufschreibt.
3. Was haben sie herausgefunden?
Die Forscher haben 12 verschiedene KI-Modelle (die „Superhirne" der Welt) getestet. Das Ergebnis war überraschend:
- Die meisten scheitern: Von 12 KIs haben nur 3 am Ende mehr Geld als am Anfang. Die anderen 9 sind pleite gegangen.
- Die Gewinner: Die KI Claude Opus 4.6 hat es am besten gemacht (sie machte aus 200k fast 1,3 Millionen). Aber die KI GLM-5 war fast genauso gut und kostete dabei 11-mal weniger Rechenleistung. Das ist wie ein Sportwagen, der fast so schnell ist wie ein Ferrari, aber nur Benzin für ein Kleinstauto verbraucht.
- Der Hauptgrund für das Scheitern: Die KIs waren zu naiv. Sie haben die Betrüger-Kunden nicht erkannt (47 % aller Pleiten!). Oder sie haben ihre Mitarbeiter falsch eingesetzt (wie einen Koch, der versucht, ein Auto zu reparieren).
4. Die vier Typen von KI-Fehlern
Die Forscher haben genau hingeschaut, warum die KIs gescheitert sind. Sie haben vier Typen identifiziert:
- Der Blindgänger (z. B. Gemini Flash): Er macht immer genau das Gleiche. Er nimmt jeden Auftrag an, ohne nachzudenken. Er hat kein Notizbuch und lernt aus nichts. Er fährt einfach weiter, bis das Geld ausgeht.
- Der Träumer (z. B. Claude Sonnet): Er schreibt kluge Regeln in sein Notizbuch („Ich darf nur ehrliche Kunden nehmen!"), ignoriert sie aber sofort, wenn es knifflig wird. Er weiß, was er tun sollte, tut es aber nicht.
- Der Zauderer (z. B. Grok): Er merkt, dass er pleitegeht und schreibt es auf. Aber er tut nichts, um es zu ändern. Er sitzt nur da und starrt auf das leere Tankanzeige.
- Der Meister (z. B. Claude Opus): Er schreibt sich Regeln auf, überprüft sie ständig, passt sie an und hält sich daran. Er ist der einzige, der wirklich „langfristig" denkt.
5. Die große Erkenntnis
Das Wichtigste an diesem Papier ist nicht, welche KI am cleversten ist, sondern wie sie denkt.
Die KIs sind heute sehr gut darin, eine einzelne Frage zu beantworten. Aber wenn sie über Monate hinweg strategisch planen müssen, Gedächtnis behalten und aus Fehlern lernen müssen, stolpern sie oft.
Die Metapher am Ende:
Eine KI ohne Notizbuch ist wie ein Vergesslicher, der versucht, ein Unternehmen zu führen. Er vergisst, wem er Geld schuldet, wer ihm vertraut und wer ihn betrogen hat.
Eine KI mit einem guten Notizbuch ist wie ein erfahrener Manager, der seine Erfahrungen aufschreibt und daraus lernt.
Fazit: Damit KIs in der echten Welt funktionieren (nicht nur in kurzen Tests), müssen sie lernen, ihre Gedanken zu organisieren und über lange Zeiträume hinweg konsequent zu bleiben. Und das beste Werkzeug dafür ist ein einfaches, aber konsequent geführtes Notizbuch.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.