APEX-Agents
Die Autoren stellen APEX-Agents vor, einen Open-Source-Benchmark mit 480 realistischen, langfristigen Aufgaben aus Bereichen wie Investment Banking und Anwaltschaft, um die Leistung von KI-Agenten bei der Ausführung komplexer, anwendungsübergreifender Workflows zu bewerten, wobei Gemini 3 Flash mit 24,0 % die beste Pass@1-Rate erzielte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Der große „Berufs-Praxistest" für KI-Agenten – oder: Können Roboter wirklich arbeiten?
Stell dir vor, du hast einen neuen Mitarbeiter eingestellt. Er ist extrem schnell, kennt sich mit Computern aus und liest Bücher in Sekunden. Aber die große Frage ist: Kann er auch wirklich einen echten Job machen? Kann er einen komplexen Auftrag von einem Anwalt, einem Unternehmensberater oder einem Banker erledigen, ohne dabei den Kopf zu verlieren?
Das ist genau das, was die Forscher von Mercor mit ihrer neuen Studie „APEX–Agents" herausfinden wollten. Sie haben einen riesigen, realistischen Test entwickelt, um zu sehen, wie gut künstliche Intelligenz (KI) im echten Arbeitsalltag funktioniert.
Hier ist die Geschichte dahinter, einfach erklärt:
1. Das Szenario: Ein riesiges digitales Büro
Stell dir vor, die Forscher haben 33 verschiedene „Welten" gebaut. Jede Welt ist wie ein digitales Büro, das vollgestopft ist mit echten Arbeitsmaterialien: E-Mails, Excel-Tabellen, Verträge, Kalender und Chat-Verläufe.
- Die Aufgabe: In diesen Büros arbeiten Experten (echte Menschen aus der Branche), die komplexe Projekte starten. Zum Beispiel: „Erstelle eine Strategie, wie wir in Asien expandieren" oder „Analysiere die Finanzen eines Unternehmens für einen Börsengang."
- Der Test: Die KI-Agenten (die Roboter) müssen in diese digitalen Büros gehen und genau diese Aufgaben lösen. Sie dürfen nicht googeln (das wäre wie Cheaten), sondern müssen mit den vorhandenen Dateien arbeiten, genau wie ein echter Mensch.
2. Die Kandidaten: Die besten Roboter im Ring
Die Forscher haben 8 verschiedene KI-Modelle gegeneinander antreten lassen. Man kann sie sich wie verschiedene Arten von Praktikanten vorstellen:
- Die Super-Praktikanten (die geschlossenen Modelle wie Gemini 3 Flash, GPT-5.2 und Claude Opus 4.5), die von großen Tech-Firmen entwickelt wurden.
- Die Open-Source-Praktikanten (die freien Modelle), die von der Community gebaut wurden.
3. Das Ergebnis: Noch sind wir nicht im „Zukunftsbüro" angekommen
Das Ergebnis war überraschend und etwas ernüchternd, aber auch ehrlich:
- Die Besten sind gut, aber nicht perfekt: Der Gewinner war Gemini 3 Flash. Er hat es geschafft, 24 % der Aufgaben perfekt zu lösen. Das klingt erst mal gut, aber stell dir vor, du würdest eine Prüfung machen und 24 von 100 Punkten bekommen – das ist noch keine bestandene Note für einen echten Job.
- Die anderen: Die anderen Top-Modelle lagen zwischen 18 % und 23 %. Die Open-Source-Modelle hatten es sehr schwer und lagen unter 5 %.
- Das Problem der Inkonsistenz: Wenn man den Robotern 8 Versuche gab, schafften sie es in etwa 40 % der Fälle, die Aufgabe irgendwann zu lösen. Aber das ist wie ein Sportler, der manchmal Goldmedaillen gewinnt und manchmal einfach nur stolpert. Sie sind nicht zuverlässig genug für den echten Alltag.
4. Wo haken sie? (Die Fehleranalyse)
Warum schaffen die Roboter es nicht? Die Forscher haben sich ihre Fehler genau angesehen:
- Der „Doom-Loop" (Teufelskreis): Viele Roboter laufen in einer Endlosschleife fest. Sie denken immer wieder nach, machen dieselben Schritte und kommen nicht weiter, bis die Zeit abläuft. Das ist wie ein Schüler, der immer wieder denselben Satz in einem Aufsatz schreibt, weil er nicht weiterweiß.
- Zu viel Reden, zu wenig Tun: Manche Modelle verbrauchen riesige Mengen an Rechenleistung (wie ein Auto, das viel Benzin braucht, aber nicht schneller fährt), während andere sehr effizient, aber weniger clever sind.
- Datei-Chaos: Manchmal löschen Roboter versehentlich wichtige Dateien, obwohl sie gar nicht darum gebeten wurden. Ein echter Mitarbeiter würde das nicht tun!
5. Warum ist das wichtig?
Bisher haben KI-Tests oft nur einfache Aufgaben geprüft (wie „Schreibe einen kurzen Text"). Das ist wie ein Fahrsimulator, bei dem man nur geradeaus fahren muss. APEX–Agents ist wie eine echte Prüfung im Stadtverkehr mit Baustellen, Fußgängern und Stau.
Die Studie zeigt uns:
- KI kann schon viel: Sie kann komplexe Dinge verstehen und planen.
- Aber sie ist noch nicht bereit: Für echte, hochbezahlte Jobs in Anwaltskanzleien oder Banken sind sie noch nicht zuverlässig genug. Sie brauchen noch viel mehr Training, um nicht in „Doom-Loops" zu verfallen und konsistent gute Ergebnisse zu liefern.
Das Fazit
Die Forscher haben ihre Daten und ihre Testumgebung kostenlos für alle veröffentlicht. Das ist wie ein offenes Lehrbuch, damit sich alle Forscher und Entwickler zusammenraufen und die Roboter besser machen können.
Zusammengefasst: Wir haben sehr clevere KI-Assistenten, die gerade erst anfangen zu lernen, wie man einen echten Bürojob macht. Sie sind vielversprechend, aber noch nicht so zuverlässig wie ein erfahrener Mensch. Es wird noch eine Weile dauern, bis wir sie alle in unseren Büros haben – aber der Weg dorthin ist jetzt klarer als je zuvor.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.