The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution
Das Paper stellt Toolathlon vor, ein Benchmark für Sprachagenten, der mit 108 realistischen, langfristigen Aufgaben über 32 Anwendungen hinweg die erheblichen Defizite aktueller Modelle bei der Ausführung komplexer, mehrstufiger Workflows in echten Umgebungen aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen hochintelligenten, aber noch etwas unerfahrenen Assistenten, der dir im Alltag helfen soll. Er kann E-Mails schreiben, Termine planen und Daten analysieren. Bisher haben wir diesen Assistenten nur in einer Art Schulhof-Test geprüft: Man gab ihm einfache, klare Aufgaben wie „Schreibe eine E-Mail an Anna" oder „Suche das Wetter für morgen". Er bestand diese Tests fast immer.
Aber das ist nicht das echte Leben, oder?
Im echten Leben ist die Welt chaotisch. Ein echter Auftrag ist selten so klar wie „Schreibe eine E-Mail". Eher so: „Pass auf, ich habe gerade eine E-Mail von einem Kunden bekommen, der sich über eine Lieferung beschwert. Schau mal im Kalender nach, wann er bestellt hat, prüfe im Lager-System, ob das Teil noch da ist, und wenn nicht, schreib ihm eine Entschuldigung und schick ihm einen Gutschein. Oh, und check noch schnell, ob wir das Problem schon mal hatten."
Das ist genau das Problem, das die Forscher mit TOOLATHLON (dem „Werkzeug-Zehnkampf") angehen wollen.
Hier ist die Erklärung des Papers in einfachen Worten, mit ein paar bildhaften Vergleichen:
1. Das Problem: Der „Schulhof" vs. der „Dschungel"
Bisherige Tests waren wie ein Schulhof. Alles ist sauber, die Regeln sind klar, und es gibt nur wenige Hindernisse. Wenn ein KI-Modell dort gut abschneidet, heißt das noch lange nicht, dass es im echten Leben funktioniert.
Im echten Leben ist es wie ein dichter Dschungel:
- Es gibt viele verschiedene Werkzeuge (Apps wie Notion, Google Kalender, Datenbanken, E-Mail-Programme).
- Die Umgebung ist nicht leer. Es gibt schon E-Mails im Postfach, alte Dateien im Ordner und tausende Einträge in Datenbanken.
- Die Anweisungen sind oft vage („Mach mal was mit den Daten"), und der Assistent muss selbst herausfinden, was genau gemeint ist.
2. Die Lösung: TOOLATHLON – Der echte Zehnkampf
Die Forscher haben einen neuen Test entwickelt, den sie TOOLATHLON nennen. Stell dir das wie einen olympischen Zehnkampf vor, aber für KI-Agenten.
- 32 verschiedene Sportarten (Apps): Der Assistent muss nicht nur E-Mails schreiben, sondern auch mit komplexen Systemen wie Finanzdatenbanken (Snowflake), Projektmanagement-Tools (Notion) oder sogar Server-Steuerungen (Kubernetes) umgehen können.
- 604 Werkzeuge: Es gibt eine riesige Werkzeugkiste. Der Assistent muss das richtige Werkzeug für die Aufgabe finden, ohne sich zu verirren.
- Echte Szenarien: Das ist der wichtigste Teil. Früher haben Forscher leere Datenbanken benutzt. Bei TOOLATHLON ist das Postfach voll mit echten E-Mails, das Lager voll mit Produkten und der Kalender voll mit Terminen. Der Assistent muss sich in diesem Chaos zurechtfinden, genau wie ein Mensch.
- Vage Anweisungen: Die Aufgaben sind nicht wie eine Checkliste. Sie sind wie ein flüsternder Chef: „Kümmere dich mal um die Homework-Einsendungen." Der Assistent muss selbst erraten, wo die Dateien liegen, wer die Studenten sind und wie er sie benotet.
3. Das Ergebnis: Die KI ist noch nicht bereit für den Job
Als die Forscher die besten aktuellen KI-Modelle (wie Claude, GPT-5, DeepSeek) in diesem Dschungel getestet haben, war das Ergebnis ernüchternd:
- Der Beste hat nur 38,6 % bestanden: Selbst das stärkste Modell (Claude-4.5-Sonnet) hat nur bei etwas mehr als einem Drittel der Aufgaben alles richtig gemacht.
- Die Schwächen:
- Verwirrung im Chaos: Wenn es zu viele Daten auf einmal gibt (z. B. eine riesige E-Mail-Liste), verlieren die KIs den Faden.
- Fehler beim Werkzeuggebrauch: Sie versuchen manchmal, Werkzeuge zu benutzen, die es gar nicht gibt, oder sie drücken auf den falschen Knopf.
- Aufgabe abbrechen: Bei langen Aufgaben (die viele Schritte brauchen) geben sie oft zu früh auf und sagen: „Ich habe fertig", obwohl noch viel zu tun ist.
4. Warum ist das wichtig?
Stell dir vor, du willst einen Roboter als Butler einstellen. Bisher hast du ihn nur im Wohnzimmer getestet, wo er nur das Licht an- und ausschalten musste. TOOLATHLON ist wie der Test, bei dem du ihn in eine volle Küche schickst, wo er kochen, den Abwasch machen und gleichzeitig den Lieferdienst koordinieren muss.
Das Paper sagt uns: Unsere KIs sind noch keine echten Butler. Sie sind brillante Schüler, die den Schulhof beherrschen, aber im echten, chaotischen Alltag noch viel lernen müssen.
Zusammenfassend:
TOOLATHLON ist ein neuer, sehr harter Test, der KIs in eine realistische, chaotische Umgebung wirft, um zu sehen, ob sie wirklich imstande sind, komplexe Jobs im echten Leben zu erledigen. Und die Nachricht ist: Wir haben noch einen langen Weg vor uns, bis diese Assistenten wirklich verlässlich sind. Aber mit diesem Test wissen wir jetzt genau, wo wir ansetzen müssen, um sie besser zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.