TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
Die Arbeit stellt TerminalWorld vor, eine skalierbare Datenengine, die automatisch 1.530 hochpräzise Terminalaufgaben aus 80.870 realen Aufzeichnungen rückentwickelt, um KI-Agenten zu bewerten, und dabei zeigt, dass aktuelle Frontier-Modelle Schwierigkeiten mit authentischen Arbeitsabläufen haben und im Vergleich zu bestehenden, von Experten kuratierten Benchmarks schlecht abschneiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man die „Kommandozeile" eines Computers verwendet – diesen schwarzen Bildschirm, auf dem Programmierer Textbefehle eingeben, anstatt auf Symbole zu klicken. Lange Zeit war die Art und Weise, wie wir diese Roboter testeten, wie das Lösen eines Rätsels, das von einem strengen Lehrer gestellt wurde. Der Lehrer würde sagen: „Hier ist ein kniffliges Rätsel; löse es!" Wenn der Roboter das Rätsel löste, hielten wir ihn für intelligent.
Aber die Autoren dieses Papiers, TERMINALWORLD, erkannten ein Problem: Das echte Leben ist kein Rätsel. Das echte Leben ist chaotisch, unvorhersehbar und voller spezifischer Werkzeuge, die Menschen tatsächlich jeden Tag nutzen. Ein Roboter, der ein Rätsel lösen kann, könnte dennoch scheitern, wenn er gebeten wird, tatsächlich einen Server zu reparieren oder Dateien in einem echten Büro zu organisieren.
So haben sie dies behoben, einfach erklärt:
1. Der „Fliege an der Wand"-Ansatz
Anstatt künstliche Aufgaben zu erfinden, gingen die Forscher auf eine öffentliche Website namens asciinema. Das ist wie ein YouTube-Kanal, aber für Computerbildschirme. Entwickler laden freiwillig Aufnahmen ihrer tatsächlichen Arbeitssitzungen hoch.
- Die Analogie: Stellen Sie sich vor, Sie möchten einem Schüler das Kochen beibringen. Anstatt ein Kochbuch von Grund auf zu schreiben (das vielleicht zu perfekt oder seltsam sein könnte), gehen Sie in eine Küche, nehmen 80.000 Stunden lang echte Köche bei der Zubereitung echter Mahlzeiten auf und fragen dann: „Okay, was haben sie gerade getan?"
- Das Ergebnis: Sie sammelten 80.870 echte Aufnahmen von Entwicklern bei der Arbeit.
2. Der „Roboter-Koch"-Motor
Rohaufnahmen sind chaotisch. Sie enthalten Tippfehler, gescheiterte Versuche und lange Listen von Systemnachrichten, die irrelevant sind. Die Forscher bauten eine spezielle „Datenmaschine" (ein intelligentes Softwaresystem), um dies zu bereinigen.
- Schritt 1: Das Ziel verstehen. Die Maschine betrachtet eine chaotische Aufnahme und fragt eine superschlaue KI: „Was hat diese Person eigentlich zu erreichen versucht?" Sie verwandelt ein chaotisches Protokoll in eine klare Anweisung: „Blockieren Sie diese schlechten IP-Adressen und speichern Sie die Liste in dieser Datei."
- Schritt 2: Die Küche aufbauen. Die Aufnahme sagt Ihnen nicht, welche Werkzeuge der Koch hatte. Die Maschine muss erraten, welche Software und Dateien benötigt wurden, eine perfekte digitale Kopie dieser Computerumgebung erstellen (unter Verwendung eines sogenannten „Docker-Containers") und sicherstellen, dass die ursprünglichen Befehle dort tatsächlich funktionieren würden.
- Schritt 3: Das Sicherheitsnetz. Da es keinen Lehrer gibt, der die Arbeit bewertet, erstellt die Maschine ihren eigenen „Test". Sie führt die Lösung aus und prüft: „Ist die Datei erschienen? Ist die Liste korrekt?" Wenn der Test fehlschlägt, korrigiert sie den Test, bis er perfekt ist.
3. Die neue „Realitäts"-Prüfung
Aus diesen 80.000 Aufnahmen schufen sie eine massive neue Testbank namens TERMINALWORLD.
- Sie enthält 1.530 validierte Aufgaben.
- Sie deckt 18 verschiedene Arten echter Jobs ab, vom Einrichten von Cloud-Servern bis hin zur Behebung von Datenbankfehlern.
- Sie verwendet 1.280 verschiedene Computerbefehle, von denen 91 % in früheren Tests noch nie gesehen wurden.
Sie erstellten auch eine kleinere, extrem schwierige Version namens TERMINALWORLD-VERIFIED (200 Aufgaben), die von Menschen doppelt überprüft wurde, um sicherzustellen, dass sie zu 100 % korrekt ist.
4. Die schockierenden Ergebnisse
Sie setzten die intelligentesten KI-Modelle der Welt (wie die neuesten Versionen von Claude, GPT und Gemini) und ihre „Agenten"-Frameworks (die Software, die der KI hilft, den Computer zu nutzen) diesem neuen Test aus.
Hier ist, was sie herausfanden:
- Das „Effizienz-Paradoxon": Je intelligenter die KI ist, desto mehr hat sie manchmal Schwierigkeiten. Die beste KI bestand nur 62,5 % der Aufgaben. Wenn sie scheiterten, gaben sie nicht einfach auf; sie versuchten weiter, verschwendeten enorme Mengen an Zeit und Geld, indem sie die falschen Wege erkundeten. Es ist wie ein Schüler, der denselben verwirrenden Absatz immer wieder neu liest, anstatt um Hilfe zu bitten.
- Die „Rätsel vs. Realität"-Lücke: Es gab fast keine Verbindung zwischen der Leistung einer KI bei den alten „Rätsel"-Tests (Terminal-Bench) und ihrer Leistung bei diesem neuen „Realitäts"-Test.
- Analogie: Eine KI könnte ein Champion beim Lösen von Sudoku-Rätseln sein (der alte Test), aber völlig versagen, wenn es darum geht, tatsächlich im Verkehr ein Auto zu fahren (der neue Test). Die alten Tests waren einfach zu unterschiedlich von der echten Arbeit.
- Agenten vs. Menschen: Wenn die KI eine Aufgabe löste, tat sie dies selten auf die gleiche Weise wie der Mensch in der Aufnahme. Sie nahmen unterschiedliche Wege, um zum selben Ziel zu gelangen. Das ist eigentlich gut! Es bedeutet, dass die KI nicht nur kopiert; sie findet ihren eigenen Weg, auch wenn dieser Weg länger ist als der des Menschen.
Das Fazit
Das Papier argumentiert, dass wir Tests, die von Experten in einem Labor erfunden wurden, nicht mehr vertrauen können. Um zu wissen, ob eine KI wirklich bereit ist, in der realen Welt zu arbeiten, müssen wir sie an echten menschlichen Arbeitsabläufen testen, die chaotisch, komplex und ständig im Wandel sind.
TERMINALWORLD ist ein Werkzeug, das echte menschliche Arbeit automatisch in einen Test verwandelt und sicherstellt, dass sich unsere Tests für KI parallel zu den Entwicklungen der Entwickler weiterentwickeln, wenn diese ihre Arbeitsweise ändern. Es ist ein Schritt vom Testen „Können Sie ein Rätsel lösen?" zum Testen „Können Sie den Job erledigen?"
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.