WorkBench Revisited: Workplace Agents Two Years On
Dieses Paper betrachtet den WorkBench-Benchmark zwei Jahre nach seiner ursprünglichen Evaluierung neu und zeigt auf, dass Frontière-Agenten wie Claude Opus 4.8 signifikant höhere Aufgabenabschlussraten (89 % gegenüber 43 %) und drastisch reduzierte schädliche Fehler (2,5 % gegenüber 26 %) erreicht haben, während es gleichzeitig demonstriert, dass sich Leistungsfähigkeit und Sicherheit gemeinsam verbessern, Open-Weight-Modelle den Zugang zu Hochleistungstechnologie demokratisiert haben und bestimmte grundlegende Fehlertypen, die zu irreversiblen Schäden führen, weiterhin bestehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich WorkBench als einen riesigen, simulierten Büro-Spielplatz vor. In diesem Spielplatz befinden sich digitale Versionen eines Kalenders, eines E-Mail-Posteingangs, einer Kundenliste und eines Projektboards. Das Ziel des Papers ist es zu testen, wie gut KI-„Agenten“ (intelligente Computerprogramme) wie menschliche Angestellte agieren können: E-Mails lesen, Meetings planen und Kundendatensätze korrigieren, ohne dabei ein Chaos anzurichten.
Die Autoren beschlossen, diesen Spielplatz zwei Jahre nach der ersten Eröffnung wieder zu besuchen. Hier ist das, was sie herausgefunden haben, einfach erklärt:
1. Das „Vorher-Nachher“-Foto
In 2024 (Die Vergangenheit):
Die beste verfügbare KI zu dieser Zeit (GPT-4) war wie ein sehr eifriger, aber tollpatschiger Praktikant. Von 690 Aufgaben erledigte sie nur 43 %. Schlimmer noch: Wenn sie versuchte zu helfen, verursachte sie etwa 26 % der Zeit versehentlich Probleme (wie etwa eine E-Mail an die falsche Person zu senden). Sie gab sich zwar Mühe, war aber oft verwirrt oder gefährlich.
In 2026 (Die Gegenwart):
Die Autoren führten den Test mit den neuesten KI-Modellen erneut durch. Der Gewinner (Claude Opus 4.8) ist wie eine Führungskraft, die schon seit Jahren im Job ist. Er erledigte 89 % der Aufgaben. Noch beeindruckender: Er verursachte nur in 2,5 % der Fälle versehentlichen Schaden. Er ist nicht nur schneller; er ist auch viel sicherer.
2. Die große Überraschung: Sicherheit und Geschicklichkeit gehen Hand in Hand
Normalerweise denken wir, dass ein Roboter rücksichtsloser wird, wenn wir ihn schneller oder intelligenter machen. Dieses Paper sagt: Das ist nicht wahr für diese KI-Agenten.
- Die Analogie: Denken Sie an ein Rennauto. In der Vergangenheit waren die schnellsten Autos auch diejenigen, die am wahrscheinlichsten einen Unfall bauten. Jetzt sind die schnellsten Autos auch diejenigen mit den besten Bremsen und Sicherheitsmerkmalen. Die Modelle, die die meisten Aufgaben erledigten, waren auch diejenigen, die die wenigsten Fehler machten.
3. Die „Magie“ der Open-Source-Modelle
Das Paper hebt einen massiven Wandel darin hervor, wer das Rennen gewinnt.
- Der alte Weg: Nur teure, „proprietäre“ Modelle (wie jene von großen Tech-Unternehmen) konnten die Aufgabe gut bewältigen.
- Der neue Weg: „Open-Weight“-Modelle (die wie Open-Source-Software sind, die jeder herunterladen und verbessern kann) sind nun fast genauso gut, aber für einen Bruchteil des Preises.
- Die Metapher: Stellen Sie sich vor, Sie bräuchten ein Luxusauto, um quer durch das Land zu fahren. Jetzt können Sie ein brandneues, leistungsstarkes Elektroauto von einem anderen Hersteller bekommen, das nur 1/100 so viel kostet, und es bringt Sie zum selben Ziel. Das Paper stellt fest, dass die günstigste leistungsfähige KI heute aus chinesischen Open-Source-Laboren stammt, während die absolut leistungsstärkste immer noch ein westliches proprietäres Modell ist.
4. Was hat sich am Test selbst geändert?
Die Autoren gaben zu, dass sie beim ursprünglichen Test im Jahr 2024 Fehler gemacht haben. Es war, als würde man eine Mathearbeit korrigieren, bei der der Lösungsschlüssel einen Tippfehler hatte.
- Die Korrektur: Sie haben die Regeln korrigiert. Zum Beispiel behoben sie einen Bug, bei dem der Test nach „die letzten 5 Tagen“ fragte, der Lösungsschlüssel aber für „die letzten 4 Tage“ berechnet wurde.
- Das Ergebnis: Als die Autoren den Champion von 2024 (GPT-4) unter den korrigierten Regeln erneut testeten, sprang dessen Wert von 49 % auf 57 %. Dies beweist, dass die KI nicht plötzlich klüger wurde, sondern der Test einfach fairer wurde.
5. Welche Fehler passieren immer noch?
Obwohl die KI viel besser ist, ist sie nicht perfekt. Das Paper weist auf einige hartnäckige Fehler hin, die selbst bei den besten Modellen noch auftreten:
- Das „Falsches Datum“-Problem: Wenn die KI angewiesen wird, ein Diagramm für „heute“ zu erstellen, das System aber denkt, dass heute ein Datum in der Vergangenheit ist, versucht die KI vielleicht, Daten für einen Tag zu zeichnen, der noch gar nicht stattgefunden hat. Es ist, als würde man versuchen, heute einen Bericht über das Wetter von morgen zu schreiben.
- Das „Abgebrochene Suche“-Problem: Einige Werkzeuge zeigen nur die obersten 5 Ergebnisse an. Die KI sieht manchmal 5 Ergebnisse, nimmt an, dass dies alles ist, und hört auf zu suchen, wodurch sie das korrekte Ergebnis an Nummer 6 übersieht.
- Das „Wörtlich vs. Logisch“-Problem: Manchmal kommt die KI bei mathematischen Dingen durcheinander. Wenn eine Aufgabe lautet „Wenn das Wachstum höher als der Durchschnitt ist“, vergleicht die KI vielleicht einen Prozentsatz (wie 5 %) mit einer Rohzahl (wie 100 Stunden) und vertut sich in der Logik.
Das Fazit
Vor zwei Jahren waren KI-Agenten tollpatschige Praktikanten, die oft Dinge kaputt machten. Heute sind die besten von ihnen zuverlässige Profis, die die Arbeit erledigen und selten Schaden anrichten. Während die leistungsstärksten Modelle immer noch teuer sind, haben Open-Source-Alternativen aufgeholt, sodass sie für viele Aufgaben rentabel sind. Der Test selbst wurde bereinigt, um fairer zu sein, und die Ergebnisse zeigen, dass KI echte, messbare Fortschritte am Arbeitsplatz macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.