OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
Dieses Paper führt OmegaUse-OfficeVal ein, einen neuen Benchmark bestehend aus 100 langfristigen Office-Suite-Aufgaben mit ökonomischer Fundierung (menschliche Arbeitszeit und Aufgabenpreis), um LLM-Agenten zu evaluieren, wobei aufgezeigt wird, dass aktuelle Modelle zwar signifikant günstiger und schneller als Menschen sind, es jedoch dennoch nicht schaffen, eine menschenähnliche Qualität bei der Aufgabenerfüllung zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Computer nicht einfach nur darauf wartet, dass Sie auf Schaltflächen klicken, sondern die Arbeit tatsächlich für Sie erledigt. Dies ist der Traum von „KI-Agenten“ – intelligenten Programmen, die Ihre Anweisungen lesen, Ihre Dateien öffnen und eine Aufgabe abschließen können, ganz ähnlich wie ein digitaler Praktikant. Eine Zeit lang waren diese Agenten gut darin, kurze, einfache Tricks auszuführen, wie etwa eine einzelne E-Mail zu schreiben oder einen kurzen Artikel zusammenzufassen. Aber der wahre Test ihrer Leistungsfähigkeit ist, ob sie einen ganzen Arbeitstag im Büro bewältigen können: einen unordentlichen Bericht entgegenzunehmen, ihn umzuformatieren, Diagramme hinzuzufügen und ihn perfekt zu speichern, ohne dabei verwirrt zu werden oder die Datei zu beschädigen. Die große Frage, die sich Forscher stellen, lautet: Können diese digitalen Arbeiter die Aufgabe tatsächlich bewältigen, und ist es das Geld wert, verglichen mit der Einstellung eines echten Menschen?
Hier kommt OmegaUse-OfficeVal ins Spiel, ein neues „Zeugnis“, das von Forschern bei Baidu entwickelt wurde, um genau dies zu testen. Sie haben nicht einfach nur fiktive, leichte Aufgaben erfunden; sie haben einen Benchmark mit 100 realen Herausforderungen aus dem Büroalltag erstellt, wie etwa das Reparieren einer fehlerhaften Tabellenkalkulation oder das Verwandeln eines Rohentwurfs in eine polierte Präsentation. Was diesen Test besonders macht, ist, dass sie jedem einzelnen Task ein „Preisschild“ angebracht haben. Sie haben genau gemessen, wie lange ein Mensch dafür benötigt hat, und geschätzt, wie viel es kosten würde, jemanden dafür zu bezahlen. Dann ließen sie mehrere der klügsten KI-Modelle der Welt dieselben Rätsel lösen. Das Ergebnis? Die KI-Agenten sind unglaublich schnell und günstig – sie erledigen Aufgaben oft in Minuten für Centbeträge – aber sie machen immer noch zu viele Fehler, um der Endfertigung vertraut werden zu können. Obwohl sie besser werden, haben sie das Niveau eines zuverlässigen menschlichen Junior-Mitarbeiters noch nicht ganz erreicht.
Der Aufbau: Ein digitaler Hindernisparcours
Um zu verstehen, was die Forscher getan haben, stellen Sie sich das Büro als eine riesige, unordentliche Werkstatt vor. In der Vergangenheit bestand das Testen von KI darin, sie zu fragen, ein paar Blöcke zu stapeln. Wenn sie einen fallen ließ, war sie gescheitert. Aber echte Büroarbeit ist eher wie das Backen eines komplexen Kuchens von Grund auf: Man muss Zutaten sammeln (Dateien), einem Rezept folgen (Anweisungen) und wenn man den Frost verbrennt, ist der ganze Kuchen ruiniert.
Die Forscher erstelleten einen Datensatz namens OmegaUse-OfficeVal, der 100 dieser „Kuchenback“-Aufgaben enthält. Dies waren keine einfachen „Schreibe ein Gedicht“-Anfragen. Es waren lange, mehrstufige Jobs, die Word-Dokumente, PowerPoint-Folien und Excel-Tabellen beinhalteten. Einige Aufgaben dauerten im Durchschnitt 2,32 Stunden für einen Menschen. Das ist eine lange Zeit, um die Konzentration eines Computers aufrechtzuerhalten!
Was diesen Benchmark einzigartig macht, ist seine „ökonomische Fundierung“. Die Forscher fragten nicht nur: „Hat die KI die Aufgabe abgeschlossen?“ Sie fragten: „Welchen Wert hat sie geschaffen?“ Um dies zu tun, verfolgten sie zwei Dinge für jeden Task:
- Menschliche Arbeitszeit: Wie lange ein echter Mensch dafür gebraucht hat.
- Aufgabe-Preis-Proxy: Eine grobe Schätzung dessen, was diese Aufgabe kosten würde, wenn man einen Freelancer dafür engagiert (mit einer Spanne von etwa 3,65 $ bis 29,22 $ pro Aufgabe).
Dies ermöglichte es ihnen, die KI nicht nur nach Geschwindigkeit zu vergleichen, sondern auch danach, ob sie tatsächlich Geld spart oder nur billige Fehler macht.
Der Test: KI gegen den menschlichen Praktikanten
Die Forscher stellten mehrere erstklassige KI-Modelle gegen eine „menschliche Baseline“. Diese Baseline war kein CEO oder ein Genie; es war ein erfahrener Junior-Mitarbeiter oder Praktikant. Die Menschen erhielten dieselben Anweisungen und Dateien wie die KI und wurden gebeten, die Arbeit zu erledigen.
Um die Ergebnisse zu bewerten, ließen die Forscher nicht einfach einen Menschen auf die fertige Datei schauen und sagen: „Sieht gut aus!“ Das wäre zu langsam und subjektiv. Stattdessen schrieben sie codebasierte Verifizierer. Stellen Sie sich einen Roboter-Inspektor vor, der die fertige Datei automatisch überprüft. Er öffnet das Dokument, prüft, ob das Deckblatt vorhanden ist, zählt, ob die Diagramme die richtige Größe haben, und stellt sicher, dass kein Text versehentlich gelöscht wurde. Wenn die Datei defekt ist oder einen wichtigen Teil vermisst, gibt der Roboter eine Null. Dies machte das Testen fair, schnell und reproduzierbar.
Die Ergebnisse: Schnell und günstig, aber nicht perfekt
Als sich der Staub gelegt hatte, erzählten die Ergebnisse eine klare Geschichte.
Die menschliche Baseline:
Die menschlichen Arbeiter erreichten im Durchschnitt 27,79 von einer möglichen Punktzahl der Perfektion. Sie waren zuverlässig. Sie beschädigten die Dateien selten und bekamen die meisten Details richtig hin. Sie kosteten jedoch Zeit und Geld. Im Durchschnitt kostete eine menschliche Aufgabe etwa 6,86 $ und dauerte 2,32 Stunden.
Die KI-Agenten:
Die KI-Modelle waren eine andere Geschichte. Sie waren blitzschnell und unglaublich günstig.
- Geschwindigkeit: Die schnellste KI (DeepSeek-V4-Pro) schloss eine Aufgabe in nur 0,184 Stunden (etwa 11 Minuten) ab.
- Kosten: Die günstigste KI (Qwen3.7-Plus) kostete nur 0,2152 $ pro Aufgabe. Das ist weniger als ein Becher Kaffee!
Aber hier ist der Haken: Sie waren bei der Arbeit nicht besonders gut.
Das beste KI-Modell (GLM-5.2) erreichte nur 17,91. Das ist signifikant niedriger als die menschliche Punktzahl von 27,79. Während die KI schneller und günstiger war, machte sie mehr Fehler. Sie vergaß oft, ein Inhaltsverzeichnis hinzuzufügen, brachte die Formatierung durcheinander oder erstellte eine Datei, die nicht geöffnet werden konnte.
Die Forscher fanden heraus, dass die KI am meisten mit den schwierigsten, längsten Aufgaben zu kämpfen hatte. Wenn eine Aufgabe erforderte, dass ein Mensch lange arbeitete (über 2 Stunden), sank die Leistung der KI noch weiter. Es scheint, dass KI großartig bei schnellen, einfachen Jobs ist, sich aber verliert, wenn die „Long-Horizon“-Planung kompliziert wird.
Das Urteil: Noch nicht bereit für den Einsatz
Die Studie deutet darauf an, dass wir uns in einem „Tal“ der KI-Büroarbeit befinden. Die Technologie ist unbestreitbar nützlich, weil sie so günstig und schnell ist. Wenn Sie einen Rohentwurf oder eine schnelle Zusammenfassung benötigen, ist eine KI ein fantastisches Werkzeug. Aber wenn Sie ein poliertes, professionelles Dokument benötigen, das bereit ist, an einen Kunden gesendet zu werden, ist die KI noch nicht so weit.
Die Autoren schlossen die Idee explizit aus, dass die KI die Büroarbeit bereits gelöst hat. Sie zeigten, dass die KI zwar „wesentlich billiger und schneller“ ist, aber „noch nicht das Niveau der menschlichen Lieferqualität erreicht hat“. Die Lücke zwischen einem menschlichen Mitarbeiter und einem KI-Agenten ist noch immer groß, wenn es um die endgültige Qualität des Produkts geht.
Dennoch ist das Paper optimistisch in Bezug auf die Zukunft. Durch die Erstellung dieses strengen Tests mit echten Wirtschaftsdaten haben die Forscher eine Roadmap geschaffen. Sie wissen genau, wo die KI scheitert (lange Aufgaben, komplexe Formatierung) und können nun daran arbeiten, diese spezifischen Probleme zu beheben. Für den Moment scheint die beste Strategie eine Partnerschaft zu sein: Lassen Sie die KI die schwere Arbeit und die schnellen Entwürfe erledigen, aber behalten Sie einen Menschen im Prozess, um das Endprodukt zu prüfen und die Fehler zu korrigieren. Der Traum vom „Vibe Working“ – bei dem die KI einfach den ganzen Job übernimmt – ist noch ein Work in Progress, aber die Reise hat offiziell begonnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.