Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
Dieser Beitrag stellt Workspace-Bench vor, einen groß angelegten Benchmark mit realistischen Dateiabhängigkeiten und vielfältigen Aufgaben zur Bewertung der Lernfähigkeiten von KI-Agenten in Arbeitsumgebungen, der zeigt, dass aktuelle Modelle bei der Bewältigung komplexer übergreifender Datei-Reasoning- und Entscheidungsprozesse deutlich hinter der menschlichen Leistung zurückbleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten Roboter-Assistenten ein, der Sie bei Ihrer Arbeit unterstützt. Sie geben ihm einen Ordner voller Dateien: Tabellenkalkulationen, E-Mails, PDFs, Code und alte Entwürfe. Ihr Ziel ist es, dass der Roboter die richtigen Informationen findet, herausfindet, wie sie zusammenhängen, und einen Bericht verfasst.
Workspace-Bench ist ein riesiger, realistischer Test, der prüfen soll, ob heutige KI-Roboter diese Aufgabe tatsächlich erledigen können, ohne sich zu verirren, zu verwirren oder Fakten zu erfinden.
Hier ist eine Aufschlüsselung der Erkenntnisse der Studie unter Verwendung einfacher Analogien:
1. Das Problem: Der „saubere Raum" vs. der „unordentliche Schreibtisch"
Die meisten früheren Tests für KI waren so, als würde man einem Schüler ein einziges, perfektes Lehrbuch geben und eine Frage stellen. Die KI musste lediglich die Seite lesen und antworten.
- Die Realität: Echte Arbeit ist wie ein unordentlicher Schreibtisch. Sie haben 20.000 Dateien, die über 74 verschiedene Formate verteilt sind (Excel, Code, PDFs, E-Mails). Manche Dateien sind alte Entwürfe, manche sind Endversionen und manche sind nur Notizen.
- Der Test: Die Forscher bauten 5 verschiedene „digitale Büros" (für einen Logistikmanager, einen Forscher, einen Entwickler usw.). Jedes Büro ist ein riesiger, unordentlicher digitaler Raum mit Tausenden von Dateien. Anschließend gaben sie der KI 388 verschiedene Aufgaben, wie zum Beispiel: „Verfassen Sie einen Strategiebericht basierend auf den Verkaufsdaten des letzten Jahres und den E-Mails dieser Woche."
2. Die große Enthüllung: Die KI verirrt sich noch immer
Die Forscher testeten 28 verschiedene Kombinationen aus KI-Gehirnen (Modellen) und KI-Körpern (Software-Frameworks, die der KI erlauben, Werkzeuge zu nutzen).
- Die Punktzahl: Die beste KI-Kombination bekam nur etwa 69 % der Details richtig. Die durchschnittliche KI erreichte weniger als 50 %.
- Der menschliche Vergleich: Als echte Menschen denselben Test durchführten (mit Hilfe von Werkzeugen), erzielten sie 81 %.
- Die Analogie: Stellen Sie sich ein Rennen vor, bei dem die menschlichen Läufer in 10 Minuten fertig sind, aber der schnellste Roboter 20 Minuten braucht und trotzdem über seine eigenen Füße stolpert. Die Studie besagt, dass die aktuelle KI für echte Büroarbeit „weit davon entfernt ist, zuverlässig zu sein".
3. Warum scheitern sie? (Die drei Hauptengpässe)
Die Studie fand drei spezifische Gründe, warum die KI Schwierigkeiten hat:
- Das „Zeitreise"-Problem (Abstammungsverfolgung):
Echte Arbeitsumgebungen haben Dateien mit Namen wiereport_v1,report_reviewedundreport_final. Die KI greift oft auf die falsche Version zurück (zum Beispiel einen alten Entwurf statt der Endversion). Sie versteht den „Stammbaum" der Dateien nicht. - Das „Übersetzungs"-Problem (heterogenes Verständnis):
Die KI ist hervorragend im Lesen von Text, hat aber Schwierigkeiten, ein Diagramm in einer PowerPoint-Präsentation mit den Rohdaten in einer Excel-Tabelle zu verbinden oder eine Code-Datei neben einem Meeting-Transkript zu verstehen. Sie behandelt verschiedene Dateitypen als separate Sprachen, zwischen denen sie nicht übersetzen kann. - Das „Nadel im Heuhaufen"-Problem:
Wenn die Aufgabe schwierig wird (wenn die KI Verbindungen zwischen 6 oder mehr verschiedenen Dateien finden muss), sinkt die Leistung der KI drastisch. Sie wird von der schieren Datenmenge überwältigt und übersieht die entscheidenden Verknüpfungen.
4. Die „Kosten" des Versuchens
Die Studie bemerkte etwas Interessantes darüber, wie die KI versucht, Probleme zu lösen:
- Der „Räder drehen"-Effekt: Einige KI-Setups versuchten sehr hart, sprachen über 60 Schritte lang mit sich selbst und verbrauchten eine massive Menge an Rechenleistung (Tokens). Trotz all dieser Bemühungen bekamen sie die Antwort dennoch falsch.
- Der „Smart & Fast"-Effekt: Die am besten performende KI (OpenClaw + Opus-4.7) löste Probleme schnell, mit weniger Schritten und weniger Rechenleistung, und bekam die richtige Antwort. Dies deutet darauf hin, dass die Qualität des Denkens wichtiger ist als bloßes härteres Bemühen.
5. Die Zukunft: Fünf Entwicklungsstufen
Die Autoren stellen sich vor, wie KI lernt, in Büros zu arbeiten, in fünf Stufen, wie beim Klettern einer Leiter:
- L0 (Der passive Berater): Die KI gibt nur Ratschläge; der Mensch erledigt die Arbeit.
- L1 (Der passive Ausführer): Der Mensch sagt: „Öffne Datei A und kopiere sie nach Datei B." Die KI führt es aus, versteht aber nicht, warum.
- L2 (Der Abhängigkeits-Logiker): Die KI beginnt zu verstehen, dass Datei A von Datei B abhängt. (Aktuelle KI hat Schwierigkeiten, hier weiterzukommen).
- L3 (Der proaktive Entdecker): Die KI kann sich im gesamten Büro umsehen, die benötigten Dateien eigenständig finden und das Problem lösen. (Dies ist die „Fähigkeits-Singularität", die die Studie besagt, dass wir noch nicht erreicht haben).
- L4 (Der sich selbst entwickelnde Partner): Die KI lernt aus jeder Aufgabe, merkt sich Ihre Gewohnheiten und wird im Laufe der Zeit besser in Ihrem spezifischen Job.
Zusammenfassung
Workspace-Bench ist eine Realitätsprüfung. Es zeigt, dass die KI zwar besser im Reden und Schreiben wird, aber immer noch sehr schlecht darin ist, die unordentliche, vernetzte und versionskontrollierte Welt eines echten menschlichen Büros zu navigieren. Solange die KI nicht zuverlässig Dateiverläufe nachverfolgen und verschiedene Dokumententypen verknüpfen kann, wird sie einen menschlichen „Piloten" benötigen, um sie auf Kurs zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.