EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions
Dieses Paper führt EnterpriseClawBench ein, einen Benchmark, der aus proprietären, realen Enterprise-Agenten-Sitzungen abgeleitet wurde und 852 reproduzierbare Aufgaben evaluiert, um zu demonstrieren, dass aktuelle Modelle nur begrenzten Erfolg (0,663) erzielen und dass zukünftige Evaluierungen ein mehrdimensionales Framework anwenden müssen, das Harness-Modell-Kombinationen, Artefaktlieferung, visuelle Qualität, Kosten, Laufzeit und Skill-Transfer-Verhalten anstatt eines einzelnen Scores berichtet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, neuen Mitarbeiter, der Dateien lesen, Werkzeuge benutzen und Berichte schreiben kann. Sie möchten wissen, ob er tatsächlich gut bei der Arbeit ist.
Die meisten bisherigen Tests für KI-„Mitarbeiter“ waren wie eine Quizfrage in einem ruhigen Klassenzimmer. Es wurde verlangt, dass sie Fragen beantworten oder Code isoliert schreiben. Aber echte Büroarbeit ist kein ruhiges Quiz; es ist eine chaotische, laute Umgebung, in der man unordentliche E-Mails lesen, spezifische Anhänge öffnen, kaputte Links reparieren und ein fertiges Produkt (wie eine Tabellenkalkulation oder eine Präsentation) bis zum Ende des Tages liefern muss.
Dieses Paper stellt EnterpriseClawBench vor, eine neue Methode, um KI-Agenten basierend auf echten, tatsächlichen Arbeitssitzungen aus einem Unternehmen zu testen, anstatt auf erfundenen Übungstests.
Hier ist die Aufschlüsselung dessen, was sie getan und gefunden haben, unter Verwendung einfacher Analogien:
1. Die „Recyclinganlage“ für echte Arbeit
Die Forscher begannen mit einem riesigen Archiv aus tausenden echten Arbeitssitzungen aus ihrem eigenen Unternehmen. Diese Sitzungen waren unordentlich: Sie enthielten private Chats, kaputte Dateipfade und vage Anweisungen.
Stellen Sie sich dieses Archiv wie einen Haufen rohes, unraffiniertes Erz vor. Das Paper beschreibt eine „Konstruktions-Pipeline“ (eine Recyclinganlage), die dieses Erz reinigt:
- Der Filter: Sie warfen Aufgaben heraus, die zu kurz waren, fehlende Dateien hatten oder auf Links angewiesen waren, die defekt waren.
- Der Übersetzer: Sie nahmen mehrstufige, unordentliche Konversationen und schrieben sie in klare, einmalige Anweisungen um (wie das Umwandeln einer ausschweifenden E-Mail-Kette in eine klare „To-Do“-Liste).
- Die Sicherheitsprüfung: Sie stellten sicher, dass jede Aufgabe immer wieder ausgeführt werden konnte, ohne dass geheime Unternehmenspasswörter benötigt wurden.
Aus 5.291 Rohversuchen erhielten sie 852 hochwertige, reproduzierbare Aufgaben. Sie erstellten auch eine kleinere „Lite“-Version mit 120 Aufgaben, die von Menschen manuell überprüft wurden, um sicherzustellen, dass die Qualität perfekt war.
2. Der „Fahrer und Auto“-Test
Eine wichtige Erkenntnis dieses Papers ist, dass man das KI-Modell (den „Motor“) nicht einfach im Vakuum testen kann. Man muss die KI + das Software-Framework (das „Auto“) zusammen testen.
- Die Analogie: Stellen Sie sich vor, Sie testen einen Ferrari-Motor. Wenn Sie ihn in einen rostigen, kaputten Lkw einbauen, wird er nicht gut performen. Wenn Sie ihn in einen eleganten Sportwagen einbauen, fliegt er.
- Das Ergebnis: Das Paper testete 3 lackierte Kombinationen aus „Motoren“ (wie GPT-5.5, Sonnet 4.6) und „Autos“ (Software-Frameworks wie Claude Code, OpenClaw, Hermes).
- Die Überraschung: Einige leistungsstarke Motoren schnitten schlecht ab, wenn sie mit dem falschen Framework kombiniert wurden. Zum Beispiel sank die Punktzahl eines Top-Modells erheblich, wenn es mit dem „Hermes“-Framework verwendet wurde, weil das Framework das Modell daran hinderte, bestimmte notwendige Aktionen auszuführen. Dies beweist, dass die Software-Hülle genauso wichtig ist wie das KI-Gehirn.
3. Das „Zeugnis“ besteht aus mehr als nur einer Note
In der Schule bekommt man eine einzige Endnote. In diesem Benchmark sagen die Forscher, dass das für die echte Arbeit nicht ausreicht. Sie bewerten die Agenten auf einem mehrdimensionalen Zeugnis:
- Haben sie den Job erledigt? (Artefakt-Lieferung)
- Haben sie es schnell gemacht? (Laufzeit)
- Haben sie zu viel Geld gekostet? (Kosten)
- Ist die Datei tatsächlich nutzbar? (Visuelle Qualität)
- Haben sie den Kontext verstanden? (Semantische Qualität)
Der Realitätscheck: Selbst die beste Kombination (Codex mit GPT-5.5) erreichte nur 66,3 %. Das bedeutet, dass selbst unsere klügsten KI-Agenten immer noch Schwierigkeiten haben, komplexe Büroaufgaben perfekt zu bewältigen. Sie übersehen oft Details, finden nicht die richtige Datei oder erstellen einen Bericht, der gut aussieht, aber die falschen Zahlen enthält.
4. Das „Skill-Transfer“-Experiment
Die Forscher wollten sehen, ob eine KI eine Fähigkeit von einer Aufgabe lernen und auf eine andere, ähnliche Aufgabe anwenden kann.
- Das Experiment: Sie nahmen eine KI, die geübt hatte, „Frontend-Webseiten“ zu erstellen, und gaben ihr eine neue Webseiten-Aufgabe, die sie noch nie gesehen hatte.
- Der „Lehrer“ vs. der „Schüler“: Sie fanden heraus, dass die Qualität der „Fähigkeit“ völlig davon abhing, wer sie lehrte.
- Wenn eine starke KI (wie GPT-5.5) die Fähigkeit destillierte, wurde die Schüler-KI besser.
- Wenn eine schwächere KI versuchte, die Fähigkeit zu lehren, wurde die Schüler-KI sogar schlechter.
- Die Lektion: Man kann nicht einfach davon ausgehen, dass eine KI eine Fähigkeit „gelernt“ hat. Die Qualität der Lehre spielt eine Rolle, und manchmal macht ein schlechter Lehrer einen guten Schüler kaputt.
5. Das Problem der „Mensch vs. Roboter“-Bewertung
Um diese Aufgaben zu bewerten, verwendeten sie KI-Richter (Roboter, die Roboter bewerten).
- Text-Aufgaben: Die KI-Richter waren ziemlich gut darin, Textberichte zu bewerten, und stimmten eng mit menschlichen Richtern überein.
- Visuelle Aufgaben: Wenn es darum ging, Tabellenkalkulationen, Folien oder Bilder zu bewerten, waren die KI-Richter sehr unzuverlässig. Sie gaben oft hohe Punktzahlen für unordentliche Ergebnisse, die Menschen ablehnen würden.
- Die Erkenntnis: Wir sind gut darin zu testen, ob eine KI einen Satz schreiben kann, aber wir sind noch schlecht darin zu testen, ob eine KI ein professionell aussehendes Geschäftsdokument erstellen kann.
Zusammenfassung
EnterpriseClawBench ist ein Realitätscheck für die KI-Industrie. Es besagt:
- Hören Sie auf, KI in künstlichen, sauberen Umgebungen zu testen; testen Sie sie in unordentlichen, realen Archiven.
- Das Software-Framework, das Sie verwenden, ist genauso wichtig wie das KI-Modell selbst.
- Aktuelle KI-Agenten sind noch nicht bereit, menschliche Arbeiter in komplexen Büro-Jobs vollständig zu ersetzen; sie machen noch zu viele Fehler, um ihnen das Endergebnis anzuvertrauen.
- Wir brauchen bessere Wege, um visuelle Ausgaben zu bewerten, nicht nur Text.
Das Paper kommt zu dem Schluss, dass die KI zwar besser wird, aber die Lücke zwischen „mit einer KI chatten“ und „zuverlässig eine Geschäftsabteilung zu führen“ immer noch groß ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.