ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents
Dieser Beitrag stellt ClawMark vor, einen neuen Benchmark, der entwickelt wurde, um Multi-Turn-, Multi-Day- und Multimodal-Coworker-Agenten in einer dynamischen, zustandsbehafteten Umgebung zu evaluieren, und zeigt auf, dass zwar Frontier-Modelle teilweise Fortschritte erzielen, jedoch erhebliche Schwierigkeiten haben, sich an exogene Veränderungen anzupassen und einen vollständigen End-to-End-Erfolg bei Aufgaben zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen eine neue Assistenzkraft ein, die Ihnen bei der Führung Ihres Büros hilft. Die meisten Tests für KI-Assistenten heute sind wie ein Pop-Quiz: Sie geben der KI eine einzelne Frage, sie antwortet, und der Test ist beendet. Die Welt ist während dieses Quiz in der Zeit eingefroren.
Aber im echten Leben verlässt eine Assistenzkraft nicht nur nach einer Frage den Raum. Sie bleibt Tage lang bei Ihnen. Während sie arbeitet, verändert sich die Welt um sie herum weiter. Neue E-Mails kommen herein, Ihr Kalender verschiebt sich, Dateien werden aktualisiert, und neue Beweise (wie Fotos oder Sprachnotizen) tauchen auf. Wenn Ihre Assistenzkraft diese Veränderungen nicht bemerkt, trifft sie möglicherweise Entscheidungen auf Basis veralteter Informationen, was zu Fehlern führt.
ClawMark ist eine neue „Probefahrt", die speziell entwickelt wurde, um zu prüfen, ob KI-Assistenten diese chaotische, sich verändernde Realität bewältigen können.
Der „Lebendiges Büro"-Test
Anstatt eines eingefrorenen Quiz ist ClawMark wie ein simuliertes Büro, das atmet.
- Das Setup: Die KI erhält eine Aufgabe (wie die Abwicklung eines Versicherungsfalls oder die Verwaltung eines Projekts), die sich über mehrere „Arbeitstage" erstreckt.
- Die Wendung: Zwischen jedem Tag verändert sich die Umgebung von selbst. Vielleicht kommt eine neue E-Mail an, eine Tabelle wird aktualisiert oder eine stille Datei wird ohne Ankündigung an die KI in den Ordner abgelegt.
- Die Beweise: Die KI liest nicht nur Text. Sie muss rohe Fotos betrachten, Audioaufnahmen anhören, gescannte PDFs lesen und Videos analysieren, genau wie ein Mensch.
Wie die KI benotet wird
Bei vielen KI-Tests liest ein Mensch oder eine andere KI die Antwort und sagt: „Das klingt gut." ClawMark macht etwas Strengeres: es verwendet einen Roboter-Schiedsrichter.
- Es gibt hier keine „Meinungen". Der Test nutzt 1.537 winzige, automatische Python-Skripte (Prüfer), die den tatsächlichen Zustand des Computers nach Abschluss der KI-Arbeit betrachten.
- Hat die KI die Datei tatsächlich gespeichert? Hat sie den Kalender aktualisiert? Hat sie das versteckte Foto entdeckt?
- Wenn die KI sagt „Ich habe es getan", die Datei aber nicht vorhanden ist, gibt der Roboter-Schiedsrichter eine Null. Es ist wie bei einem Mathe-Test, bei dem man nur Punkte erhält, wenn die Antwort in das richtige Kästchen geschrieben ist, und nicht nur, wenn man die richtige Zahl laut ausgesprochen hat.
Die Ergebnisse: Gut beim Start, schlecht bei der Anpassung
Die Forscher testeten sieben erstklassige KI-Modelle (wie die Gehirne hinter großen Chatbots) in diesem „lebendigen Büro". Hier ist, was sie herausfanden:
- Die „Perfekte Punktzahl" ist selten: Selbst die beste KI erreichte nur bei 20 % der Aufgaben einen „perfekten" Erfolg von Anfang bis Ende. Das bedeutet, dass sie zwar oft einen gewissen Fortschritt machten, aber selten die gesamte Aufgabe ohne einen einzigen Fehler abschlossen.
- Der „Tag-2-Abfall": Dies ist die interessanteste Erkenntnis. Am ersten Tag machten die KIs ziemlich gute Fortschritte. Aber am zweiten Tag, als sich die Umgebung veränderte (neue E-Mails, neue Dateien), wurden sechs von sieben Modellen deutlich schlechter.
- Vergleich: Stellen Sie sich vor, Sie spielen ein Videospiel. Sie bestehen Level 1 mühelos. Aber wenn das Spiel plötzlich die Regeln ändert und in Level 2 neue Gegner hinzufügt, vergisst die KI, wie man spielt, und beginnt zu straucheln. Sie hat Schwierigkeiten, „aufzuwachen" und zu erkennen, dass sich die Welt verändert hat.
- Stille Veränderungen sind das Kryptonit: Die KI scheiterte am häufigsten, wenn sie eine „stille Mutation" übersehen hatte – eine Veränderung, die ohne laute Ankündigung stattfand (wie eine Datei, die im Hintergrund stillschweigend aktualisiert wurde). Sie hatten auch Schwierigkeiten, ihre Arbeit tatsächlich an den richtigen Ort zu speichern (Backend-Writeback).
Das Urteil
ClawMark zeigt, dass KI-Assistenten zwar immer besser darin werden, einzelne Probleme zu lösen, aber immer noch lernen müssen, beharrliche Kollegen zu sein. Sie sind gut am „ersten Tag", verlieren aber oft den Boden unter den Füßen, wenn sich die Büroumgebung um sie herum verschiebt.
Die Studie kommt zu dem Schluss, dass wir, um einen wirklich zuverlässigen KI-Kollegen zu schaffen, weniger darauf achten müssen, wie gut er eine einzelne Frage beantwortet, und mehr darauf, wie gut er sich an eine sich verändernde Welt anpasst und daran erinnert, seine Werkzeuge zu aktualisieren, wenn sich die Welt verändert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.