Das große Ganze: Das Problem des „unordentlichen Schreibtischs"

Stellen Sie sich vor, Sie stellen einen sehr intelligenten Roboter-Assistenten ein, um Ihr Leben zu organisieren. Die meisten Tests, die wir diesen Robotern geben, sind so, als würden wir ihnen einen brandneuen, leeren Schreibtisch geben und sagen: „Bitte schreiben Sie eine To-do-Liste." Der Roboter schreibt die Liste, und wir prüfen, ob die Wörter korrekt sind.

Aber in der realen Welt ist Ihr Schreibtisch nie leer. Er ist bedeckt mit halbfertigen Projekten, alten Haftnotizen, widersprüchlichen Anweisungen und veralteten Dateien. Ein echter Test der Intelligenz eines Roboters ist nicht nur „Kann er eine Liste schreiben?", sondern „Kann er diesen unordentlichen Schreibtisch betrachten, herausfinden, was kaputt ist, das Alte reparieren, ohne das Gute zu löschen, und die Aufgabe abschließen?"

Dieses Papier stellt ClawForge vor, eine neue Art, KI-Agenten (Roboter) zu testen, die sich vollständig auf dieses „unordentliche Schreibtisch"-Szenario konzentriert.

---

Was ist ClawForge? (Die „Szenario-Fabrik")

Die Autoren erkannten, dass das manuelle Erstellen dieser „unordentlichen Schreibtisch"-Tests zu schwierig und zu langsam ist. Wenn Sie 100 verschiedene unordentliche Szenarien testen möchten, müssten Sie manuell 100 verschiedene Unordnungen aufbauen.

ClawForge ist eine automatisierte Fabrik.
Anstatt dass Menschen jeden Test schreiben, haben die Forscher ein System entwickelt, das die Tests generiert. Es nimmt eine Vorlage (wie „Reparieren Sie einen kaputten Release-Zeitplan") und füllt automatisch die Details aus (verschiedene Städte, verschiedene Daten, verschiedene Fehler).

• Das Ergebnis: Es erstellt eine vollständige „ausführbare Aufgabe". Dies ist nicht nur eine Frage; es ist eine Mini-Simulation mit einem Startzustand (dem unordentlichen Schreibtisch), einer Reihe von Regeln und einer Möglichkeit, das Ergebnis zu bewerten.
• Das Ziel: Zu sehen, ob die KI Zustandskonflikte bewältigen kann. Das bedeutet, mit Dingen umzugehen, die bereits vorhanden sind, von denen einige möglicherweise falsch, veraltet oder dupliziert sind.

Wie der Test funktioniert (Der „Spiel-Loop")

Stellen Sie sich den Test wie ein Videospielniveau vor, in dem die KI der Spieler ist:

1. Das Setup: Das Spiel lädt eine „Speicherdatei", die bereits einige Elemente auf dem Brett hat. Vielleicht gibt es eine Aufgabe namens „Server reparieren", die bereits vorhanden ist, aber als „Niedrige Priorität" markiert ist (was falsch ist).
2. Die Anweisung: Die KI erhält einen Befehl: „Die Server-Reparatur ist falsch. Reparieren Sie sie, aber löschen Sie nicht die anderen gültigen Aufgaben."
3. Die Aktion: Die KI tippt Befehle nacheinander ein (wie ein Mensch, der eine Befehlszeile verwendet).
4. Die Bewertung: Dies ist der wichtigste Teil. Das System prüft nicht, ob die KI genau dieselben Wörter eingegeben hat wie ein Mensch. Stattdessen prüft es den endgültigen Zustand des Schreibtischs.
   • Wurde die alte, falsche Aufgabe entfernt?
   • Ist die neue, korrekte Aufgabe vorhanden?
   • Hat die KI versehentlich eine Duplikat der Aufgabe erstellt?
   • Hat sie die gültigen Dinge in Ruhe gelassen?

Wenn der endgültige Schreibtisch perfekt aussieht, besteht die KI den Test. Wenn er unordentlich aussieht, fällt sie durch.

Die Ergebnisse: Die Roboter lernen noch immer

Die Autoren testeten sieben der intelligentesten verfügbaren KI-Modelle (von Unternehmen wie OpenAI, Anthropic und Kimi) an diesem neuen Benchmark. Die Ergebnisse waren überraschend und demütigend:

• Der „perfekte Score" ist selten: Selbst das beste KI-Modell bekam nur etwa 45 % der Aufgaben perfekt richtig. Das bedeutet, dass der Benchmark schwer ist und noch nicht „gelöst" wurde.
• Das Problem der „falschen Reparatur": Eine bestimmte Art von Fehler war sehr häufig. Wenn sie aufgefordert wurden, einen falschen Eintrag zu ersetzen, blieben die Modelle oft stecken. Sie könnten den falschen Eintrag löschen, aber vergessen, den neuen hinzuzufügen, oder sie könnten den neuen hinzufügen, aber den alten, kaputten Eintrag dort liegen lassen.
  • Analogie: Stellen Sie sich vor, Sie werden aufgefordert, einen platten Reifen zu tauschen. Die KI nimmt den platten Reifen ab, vergisst aber, das Ersatzrad aufzuziehen. Oder sie zieht das Ersatzrad auf, lässt aber den platten Reifen auf dem Boden rollen.
• Das Problem „Nicht anfassen": Ein weiterer häufiger Fehler trat auf, wenn der Schreibtisch bereits größtenteils fertig war. Die KI würde eine Aufgabe sehen, die bereits korrekt war, und anstatt sie in Ruhe zu lassen, würde sie versuchen, sie erneut zu „reparieren", wodurch ein Duplikat entsteht.
  • Analogie: Sie sagen dem Roboter: „Der Kaffee ist bereits aufgebrüht." Der Roboter sagt: „Okay," und brüht sofort einen zweiten Topf auf, was ein Chaos erzeugt.
• Effizienz ist wichtig: Einige Modelle benötigten viel zu viele Schritte, um einfache Probleme zu lösen, während andere schnell waren, aber Fehler machten. Die besten Performer waren diejenigen, die zuerst den bestehenden Zustand prüften, bevor sie handelten.

Die zwei härtesten Herausforderungen

Das Papier hebt zwei spezifische Arten von „unordentlichen Schreibtisch"-Szenarien hervor, die fast alle Modelle verwirrten:

1. Ersetzen eines falschen Zustands: Die KI muss etwas identifizieren, das falsch ist, und es durch etwas Richtiges ersetzen, während alles andere sicher bleibt. Dies war die schwierigste Aufgabe; das beste Modell bekam sie nur in 17 % der Fälle richtig.
2. Wiederaufnahme unterbrochener Arbeitsabläufe: Die KI muss in einen Raum gehen, in dem jemand anderes ein Projekt gestartet hat, die fehlenden Teile fertigstellen und nicht die Teile neu machen, die bereits erledigt waren. Die Lücke zwischen den besten und den schlechtesten Modellen war hier enorm (von 17 % bis 90 %), was zeigt, dass einige Modelle viel besser darin sind, „den Raum zu lesen", bevor sie hineinspringen.

Warum das wichtig ist

Die Autoren argumentieren, dass wir KI nicht mehr nur an „sauberen" Aufgaben testen können. Echte Arbeit beinhaltet den Umgang mit Geschichte, Fehlern und teilweisem Fortschritt. ClawForge ist ein Werkzeug, um zu messen, ob eine KI wirklich bereit ist, in einem echten Büro zu arbeiten, wo Dinge selten perfekt sind und der Neustart selten eine Option ist.

Kurz gesagt: ClawForge ist ein Fitnessstudio für KI-Agenten, um zu lernen, wie man einen unordentlichen Raum aufräumt, ohne die Möbel zu beschädigen, die bereits funktionieren. Im Moment stolpern selbst die stärksten KI-Agenten in diesem Fitnessstudio noch über ihre eigenen Füße.