OpenComputer: Verifiable Software Worlds for Computer-Use Agents
Die Arbeit stellt OpenComputer vor, ein durch Verifikatoren fundiertes Framework, das verifizierbare Softwarewelten für Computer-Nutzung-Agenten durch die Integration anwendungsspezifischer Zustandsverifikatoren, einer sich selbst weiterentwickelnden Verifikationsschicht, einer Aufgaben-Generierungspipeline und eines Evaluierungsgerüsts erschafft, um erhebliche Lücken in der Robustheit aktueller Frontier- und Open-Source-Agenten trotz ihres teilweisen Fortschritts aufzudecken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, Ihre täglichen Erledigungen zu übernehmen, wie das Organisieren Ihrer digitalen Dateien, das Bearbeiten eines Fotos oder das Senden einer E-Mail. Sie möchten, dass der Roboter perfekt ist, aber wie wissen Sie, ob er die Aufgabe tatsächlich richtig erledigt hat?
Dies ist das Problem, das das OpenComputer-Papier angeht. Die Autoren haben einen neuen „Trainingsplatz" für computergesteuerte KI-Agenten gebaut, jedoch mit einem sehr spezifischen Twist: Sie schauen sich nicht nur die Arbeit des Roboters an; sie überprüfen die Hausaufgaben des Roboters mit einem strengen, unblinzelnden Blick.
So funktioniert OpenComputer, erklärt durch einfache Analogien:
1. Das Problem: Die Falle „Vortäuschen, bis es klappt"
In der Vergangenheit war das Testen von KI am Computer wie das Benoten eines Schüleraufsatzes, indem man nur das Titelblatt betrachtet. Wenn das Titelblatt gut aussah, gab der Lehrer (ein KI-Richter) vielleicht eine Eins. Doch der Schüler könnte den eigentlichen Aufsatz leer gelassen oder mit Kauderwelsch gefüllt haben.
In der digitalen Welt könnte eine KI einen Screenshot eines fertig aussehenden Dokuments machen, aber wenn die Datei im Inneren tatsächlich leer ist oder die Einstellungen falsch sind, könnte der „KI-Richter" den Fehler übersehen, weil er nur das Bild sieht, nicht aber die Daten.
2. Die Lösung: Der „Digitale Inspektor"
OpenComputer ändert das Spiel, indem es eine überprüfbare Softwarewelt aufbaut. Anstatt nur auf den Bildschirm zu schauen, installiert es ein Team spezialisierter „Inspektoren" (genannt Verifizierer) in jeder Anwendung, die die KI nutzt.
- Die Aufgabe des Inspektors: Stellen Sie sich einen Bibliothekar vor, der nicht nur das Buchcover betrachtet. Er öffnet das Buch, überprüft die Seitenzahlen, verifiziert den Namen des Autors und stellt sicher, dass der Text mit der Datenbank der Bibliothek übereinstimmt.
- Wie es funktioniert: Für jede App (wie einen Webbrowser, einen Bildeditor oder eine Tabellenkalkulation) baut OpenComputer ein benutzerdefiniertes Skript, das direkt mit dem „Gehirn" der App „sprechen" kann. Es stellt Fragen wie: „Ist die Datei tatsächlich gespeichert?" „Hat der Benutzer wirklich auf diesen Button geklickt?" „Steht der Text in der richtigen Zelle?"
3. Der vierstufige Konstruktionsprozess
Das Papier beschreibt eine vierstufige Fließbandproduktion zum Aufbau dieser perfekten Testszenarien:
- Schritt 1: Bau der Inspektoren. Sie erstellen einen „Schlüssel" für jede App, der es dem System ermöglicht, in den verborgenen Zustand der Software (Dateien, Einstellungen, Verlauf) hineinzuschnuppern, anstatt nur vom Bildschirm zu raten.
- Schritt 2: Die selbstverbessernde Schleife. Sie testen diese Inspektoren mit einer „starken" KI. Wenn der Inspektor sagt „Gute Arbeit", die KI aber tatsächlich einen Fehler gemacht hat, fängt das System den Fehler auf. Anschließend korrigiert es den Code des Inspektors und macht ihn für das nächste Mal schlauer. Es ist wie ein Trainer, der einen Spieler beim Üben beobachtet und dann die Trainingsausrüstung anpasst, um präziser zu sein.
- Schritt 3: Erstellen der Aufgaben. Sobald die Inspektoren zuverlässig sind, generiert das System 1.000 realistische Aufgaben (wie „organisiere diese 50 Dateien" oder „bearbeite dieses Foto"). Da die Inspektoren bereit sind, hat jede Aufgabe klare, maschinell überprüfbare „Bestanden"- oder „Durchgefallen"-Kriterien.
- Schritt 4: Die Abschlussprüfung. Sie lassen die KI-Agenten in einem frischen, sauberen digitalen Raum laufen. Die Agenten versuchen, die Aufgaben zu lösen, und die Inspektoren bewerten sie sofort basierend auf den tatsächlichen Daten, nicht nur auf den Bildern.
4. Was sie fanden
Als sie die besten KI-Modelle (wie GPT-5.4 und Claude) in diesem neuen Trainingsplatz testeten, stellten sie einige überraschende Dinge fest:
- Das „Fast"-Problem: Selbst die intelligentesten KIs haben Schwierigkeiten, eine ganze Aufgabe perfekt abzuschließen. Oft kommen sie 80 % des Weges, scheitern aber an den winzigen, letzten Details (wie das Speichern der Datei im falschen Ordner).
- Der „Fake"-Erfolg: Die alte Art des Bewertens (Verwendung einer KI zum Betrachten von Screenshots) war zu nachsichtig. Sie vergab hohe Punktzahlen an Agenten, die so aussahen, als hätten sie Erfolg gehabt, aber tatsächlich bei den Datenprüfungen durchfielen. Der neue „Hard-Coded Verifizierer" war viel strenger und stimmte besser mit dem überein, was ein Mensch sagen würde.
- Die Open-Source-Lücke: Einige Open-Source-Modelle, die bei anderen Tests großartig aussahen, schnitten hier plötzlich sehr schlecht ab. Dies deutet darauf hin, dass sie gut darin waren, die richtige Antwort für einfache Tests zu „raten", aber die Komplexität echter, unordentlicher Computer-Software nicht bewältigen konnten.
5. Die große Erkenntnis
OpenComputer ist nicht nur eine Liste von Aufgaben; es ist ein neuer Standard für Wahrheit.
Stellen Sie es sich wie den Wechsel von einer „Ehrlichkeits-System"-Prüfung (wo die KI sagt: „Ich habe es gemacht!") zu einer „überwachten Prüfung" vor, bei der ein Roboter-Prüfer jede einzelne Antwort gegen den Lösungsschlüssel überprüft. Das Papier kommt zu dem Schluss, dass KI zwar besser darin wird, auf Bildschirme zu schauen, aber noch einen langen Weg vor sich hat, bevor sie komplexe, reale Computerarbeiten zuverlässig ohne subtile, aber kritische Fehler erledigen kann.
Kurz gesagt: OpenComputer hat einen digitalen Spielplatz gebaut, bei dem die Regeln vom Code überprüft werden, nicht vom Raten, und zeigt damit, dass die heutigen KI-Agenten noch lernen müssen, wie man wirklich zuverlässige digitale Arbeiter wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.