OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents
Dieser Beitrag stellt OSWorld-Human vor, einen manuell annotierten Benchmark, der zeigt, dass aktuelle Computer-Nutzungs-Agenten unter prohibitiver Latenz und Ineffizienz leiden, die hauptsächlich auf übermäßige Modellaufrufe für Planung und Reflexion zurückzuführen sind, wodurch sie 2,7- bis 4,3-mal mehr Schritte als Menschen benötigen, um Aufgaben abzuschließen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, aber unglaublich langsamen persönlichen Assistenten ein, um eine einfache Aufgabe auf Ihrem Computer zu erledigen, wie etwa die Schriftgröße in einem Dokument zu ändern. Sie erwarten, dass dies 30 Sekunden dauert. Stattdessen benötigt Ihr Assistent 12 Minuten. Warum?
Diese Arbeit, OSWorld-Human, untersucht genau dieses Problem. Sie betrachtet „Computer-Use Agents" (KI-Programme, die Ihre Maus und Tastatur steuern) und fragt: „Warum sind sie so langsam, und wie können wir sie schneller machen?"
Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien.
1. Das Problem: Der „Überdenkende" Assistent
Die Forscher stellten fest, dass diese KI-Agenten zwar besser darin werden, die Aufgabe zu erledigen (Genauigkeit), aber schlecht darin sind, wie schnell sie dies tun (Effizienz).
- Der Mensch versus der Roboter: Ein menschlicher Experte kann den Zeilenabstand in einem Dokument in unter 30 Sekunden ändern. Der KI-Agent benötigt 12 Minuten.
- Der Engpass: Die Verzögerung liegt nicht daran, dass die KI langsam auf die Maustaste klickt. Es liegt daran, dass die KI ständig anhält, um zu denken.
- Die Analogie: Stellen Sie sich vor, Sie fahren zum Lebensmittelgeschäft. Ein menschlicher Fahrer fährt einfach los. Dieser KI-Fahrer hält an jeder einzelnen Kreuzung an, um einen superintelligenten Berater am Telefon anzurufen und zu fragen: „Ist dies die richtige Abzweigung? Sollte ich links abbiegen? Habe ich links richtig abgebogen? Wie sieht es mit der nächsten Abzweigung aus?"
- Die Realität: Die KI ruft ein massives „Gehirn" (ein Large Language Model) an, um den nächsten Zug zu planen, zu bewerten, ob der Zug funktioniert hat, und über das Geschehene zu reflektieren. Diese Telefonate nehmen die meiste Zeit in Anspruch. Tatsächlich machen allein die Schritte „Planen" und „Bewerten" etwa 75 % bis 96 % der Gesamtzeit aus!
2. Die Untersuchung: Aufschlüsselung der Schritte
Die Forscher beobachteten zwei beliebte KI-Agenten (Agent S2 und GTA1), wie sie 39 verschiedene Computeraufgaben lösten. Sie analysierten jede Sekunde des Prozesses.
- Die „Denk"-Steuer: Jedes Mal, wenn die KI einen Schritt macht, muss sie eine riesige Nachricht an ihr Gehirn senden. Je länger die Aufgabe wird, desto größer wird die Nachricht, da sie die Historie alles dessen enthalten muss, was sie zuvor getan hat.
- Analogie: Es ist wie das Schreiben eines Tagebucheintrags. Am Tag 1 schreiben Sie einen Satz. Am Tag 50 müssen Sie das ganze Buch ab Tag 1 neu schreiben, nur um einen neuen Satz hinzuzufügen. Dies lässt die späteren Schritte 3-mal länger dauern als die frühen Schritte.
- Die „Falsche Abzweigung"-Schleife: Manchmal weiß die KI, was zu tun ist (z. B. „Klicken Sie auf die Schaltfläche Öffnen"), findet aber nicht, wo auf dem Bildschirm geklickt werden muss. Sie klickt auf die falsche Stelle, merkt, dass es falsch ist, und versucht es erneut.
- Die Kosten: Dieses „Steckenbleiben" passiert häufig. In einem Fall versuchte eine KI, einen Ordner zu öffnen und steckte 27 Minuten lang in einer Schleife fest und verschwendete 8,47 US-Dollar an Rechenkosten, nur weil sie den richtigen Ort auf dem Bildschirm nicht finden konnte.
3. Die Lösung: Der „Menschliche Benchmark" (OSWorld-Human)
Um zu beweisen, wie ineffizient diese Roboter sind, erstellten die Forscher einen neuen Benchmark namens OSWorld-Human.
- Was ist das? Sie gingen manuell alle 369 Aufgaben durch und notierten den kürzesten, logischsten Pfad, den ein Mensch nehmen würde, um sie zu beenden.
- Der „Gruppierungs"-Trick: Sie stellten fest, dass Menschen oft mehrere Dinge auf einmal tun, ohne anzuhalten, um nachzudenken.
- Analogie: Ein Mensch sieht ein Textfeld, tippt einen Namen ein und drückt in einer flüssigen Bewegung „Enter". Die KI hingegen hält nach dem Sehen des Feldes an, ruft ihr Gehirn an, um das Tippen zu planen, hält erneut an, um das Drücken von „Enter" zu planen, und ruft ihr Gehirn erneut an.
- Die Erkenntnis: Die Forscher stellten fest, dass viele Aktionen „gruppiert" werden könnten. Wenn die KI drei Klicks in einem einzigen „Gedanken" ausführen könnte, würde dies enorme Zeit sparen.
4. Das Urteil: Die Roboter verschwenden Schritte
Die Forscher testeten 16 verschiedene KI-Agenten gegen ihren neuen „Menschlichen Benchmark".
- Das Ergebnis: Selbst die besten KI-Agenten benötigten 2,7 bis 4,3-mal mehr Schritte als ein Mensch, um dieselbe Aufgabe zu beenden.
- Die Punktzahl: Sie erstellten einen neuen Score namens Weighted Efficiency Score (WES).
- Wenn eine KI die Aufgabe erledigt, aber 4-mal länger als nötig braucht, sinkt ihre Punktzahl drastisch.
- Der führende KI-Agent in der Rangliste, der bei alten Tests gut aussah, erreichte bei diesem neuen Effizienztest nur 15,6 %. Das bedeutet, dass er viel unnötige Arbeit leistet.
Zusammenfassung
Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Computer-Agenten wie brillante, aber ungeschickte Schüler sind. Sie kennen die Antwort, aber sie verbringen so viel Zeit damit, die Hand zu heben, auf den Lehrer zu warten und ihre Notizen erneut zu lesen, dass sie den Test nie rechtzeitig beenden.
Um dies zu beheben, schlägt die Arbeit drei Hauptpunkte vor:
- Aufhören, zu viel nachzudenken: Reduzieren Sie die Anzahl der Male, an denen die KI ihr „Gehirn" anruft, um zu planen und zu bewerten.
- Aktionen gruppieren: Lassen Sie die KI mehrere Schritte (wie Tippen und Enter drücken) in einem einzigen Gedanken ausführen.
- Besser im Finden werden: Verbessern Sie die Fähigkeit der KI, genau zu sehen, wo geklickt werden muss, damit sie nicht in Schleifen stecken bleibt.
Das Ziel ist es nicht nur, die KI intelligenter zu machen, sondern sie schneller und praktischer für den Einsatz in der realen Welt zu gestalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.