💬 NLP

Scaling Agents for Computer Use

Das Paper stellt Behavior Judge (BJudge) vor, ein Framework, das die Zuverlässigkeit von Computer-Use-Agenten durch die Evaluierung und Auswahl aus mehreren Ausführungs-Rollouts mittels Verhaltensnarrativen verbessert und dabei eine State-of-the-Art-Leistung auf OSWorld erzielt, welche die menschliche Leistungsfähigkeit übertrifft.

Ursprüngliche Autoren: Gonzalo Gonzalez-Pumariega, Vincent Tu, Chih-Lun Lee, Jiachen Yang, Ang Li, Xin Eric Wang

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gonzalo Gonzalez-Pumariega, Vincent Tu, Chih-Lun Lee, Jiachen Yang, Ang Li, Xin Eric Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Ihre Wäsche zu waschen, das Abendessen zu kochen und Ihre Rechnungen zu bezahlen, indem Sie einen Computerbildschirm beobachten. Genau das sollen „Computer-Use Agents“ (CUAs) tun. Dies sind KI-Programme, die Schaltflächen anklicken, Text tippen und Software navigieren können, genau wie ein Mensch.

Es gibt jedoch ein großes Problem: Diese Roboter sind zerbrechlich. Wenn sie einen winzigen Fehler am Anfang machen – etwa das falsche Fenster anklicken oder ein Pop-up übersehen – schaukelt sich dieser Fehler hoch. Bis zum 50. Schritt sind sie völlig verloren. Es ist, als würde man versuchen, ein Kartenhaus in einem windigen Raum zu bauen; ein kleines Wackeln ruiniert das gesamte Gebilde.

Der alte Weg: „Einmal und Fertig“

Früher versuchten Forscher, dies zu lösen, indem sie dem Roboter sagten, er solle „tiefer nachdenken“, bevor er einen einzelnen Schritt macht. Sie baten die KI, fünf verschiedene Ideen für den nächsten Klick zu generieren und die beste auszuwählen. Aber das ist so, als würde man eine einzelne Person bitten, sich fünf verschiedene Routen zum Supermarkt auszudenken, die beste auszuwählen und dann loszugehen. Wenn diese eine Person an der ersten Kreuzung die Orientierung verliert, scheitert die gesamte Reise.

Die neue Idee: „Das Rennen“ (Wide Scaling)

Die Autoren dieser Arbeit schlagen eine andere Strategie vor, die Wide Scaling genannt wird. Anstatt sich auf einen einzigen Roboter zu verlassen, der es richtig machen muss, schicken sie gleichzeitig zehn verschiedene Roboter los, um dieselbe Aufgabe zu versuchen.

Stellen Sie sich das wie ein Rennen mit zehn Läufern vor. Selbst wenn Läufer #3 stolpert und Läufer #7 sich verirrt, findet vielleicht Läufer #5 eine Abkürzung und gewinnt. Das Ziel ist es, zehn verschiedene Versuche parallel laufen zu lassen und dann den Gewinner auszuwählen.

Der Engpass: Wie wählt man den Gewinner aus?

Hier liegt der knifflige Teil: Woher wissen Sie, welcher der zehn Roboter tatsächlich Erfolg hatte?

Das Problem: Zehn einstündige Videos zu beobachten, in denen ein Roboter versucht, eine Aufgabe zu erledigen, ist überwältigend. Der Großteil des Videos ist langweilig oder irrelevant (wie wenn der Roboter auf einen leeren Bildschirm starrt). Zudem haben viele Aufgaben mehr als einen „richtigen“ Weg zum Ziel. Ein einfaches Skript kann nicht ohne Weiteres feststellen, ob ein Roboter allein durch das Betrachten der rohen Bildschirmaufnahmen erfolgreich war oder gescheitert ist.
Die Analogie: Stellen Sie sich vor, Sie müssten einen Kochwettbewerb bewerten, indem Sie zehn 3-stündige Filme von Köchen beim Kochen ansehen. Sie würden müde werden und die wichtigen Momente verpassen. Sie brauchen eine Möglichkeit, das Geschehen zusammenzufassen.

Die Lösung: „Behavior Judge“ (BJudge)

Die Autoren führen ein neues System namens Behavior Judge (BJudge) ein. So funktioniert es, Schritt für Schritt:

Das Rennen: Sie führen die Aufgabe zehnmal gleichzeitig mit verschiedenen KI-Modellen aus.
Der Übersetzer (Behavior Narrative Generator): Anstatt dem Richter das rohe Video des Bildschirms zu zeigen, fungiert dieses System als Übersetzer. Es beobachtet jeden Versuch des Roboters und schreibt eine kurze, klare Geschichte (eine „Narrative“) darüber, was passiert ist.
- Anstatt: „Der Roboter bewegt die Maus zu Pixel 400, 200, klickt, der Bildschirm aktualisiert sich, ein neues Fenster öffnet sich...“
- Schreibt es: „Der Roboter klickte auf ‚Speichern‘, und das Dokument wurde erfolgreich im Ordner gespeichert.“
- Es filtert das Rauschen heraus und konzentriert sich nur auf Ursache und Wirkung: „Ich habe X getan, und Y ist passiert.“
Der Richter (Comparative Evaluator): Nun muss der Richter nicht zehn Stunden Video ansehen, sondern liest zehn kurze Geschichten. Er vergleicht sie Seite an Stelle. „Geschichte A sagt, die Datei wurde gespeichert. Geschichte B sagt, die Datei wurde gelöscht. Geschichte A gewinnt.“

Die Ergebnisse

Als sie dies auf einen Benchmark namens OSWorld (eine Sammlung von realen Computeraufgaben) testeten:

Das bisherige Beste: Die bisher beste Methode schaffte etwa 63,4 % der Aufgaben korrekt.
Menschliches Niveau: Menschen schaffen etwa 72,36 % korrekt.
Die neue Methode (BJudge): Ihr System erreichte 72,6 %.

Sie haben nicht nur die bisherigen Roboter geschlagen; sie haben Menschen übertroffen.

Warum das wichtig ist

Die Arbeit zeigt, dass der Schlüssel dazu, KI-Agenten zuverlässig zu machen, nicht nur darin liegt, sie individuell intelligenter zu machen, sondern darin, viele von ihnen gleichzeitig laufen zu lassen und ein kluges System zu haben, das das beste Ergebnis auswählt.

Sie testeten dies auch auf verschiedenen Betriebssystemen (Windows und Android) und fanden heraus, dass es dort ebenfalls gut funktioniert, was beweist, dass diese „Rennen und Bewerten“-Strategie ein universeller Weg ist, um computernutzende KI robuster zu machen.

Kurz gesagt: Um die „zerbrechliche“ Natur von KI-Computern zu beheben, sollte man nicht nur einen perfekten Roboter bauen. Man baut zehn von ihnen, lässt sie ein Rennen bestreiten, übersetzt ihre chaotischen Versuche in einfache Geschichten und lässt einen klugen Richter den Gewinner auswählen. Diese einfache Änderung ermöglichte es ihnen, die menschliche Leistung bei komplexen digitalen Aufgaben zu übertreffen.

Technisches Resümee: Skalierung von Agenten für die Computernutzung via Behavior Judge

Problemstellung

Computer-Use-Agenten (CUAs) versprechen eine bedeutende Automatisierung alltäglicher digitaler Aufgaben über verschiedene Betriebssysteme hinweg. Die Leistung bei langfristigen, komplexen Problemen bleibt jedoch unzuverlässig. Die zentrale Herausforderung besteht nicht nur darin, einzelne Schritte zu lösen, sondern die Korrektheit über Dutzende oder Hunderte von Interaktionen hinweg aufrechtzuerhalten. Kleine Fehler summieren sich im Zeitverlauf, das Feedback ist oft verzögert und Umgebungsrauschen (wie etwa UI-Änderungen oder Latenz) führt zu einer hohen Varianz in den Ergebnissen.

Während frühere Arbeiten versucht haben, die Leistung innerhalb eines einzelnen Durchlaufs zu skalieren (z. B. schrittweise Best-of-N), brachten diese Ansätze bei langfristigen Aufgaben nur begrenzte Fortschritte. Ein alternativer Ansatz ist die „weite Skalierung“ (wide scaling) – das Generieren mehrerer paralleler Durchläufe und das Auswählen des besten. Dieser Ansatz stößt jedoch auf einen fundamentalen Engpass: die Evaluierung. Agenten-Trajektorien sind informationsdicht, multimodal und lassen oft mehrere gültige Lösungen zu. Es ist schwierig, zuverlässig zu bestimmen, welche von mehreren langfristigen Trajektorien korrekt ist, da die meisten Details irrelevant für den Aufgabenerfolg sind und skriptbasierte automatische Evaluierungen Schwierigkeiten mit der Nuancierung von Computer-Use-Aufgaben haben.

Methodik: Behavior Judge (BJudge)

Um den Evaluierungsengpass zu adressieren und eine effektive weite Skalierung zu ermöglichen, führen die Autoren Behavior Judge (BJudge) ein. Dieses Framework transformiert dichte, rohe Agenten-Trajektorien in kompakte, interpretierbare Repräsentationen, um eine prinzipielle Auswahl unter den Kandidaten zu erleichtern.

1. Das Paradigma der weiten Skalierung

Im Gegensatz zur Skalierung innerhalb eines einzelnen Durchlaufs generiert BJudge mehrere Kandidaten-Trajektorien ( $\tau$ ) unter Verwendung einer Menge von Basis-Policies $\{\pi_m\}$ . Diese Policies können unterschiedliche Modelle oder stochastisches Decoding desselben Modells umfassen, um Diversität zu erzeugen. Das Ziel ist es, die Trajektorie $\hat{\tau}$ auszuwählen, die die Aufgabenbelohnung $R(\tau, I)$ maximiert.

2. Generierung von Verhaltensnarrativen

Die erste Schlüsselkomponente ist der Behavior Narrative Generator. Anstatt rohe Screenshots und Aktionen direkt an einen Judge zu übergeben, konvertiert das System jede Transition $(s_i, a_i, s_{i+1})$ in ein „Verhaltensnarrativ“ ( $\phi_i$ ).

Faktextraktion: Ein Vision-Language-Modell (VLM) analysiert den Zustand vor und nach einer Aktion, um Fakten abzuleiten, die beschreiben, was der Agent tatsächlich getan hat und wie dies die Umgebung beeinflusst hat.
Visuelle Augmentierung: Um die Genauigkeit sicherzustellen, insbesondere bei Pointer-Interaktionen (Klicks, Ziehen), legt der Generator Marker auf den Screenshot vor der Aktion und extrahiert vergrößerte Ausschnitte aus dem Screenshot nach der Aktion. Dies hilft, pixelgenaue Änderungen zu verifizieren und Halluzinationen darüber zu reduzieren, ob eine Aktion erfolgreich war.
Narrativ-Konstruktion: Das fertige Narrativ $\tilde{\tau}$ besteht aus dem Ausgangszustand, der Sequenz der abgeleiteten Fakten und dem Endzustand. Dies filtert irrelevante Details heraus, während aufgabenspezifische Aktions-Effekt-Zusammenfassungen erhalten bleiben.

3. Komparativer Verhaltens-Evaluator

Die zweite Komponente ist der Comparative Behavior Evaluator. Anstatt Trajektorien unabhängig voneinander zu bewerten, vergleicht dieses Modul die Verhaltensnarrative direkt miteinander.

Mechanismus: Ein VLM-Evaluator wird angewiesen, alle Kandidaten-Narrative gleichzeitig mittels eines Multiple-Choice-Formats (MCQ) in einer einzigen Runde zu vergleichen.
Vorteil: Dieser Ansatz ermöglicht es dem Judge, spezifische Fakten zwischen den Kandidaten zu zitieren und gegenüberzustellen, was eine fundiertere Auswahl ermöglicht als ein unabhängiges Ranking. Er ist darauf ausgelegt, token-effizient und schneller zu sein als mehrstufige Turnier-Vergleiche.

4. Verbesserter Agentic Framework (Agent S3)

Zur Unterstützung von BJudge führen die Autoren Agent S3 ein, ein verbessertes Baseline-Framework, das auf Agent S2 aufbaut. Zu den wesentlichen architektonischen Änderungen gehören:

Flache Policy: Entfernung der hierarchischen Planung zugunsten einer flachen Policy, die jederzeit basierend auf der aktuellen Instruktion und dem Verlauf neu planen kann, indem sie die starken Kontext-Erhaltungs-Fähigkeiten moderner Foundation-Modelle nutzt.
Integrierter Coding-Agent: Ein spezialisierter Coding-Agent ist nativ in den Aktionsraum des GUI-Agenten integriert. Er kann für programmatische Bearbeitungen (z. B. Massen-Dateienoperationen, strukturiertes Parsing) aufgerufen werden, wenn dies effizienter ist als direkte GUI-Manipulation. Er operiert in einer begrenzten inneren Schleife mit einer sandboxed VM und liefert Feedback zur Ausführung an die GUI-Policy.

Zentrale Beiträge

Paradigma der weiten Skalierung: Die Arbeit etabliert, dass die sorgfältige Auswahl aus mehreren parallelen Trajektorien die Robustheit und Abdeckung für CUAs erheblich verbessert, sofern ein effektiver Selektionsmechanismus existiert.
Behavior Judge Framework: Ein neuartiges System, das dichte Trajektorien in kompakte Verhaltensnarrative umwandelt und eine komparative Evaluierung nutzt, um die optimale Lösung auszuwählen, wodurch der Evaluierungsengpass der weiten Skalierung adressiert wird.
Neues State-of-the-Art (SoTA): Durch die Kombination von BJudge mit dem Agent S3 Baseline erreicht die Arbeit ein neues SoTA auf dem OSWorld-Benchmark.
Generalisierung: Die Methode zeigt eine starke Zero-Shot-Generalisierung auf verschiedene Betriebssysteme (Windows und Android).

Experimentelle Ergebnisse

OSWorld-Leistung

Auf dem OSWorld-Benchmark (361 Aufgaben, 100-Schritte-Limit) erreicht die vorgeschlagene Methode eine Erfolgsquote von 72,6 %.

Dies entspricht einer absoluten Verbesserung von 9,2 % gegenüber dem vorherigen SoTA (63,4 %).
Es übertrifft die berichtete menschliche Leistungsfähigkeit von 72,36 %.
Durch den Einsatz eines Ensembles aus GPT-5 und Opus 4.5 zeigt das System, dass effektive Skalierung die Fähigkeiten der Agenten über menschliche Benchmarks auf diesen Aufgaben hinaus steigern kann.

Effizienz und Ablationsstudien

Agent S3 Effizienz: Im Vergleich zum hierarchischen Agent S2 reduziert Agent S3 die LLM-Aufrufe pro Aufgabe um 52,3 % und die Aufgabenkompletionszeit um 62,4 %, während die Erfolgsquote um 13,8 % steigt.
Repräsentations-Ablation: Verhaltensnarrative schneiden signifikant besser ab als andere Repräsentationen. Im Vergleich zu einem „Screenshot Only“-Baseline (56,0 %) und einem „Trajectory Summary“-Baseline (55,0 %) erreichten Verhaltensnarrative eine Erfolgsquote von 60,2 % (mit GPT-5 Mini), was einen absoluten Gewinn von 3,4 % bedeutet.
Selektionsstrategie: BJudge übertrifft angepasste unabhängige Ranking-Methoden (wie WebJudge) über variierende Rollout-Budgets hinweg, was zeigt, dass eine komparative Evaluierung für eine skalierbare Selektion notwendig ist.

Generalisierung

WindowsAgentArena: BJudge (N=3) erzielte eine Verbesserung von 6,4 % gegenüber der Agent S3 Baseline (56,6 % vs. 50,2 % bei 100 Schritten).
AndroidWorld: BJudge (N=3) erzielte eine Verbesserung von 3,5 % gegenüber der Agent S3 Baseline (71,6 % vs. 68,1 %).

Modell-Ensemble

Experimente mit Mixture-of-Models-Ensembles zeigten, dass Diversität der Schlüssel zur Aufgabenabdeckung ist. Die Kombination aus GPT-5 und Claude Opus 4.5 lieferte die höchste Erfolgsquote (71,6 %), während die diverseste Mischung (einschließlich aller getesteten Modelle) die höchste Aufgabenabdeckung (Pass@N) von 80,5 % erreichte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die primäre Barriere für die Skalierung von Computer-Use-Agenten nicht die Generierung von Lösungen ist, sondern die Evaluierung und Selektion dieser Lösungen. Durch die Einführung von Behavior Judge bietet die Autoren ein praktisches Framework, das die weite Skalierung effektiv macht.

Die Autoren betonen, dass effektive Skalierung eine strukturierte Verständnis- und Selektionsmethode für Trajektorien erfordert. Das bloße Generieren von mehr Durchläufen ohne einen robusten Mechanismus zum Vergleich führt zu abnehmenden Grenzerträgen. BJudge löst dies, indem es rohe, verrauschte Trajektorien in hochgradig abstrakte Verhaltensnarrative abstrahiert, was es dem System ermöglicht, den korrekten Pfad selbst in komplexen, langfristigen Umgebungen zu identifizieren.

Die Ergebnisse verdeutlichen, dass CUAs mit dem richtigen Framework nicht nur die menschliche Leistung erreichen, sondern diese bei komplexen Desktop-Automatisierungsaufgaben sogar übertreffen können. Dies deutet auf einen gangbaren Weg zu zuverlässigen, automatisierten digitalen Arbeitsabläufen hin. Die Arbeit merkt an, dass diese Ergebnisse auf kontrollierten Umgebungen (virtuelle Maschinen) beruhen, in denen unabhängige Durchläufe möglich sind, und räumt ein, dass der direkte Einsatz auf Live-Desktops von Nutzern zusätzliche Herausforderungen hinsichtlich der Zustandsisolation mit sich bringt.