🤖 AI

ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents

Das Papier stellt ENVS vor, eine während der Trainingszeit eingesetzte Search-and-Filter-Pipeline, die Live-OSWorld-Umgebungen nutzt, um verifizierte, global ausgewogene Supervision für GUI-Agenten zu generieren, wobei sie eine überlegene Leistung und Recheneffizienz bei langfristigen Aufgaben erzielt und gleichzeitig eine verbesserte Robustheit gegenüber realistischen Desktop-Unterbrechungen sowie eine bessere Erhaltung visueller Denkfähigkeiten demonstriert.

Ursprüngliche Autoren: Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man einen Computer benutzt. Der Roboter muss lernen, zu klicken, zu tippen und Fenster zu navigieren, um Aufgaben wie „einen Flug buchen“ oder „ein Dokument bearbeiten“ zu erledigen.

Das Problem ist, dass die Computerumgebung chaotisch ist. Wenn der Roboter einen Fehler macht, weiß er oft erst am Ende, welcher Schritt zum Fehlschlag geführt hat, und dann ist es zu spät, um ihn zu korrigieren. Außerdem ist das Testen des Roboters, indem man ihn tausende von Szenarien auf einem echten Computer durchlaufen lässt, unglaublich langsam und teuer (es ist, als würde man einen Supercomputer mieten, nur um zuzusehen, wie ein Roboter scheitert).

Dieses Paper stellt eine neue Methode namens ENVS (Environment-Native Verified Search) vor, um dieses Problem zu lösen. So funktioniert sie, erklärt mit einfachen Analogien:

1. Der alte Weg: „Versuch und Irrtum im Dunkeln“ (Online RL)

Stellen Sie sich die alte Methode (genannt Online RL) wie einen Schüler vor, der versucht, Autofahren zu lernen, indem er in ein Auto steigt und herumfährt, bis er einen Unfall baut.

Er fährt, kracht, setzt zurück und versucht es erneut.
Er erhält erst ganz am Ende der Fahrt ein „Bestanden“ oder „Nicht bestanden“.
Wenn er einen Unfall baut, weiß er nicht, ob es daran lag, dass er zu früh abgebogen, zu hart gebremst oder auf das falsche Schild geschaut hat.
Das kostet eine enorme Menge an Zeit (Rechenleistung) und Treibstoff (Geld).

2. Der neue Weg: „Das Simulationslabor“ (ENVS)

Die Autoren schlagen einen anderen Ansatz vor. Anstatt den Roboter live Auto fahren zu lassen, bauen sie ein Simulationslabor, in dem sie jede mögliche Abbiegung testen können, bevor der Roboter jemals wirklich hinter dem Steuer sitzt.

Verzweigung: Stellen Sie sich vor, der Roboter befindet sich an einer Kreuzung. Anstatt nur einen Weg zu wählen, schickt das System 32 „Späher“ (virtuelle Roboter) gleichzeitig auf verschiedene Pfade.
Gruppierung ähnlicher Bewegungen: Wenn 20 Späher nach links abbiegen und 10 nach rechts, erkennt das System: „Links“ ist die populäre, wahrscheinlich richtige Bewegung. Es konzentriert seine Energie darauf.
Der „Verifizierungs“-Filter: Das System überprüft das Ende jedes Pfades. Hat der Späher erfolgreich den Flug gebucht?
- Ja: Großartig! Wir speichern diesen Pfad als „Goldstandard“-Lektion ab.
- Nein: Wir werfen diesen Pfad weg. Wir verschwenden keine Zeit damit, dem Roboter beizubringen, wie man scheitert.
Das Ergebnis: Der Roboter wird dann nur auf den „Goldstandard“-Pfaden trainiert. Er lernt aus einer kuratierten Bibliothek von Erfolgsgeschichten statt aus einem Haufen Abstürze.

3. Der „Rausch“-Benchmark: „Das ablenkte Büro“

Das Paper führt auch einen neuen Test namens OSWORLD-NOISY ein.

Das Szenario: Stellen Sie sich vor, Sie versuchen, ein Dokument zu bearbeiten, aber alle paar Minuten läuft ein Kollege vorbei und schreit, eine Werbeanzeige verdeckt Ihren Bildschirm oder ein Telefon klingelt.
Der Test: Kann der Roboter den Störungen ignorieren, das Pop-up schließen und wieder mit der Arbeit fortfahren?
Das Ergebnis: Der mit der neuen „Simulationslabor“-Methode (ENVS) trainierte Roboter war bei diesen Ablenkungen viel besser als der Roboter, der mit der alten „Versuch und Irrtum“-Methode trainiert wurde. Er lernte zu „refokussieren“ und zu „warten“, weil er diese Unterbrechungen bereits während der Datenerhebung für sein Training gesehen hatte.

4. Warum das wichtig ist (Die Ergebnisse)

Das Paper beansprucht drei Hauptgewinne für ENVS:

Intelligenter: Es löste mehr Aufgaben korrekt (30,3 % Erfolgsquote) im Vergleich zu den alten Methoden (26,7 %).
Günstiger: Es verbrauchte deutlich weniger Rechenleistung (etwa 25 % weniger), da es nicht ständig fehlgeschlagene Experimente wiederholen musste.
Robuster: Es wurde nicht nur besser in der Hauptaufgabe; es wurde tatsächlich besser in anderen Fähigkeiten, wie dem Verständnis visueller Rätsel, weil die Trainingsdaten höherwertig waren und auch „Rausch“-Szenarien enthielten.

Zusammenfassung

Denken Sie an ENVS als einen Lehrer, der nicht einfach nur einen Schüler eine Prüfung abhalten lässt und sieht, ob er besteht oder durchfällt. Stattdessen führt der Lehrer zuerst tausend Übungsprüfungen durch, filtert diejenigen heraus, bei denen der Schüler verwirrt war, und erstellt dann einen perfekten Lernleitfaden aus den erfolgreichen Versuchen. Der Schüler lernt dann nur aus diesem perfekten Leitfaden, was ihn schneller lerner, weniger Zeit kostet und ihn besser auf ein verrauschtes, ablenkendes Klassenzimmer vorbereitet.

Technisches Resümee: ENVS: Environment-Native Verified Search für Long-Horizon GUI-Agenten

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung, multimodale Agenten zu trainieren, die reale Software über grafische Benutzeroberflächen (GUIs) steuern. Während Fundamentmodelle Fortschritte im Verständnis von Schnittstellen gemacht haben, bleibt die Ausführung langer Sequenzen präziser Maus- und Tastaturaktionen in Live-Desktop-Umgebungen schwierig. Die Kernengpässe sind:

Spärliches und verzögertes Feedback: In Umgebungen wie OSWORLD ist das Feedback typischerweise ein binäres Erfolgs-/Fehlersignal erst am Ende einer Trajektorie. Eine fehlgeschlagene Trajektorie offenbart nicht, welche spezifische Zwischenaktion die Ursache für das Scheitern war.
Hohe Kosten für Rollouts: Das Einholen von Feedback erfordert die Ausführung von Aktionen in Live-Virtuellen Maschinen (VMs), was rechenintensiv und langsam ist.
Ineffizienz von Online-RL: Aktuelle Ansätze, wie ARPO (Adaptive Reinforcement Policy Optimization) und Baumsuchverfahren wie SEEA-R1, koppeln die Entdeckung von Trajektorien oft mit Policy-Updates. Dies führt zu Problemen, bei denen einfache Aufgaben das Gradientensignal dominieren, lange Trajektorien überrepräsentiert sind und die globale Allokation der Gradientenmasse über Aufgaben und Trajektorienlängen hinweg schwer zu kontrollieren ist.

2. Methodik: ENVS

Die Autoren schlagen Environment-Native Verified Search (ENVS) vor, ein Trainingszeit-Framework, das die Entdeckung von Trajektorien von der Policy-Optimierung entkoppelt. Anstatt Online-Reinforcement-Learning (RL) zu verwenden, konstruiert ENVS vor Beginn des Trainings einen verifizierten, ausgewogenen Supervised-Datensatz.

Kern-Pipeline

Behavioral-Disagreement-Gated Search:
- Das System sucht innerhalb von Live-OSWORLD-VMs unter Verwendung einer eingefrorenen Basis-Policy.
- An jedem Schritt werden $K$ Kandidatenaktionen gesampelt und auf grobe „Behavioral Fingerprints“ (z. B. Aktionstyp + diskretisierte Koordinaten oder Text) reduziert.
- Die Kandidaten werden nach Fingerprints gruppiert. Das System exploriert die Top- $k$ Buckets mit der höchsten Übereinstimmung (Mehrheitsaktionen) und beschneidet Minderheitsaktionen. Dies stellt sicher, dass sich die Suche auf behavioral distinkte Pfade konzentriert, anstatt auf Token-Rauschen.
VM-Bounded Search:
- Im Gegensatz zum klassischen Monte Carlo Tree Search (MCTS), das von kostengünstigen Simulationen ausgeht, operiert ENVS in Live-Desktops, in denen das Wiederbesuchen von Zuständen kostspielig ist.
- Es ersetzt adaptive Selektion (UCB/PUCT) durch explizite Kosten-Gates: pro-Aufgaben-Zweigbudgets, pro-Schritt-Obergrenzen und harte Schritt-Cutoffs. Es verwendet keine gelernten Value-Funktionen.
Umwelt-Verifizierung und Filterung:
- Sobald eine Trajektorie einen Blattknoten erreicht, weist der OSWORLD-Task-Oracle ein binäres Reward ( $R(\tau) \in \{0, 1\}$ ) zu.
- Fehlgeschlagene Trajektorien werden verworfen. Erfolgreiche Trajektorien werden in pro-Schritt Supervised-Beispiele $(x, o_{\le t}, a_t)$ zerlegt, wodurch aus spärlichem terminalem Erfolg dichtes Aktions-Level-Supervision wird.
Globale Balance der Supervision:
- Der gesammelte Datensatz ist naturgemäß imbalanciert (einfache Aufgaben liefern viele Erfolge; schwierige Aufgaben nur wenige).
- ENVS wendet vor dem Training ein Reweighting-Schema an. Das Gewicht $w_i$ für Aufgabe $i$ wird berechnet als:
  $w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$
  wobei $SR_i$ die Such-Erfolgsrate und $T_i$ die Anzahl der Schritte ist. Dies verschiebt die Gradientenmasse hin zu schwierigen Aufgaben und normalisiert für die Trajektorienlänge, um zu verhindern, dass einfache Aufgaben das Trainingssignal dominieren.

OSWORLD-NOISY Benchmark

Zur Evaluierung der Robustheit führen die Autoren OSWORLD-NOISY ein, einen dynamischen Benchmark, der während der Task-Ausführung wiederherstellbare Desktop-Unterbrechungen (z. B. Pop-ups, Fokuswechsel, Hintergrund-Dialoge) injiziert.

Constraints: Störungen sind „nicht-sabotierend“; sie greifen nicht auf aufgabenspezifische Dateien zu und senden keine Eingaben an das Zielfenster, sodass die Aufgaben lösbar bleiben.
Scheduling: Während des Trainings skaliert die Rauschintensität mit der Erfolgsrate der Aufgaben (schwierigere Aufgaben erhalten weniger Rauschen). Die Evaluierung nutzt ein festes, deterministisches Schedule von zurückgehaltenen Perturbationen.

3. Kernbeiträge

ENVS-Framework: Eine Search-and-Filter-Pipeline, die die Umgebung selbst nutzt, um erfolgreiche Trajektorien zu verifizieren und diese in global ausbalancierte Supervised-Daten umzuwandeln. Dies trennt die Entdeckung von der Optimierung und ermöglicht eine explizite Kontrolle über die Gradientenallokation.
OSWORLD-NOISY: Ein neuer Benchmark zum Testen der Robustheit von GUI-Agenten gegenüber realistischen, wiederherstellbaren Desktop-Unterbrechungen, der die ursprünglichen Aufgaben beibehält und dynamische Perturbationen hinzufügt.
Effizienz und Robustheit: Nachweis, dass verifizierte Suche eine höhere Genauigkeit mit deutlich weniger Rechenaufwand als Online-RL erreichen kann, während gleichzeitig die visuelle Reasoning-Fähigkeit bewahrt wird.

4. Experimentelle Ergebnisse

Die Experimente wurden auf einem 300-Task-OSWORLD-Pool (86 trainierbar, 214 gehalten-aus) unter Verwendung des UI-TARS-1.5-7B Basismodells durchgeführt.

Clean Performance: ENVS erreichte 30,3 % pass@8 auf Clean OSWORLD und übertraf damit das Basismodell (22,7 %) und ARPO (26,7 %).
Noisy Robustness: Auf OSWORLD-NOISY erreichte ENVS 29,0 % pass@8, was das Basismodell (20,3 %) und das Noisy-ARPO (21,7 %) signifikant übertraf. Bemerkenswerterweise verschlechterte sich Noisy-ARPO bei Clean-Tasks, während ENVS eine hohe Performance über beide Bedingungen hinweg beibehielt.
Recheneffizienz: ENVS benötigte 138–153 GPU-Stunden im Vergleich zu 184–192 GPU-Stunden für vergleichbare ARPO-Baselines. Diese Effizienz ergibt sich daraus, dass ENVS verifizierte Trajektorien einmalig sammelt und für das Supervised Fine-Tuning (SFT) wiederverwendet, während ARPO für jeden Trainingsschritt frische On-Policy-Rollouts benötigt.
Dateneffizienz: Durch die Nutzung von nur 30 % der gesammelten Suchdaten erreichte ENVS 27,0 % pass@8, was mit ARPO mithilfe des vollen Datensatzes gleichzieht oder dieses sogar übertrifft.
Erhalt der Fähigkeiten: Das Training in verrauschten Umgebungen bewahrte die Hilfs-Visual-Reasoning-Fähigkeiten besser. Beispielsweise erreichte Noisy-ENVS im OSWORLD-G Refusal Benchmark 16,7 % im Vergleich zu 1,9 % für Clean-ENFS, was darauf hindeutet, dass Unterbrechungen nützliche Supervision für Wahrnehmung und Erholung bieten.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass ENVS einen strukturellen Vorteil gegenüber Online-RL bietet, indem es die Entdeckung von Trajektorien von den Policy-Updates entkoppelt. Dies ermöglicht:

Globale Gradientenkontrolle: Die Fähigkeit, überrepräsentierte einfache Aufgaben zu deckeln und seltene Erfolgsaufgaben aufzuwerten, was die „Binomial-Degenerierung“ und das Gradienten-Imbalance anspricht, die in Online-RL inhärent sind.
Erhalt der Entropie: Im Gegensatz zu Online-RL, das oft unter Entropie-Kollaps leidet (Verengung der Aktionsverteilungen), bewahrt ENVS eine höhere Aktionsentropie, indem es auf diversen, verifizierten Trajektorien trainiert, was zu besserer Generalisierung führt.
Kosteneffizientes Training: Durch die Amortisierung teurer Interaktionen mit der Umgebung in einen verifizierten Datensatz reduziert ENVS die Rechenkosten und verbessert gleichzeitig die Leistung.
Robustheit durch Unterbrechung: Die Ergebnisse legen nahe, dass dynamische Perturbationen nicht nur ein Stresstest sind, sondern eine Quelle der Supervision darstellen, die Agenten hilft, sich neu zu fokussieren, zu warten und sich zu erholen, ohne die saubere Aufgabenerfüllung zu opfern.

Die Autoren kommen zu dem Schluss, dass umwelt-native Trainings Verfahren Agenten-Training billiger und wiederverwendbarer machen können, weisen jedoch auf Einschränkungen hinsichtlich der synthetischen Natur des Rauschens und der spezifischen Infrastrukturanforderungen (parallele VMs, zuverlässige Resets) der OSWORLD-Umgebung hin.