WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

Die Arbeit stellt WARC-Bench vor, einen neuartigen Benchmark, der Web ARChive-Dateien nutzt, um multimodale KI-Agenten bei komplexen GUI-Teil Aufgaben zu evaluieren, und zeigt, dass zwar aktuelle Frontier-Modelle Schwierigkeiten haben, Open-Source-Modelle jedoch durch überwachtes Feinabstimmen und Verstärkungslernen mit überprüfbaren Belohnungen signifikant verbessert werden können, um wettbewerbsfähige Leistung zu erzielen.

Das Wesentliche

Stellen Sie sich vor, Sie unterrichten einen Roboter im Umgang mit einem Computer. Die meisten früheren Tests verlangten vom Roboter, eines von zwei Dingen zu tun: entweder auf eine einzelne Schaltfläche auf einem Bildschirm zu zeigen („Klicken Sie auf die rote Schaltfläche") oder eine massive, komplexe Reise zu planen („Buchen Sie einen Urlaub für eine Familie mit vier Personen, einschließlich Flüge, Hotels und Mietwagen, alles unter 2.000 US-Dollar").

Die Autoren dieses Papiers erkannten, dass in der Mitte eine enorme Lücke klaffte. Sie stellten fest, dass ein Roboter, bevor er diesen Urlaub buchen kann, die winzigen, kniffligen Schritte dazwischen beherrschen muss: durch eine Liste scrollen, um ein bestimmtes Datum zu finden, einen Schieberegler ziehen, um ein Budget anzupassen, oder ein Formular ausfüllen, ohne versehentlich den bereits dort stehenden Text zu löschen. Sie nennen diese „GUI-Teilaufgaben".

Hier ist eine einfache Aufschlüsselung ihrer Arbeit, WARC-Bench:

1. Das Problem: Das „fehlende Mittelstück"

Stellen Sie sich eine komplexe Web-Aufgabe wie das Backen eines Kuchens vor.

• Visuelle Verankerung: „Nehmen Sie das Ei auf." (Zu einfach).
• Langstrecken-Navigation: „Backen Sie einen Kuchen, glasieren Sie ihn und liefern Sie ihn zu einer Party." (Zu komplex, zu viele Variablen).
• Das fehlende Mittelstück: „Schlagen Sie das Ei in die Schüssel, ohne dass Schale hineingerät", oder „Schlagen Sie den Teig, bis er glatt ist."

Die Autoren argumentieren, dass aktuelle KI-Roboter bei diesen „Mittelschritten" versagen. Sie wissen vielleicht, was ein Kuchen ist, aber sie haben Schwierigkeiten mit den spezifischen, fummeligen Mechaniken der Küchengeräte.

2. Die Lösung: Eine „zeitreisende" Testküche

Um diese Roboter zu testen, baute das Team WARC-Bench.

Normalerweise ist das Testen von Robotern im echten Internet chaotisch. Websites ändern sich, Pop-ups erscheinen und Server stürzen ab. Um dies zu beheben, nutzte das Team WARC-Dateien (Web-Archive).

• Die Analogie: Stellen Sie sich vor, Sie machen einen perfekten, eingefrorenen Schnappschuss einer Website zu einem bestimmten Zeitpunkt, einschließlich aller ihrer Schaltflächen, Skripte und Bilder. Sie legen diesen Schnappschuss in eine „Zeitkapsel".
• Wie es funktioniert: Wenn sie einen Roboter testen, schicken sie ihn nicht ins lebendige Internet. Sie schicken ihn in diese „Zeitkapsel". Der Roboter interagiert mit dieser eingefrorenen, perfekten Kopie der Website. Es ist wie ein Flugsimulator für Webbrowser: sicher, wiederholbar und jedes Mal genau gleich.

Sie erstellten 438 verschiedene „Mini-Herausforderungen" in diesem Simulator, wie „Wählen Sie den 21. März im Kalender aus" oder „Scrollen Sie nach unten, um den Preis zu finden".

3. Die Ergebnisse: Selbst die „klügsten" Roboter haben Schwierigkeiten

Sie testeten die fortschrittlichsten KI-Modelle der Welt (wie Claude 4.0 und GPT-5) an diesen Mini-Herausforderungen.

• Der Realitätscheck: Selbst die klügsten Roboter lösten nur etwa 65 % dieser einfachen Aufgaben richtig.
• Die Analogie: Es ist, als würde man einem brillanten Menschen einen Test geben, bei dem er einen bestimmten Knoten binden oder ein Steuerformular ausfüllen muss. Selbst kluge Menschen machen Fehler, wenn die Anweisungen knifflig sind oder die Benutzeroberfläche verwirrend ist. Die Roboter versagen darin, die „Stimmung" der Website zu „lesen".

4. Die Lösung: Training mit „Videospiele"

Die Autoren wollten sehen, ob sie Open-Source-Roboter (die normalerweise schwächer sind) verbessern konnten. Sie verwendeten zwei Trainingsmethoden:

1. Überwachtes Feinabstimmen (SFT): Dem Roboter werden Tausende von Beispielen gezeigt, wie Menschen diese Aufgaben erfolgreich erledigen, ähnlich wie einem Schüler ein gelöste Matheaufgabe gezeigt wird.
2. Bestärkendes Lernen mit überprüfbaren Belohnungen (RLVR): Dies ist wie ein Videospiel. Sie lassen den Roboter die Aufgabe versuchen. Wenn er erfolgreich ist, erhält er einen „Punkt" (Belohnung). Wenn er scheitert, erhält er null Punkte. Der Roboter lernt, indem er Tausende von Spielen spielt und erkennt: „Ah, ich habe letztes Mal die falsche Schaltfläche geklickt, das sollte ich nicht wieder tun."

Das Ergebnis:
Durch die Anwendung dieser „Videospiele"-Trainingsmethode auf synthetische (gefälschte, aber realistische) Websites sprang ihr Open-Source-Modell von einer niedrigen Punktzahl auf 52,3 %. Dies ist beeindruckend, da es bei diesen spezifischen Aufgaben viele teure, Closed-Source-„Superhirne" schlug.

5. Warum dies wichtig ist

Das Papier kommt zu dem Schluss, dass man, wenn man möchte, dass ein Roboter gut bei den großen, komplexen Jobs ist (wie dem Buchen dieses Urlaubs), zunächst sicherstellen muss, dass er auch bei den kleinen, langweiligen Jobs gut ist (wie dem Klicken auf das richtige Datum).

Sie stellten fest, dass die Fähigkeit eines Roboters, diese winzigen, spezifischen Teilaufgaben zu bewältigen, ein sehr starker Prädiktor dafür ist, wie gut er die großen, komplexen Aufgaben bewältigen wird. Wenn ein Roboter nicht durch ein Dropdown-Menü navigieren kann, wird er wahrscheinlich auch keine Reise planen können.

Kurz gesagt: Die Autoren schufen einen sicheren, zeitlich eingefrorenen Spielplatz, um zu testen, wie gut Roboter die kleinen, kniffligen Details der Nutzung einer Website bewältigen können. Sie stellten fest, dass selbst die besten Roboter bei diesen Details schlecht sind, aber sie können durch das Spielen von „Videospiele", bei denen sie Punkte für das richtige Tun erhalten, trainiert werden, um viel besser zu werden.

Technische Zusammenfassung

Technische Zusammenfassung: WARC-Bench

Problemdefinition

Die Arbeit identifiziert eine kritische Lücke in der Evaluierung autonomer Web-Agenten. Bestehende Benchmarks konzentrieren sich typischerweise auf zwei Extreme: die visuelle Verankerung in einem einzigen Schritt (Abbildung von Text auf Pixelkoordinaten) oder komplexe, langfristige Web-Navigationsaufgaben (z. B. den Kauf eines Artikels auf Amazon). Das mittlere Komplexitätsniveau – GUI-Subaufgaben – bleibt weitgehend unbehandelt. Diese Subaufgaben sind kurzfristige Workflows, die aus mehreren primitiven UI-Aktionen bestehen (z. B. das Auswählen eines bestimmten Datums in einem Datumsauswahlfeld, das Scrollen eines Containers zum Extrahieren von Daten oder die Interaktion mit einer Dropdown-Liste) und eine einzelne funktionale Anweisung innerhalb einer größeren Browsing-Sitzung darstellen.

Die Autoren argumentieren, dass die Beherrschung dieser Subaufgaben für eine robuste Webplanung und -navigation unerlässlich ist, doch aktuelle Benchmarks versagen bei der effektiven Evaluierung dieser Fähigkeit. Darüber hinaus fehlt es bestehenden langfristigen Benchmarks oft an der Vielfalt und den Belastungstest-Fähigkeiten, die erforderlich sind, um Fehler in spezifischen Interaktionskomponenten zu isolieren und zu diagnostizieren.

Methodik

Aufbau von WARC-Bench

Die Autoren stellen WARC-Bench (Web Archive Benchmark) vor, einen neuartigen Benchmark, der entwickelt wurde, um multimodale KI-Agenten bei der Ausführung von Subaufgaben zu evaluieren.

• Umgebung: Der Benchmark nutzt Web ARChive (WARC)-Dateien, um sandgeboxte, interaktive Webumgebungen zu erstellen. Diese Dateien erfassen den vollständigen Zustand einer Website (HTML, CSS, JavaScript, Bilder, HTTP-Header) und ermöglichen eine hochpräzise Wiedergabe innerhalb eines Chromium-basierten Browsers (via Playwright). Dieser Ansatz gewährleistet die Aufgabenisolation, verhindert echte Schreibvorgänge in der realen Welt und ermöglicht eine schnelle, skalierbare Evaluierung.
• Zusammensetzung des Datensatzes: Der Benchmark umfasst 438 Aufgaben, unterteilt in:
  • Test-Set: 200 Aufgaben, die ausschließlich von realen Websites abgeleitet sind (z. B. GitHub, Zoho Desk, Kaiser Permanente).
  • Entwicklungs-Set: 238 Aufgaben (60 real, 178 synthetisch).
  • Trainings-Set: 1.059 synthetische Aufgaben, die über eine LLM-basierte Pipeline generiert wurden, um diverse UI-Widgets und Aufgabenziele zu erstellen.
• Aufgabenkategorien: Die Aufgaben decken 15 Kategorien ab, darunter Datumsauswahlfelder, Formularausfüllung, Tabellenmanipulation, Drag-and-Drop und Datenerfassung.
• Evaluierung: Jede Aufgabe enthält eine deterministische, programmatische Belohnungsfunktion (JS-, URL-, String- oder JSON-Matcher), um den Aufgabenabschluss unabhängig von der spezifischen Trajektorie des Agenten zu verifizieren.

Agenten-Design und Training

Die Autoren schlagen den Subtask Vision Agent (SVA) vor, ein Generalist-Agenten-Design, das ausschließlich Screenshots zur Beobachtung nutzt und keine Abhängigkeit von Accessibility-Bäumen oder HTML-DOM aufweist, die redundant sein können oder die Kontextgrenzen überschreiten.

• Aktionsraum: Der Agent operiert auf einer minimalen API mit acht Aktionen: click, complete, drag_and_release, hover, key_press, scroll, type und wait.
• Trainingsstrategie: Um Open-Source-Modelle (insbesondere die Qwen2.5-VL-Familie) zu verbessern, setzen die Autoren eine zweistufige Trainingspipeline ein:
  1. Supervised Fine-Tuning (SFT): Distillation von Trajektorien, die von starken „Lehrer"-Modellen (einschließlich Frontier-Modellen) auf einem Datensatz von ca. 12.000 einzigartigen Trajektorien generiert wurden.
  2. Reinforcement Learning with Verifiable Rewards (RLVR): Anwendung von Proximal Policy Optimization (PPO) auf SFT-Checkpoints unter Verwendung des synthetischen WARC-Bench-Trainingssets. Der Agent erhält eine Belohnung von 10 für erfolgreiche Trajektorien und 0 für Fehler oder Zeitüberschreitungen.

Wichtige Ergebnisse

Benchmark-Leistung

WARC-Bench erweist sich selbst für fortschrittlichste Frontier-Modelle als herausfordernd:

• Anthropic's Claude-4.0-Sonnet erzielte die höchste Erfolgsquote unter den evaluierten Modellen mit 64,8 % im Test-Set.
• OpenAI's GPT-5 erzielte 51,3 %.
• Open-Source-Modelle (z. B. Qwen2.5-VL-72B) lagen anfangs mit 37,3 % deutlich zurück.

Auswirkung von Trainingstechniken

Die vorgeschlagene Trainingspipeline verringerte die Lücke zwischen Open-Source- und Closed-Source-Modellen erheblich:

• SFT: Verbesserte das Qwen2.5-VL-72B-Modell von 37,3 % auf 48,3 %.
• RLVR: Verbesserte das Qwen2.5-VL-72B-Modell weiter auf 52,3 %, übertraf viele Frontier-Closed-Source-Modelle und etablierte einen neuen State-of-the-Art für Open-Source-Agenten auf diesem Benchmark.
• Effizienz: Die mit RLVR trainierten Modelle zeigten eine verbesserte Exploration (erhöhtes Scrollen), reduzierte redundante Klicks und kürzere Trajektorienlängen (ca. 0,94 weniger Schritte pro Aufgabe) im Vergleich zu SFT-only-Baselines.

Vergleichende Analyse

• Korrelation mit langfristigen Aufgaben: Im Gegensatz zu Benchmarks wie ScreenSpot V2 oder MiniWoB++ korreliert die Leistung auf WARC-Bench stärker mit langfristigen Navigationsfähigkeiten (gemessen auf WebArena).
• Hierarchische Agenten: Die Arbeit zeigt, dass die Zerlegung langfristiger Aufgaben in Subaufgaben unter Verwendung eines Planers (z. B. Claude-4.0-Sonnet) und eines Executors (z. B. das trainierte Qwen2.5-VL-72B-RLVR) die Leistung auf WebArena-Lite signifikant verbessert (von 16,17 % auf 24,63 % für Qwen-basierte Agenten) und damit den Nutzen spezialisierter Subaufgaben-Modelle validiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass WARC-Bench eine kritische Lücke im Landschaftsbild der GUI-Agenten-Forschung schließt, indem es eine hochpräzise, skalierbare und sandgeboxte Umgebung zur Evaluierung kurzfristiger Subaufgaben bietet. Die Autoren behaupten:

1. Subaufgaben-Meisterschaft ist Voraussetzung: Die erfolgreiche Ausführung von Subaufgaben ist eine fundamentale Fähigkeit, die für eine robuste langfristige Webnavigation erforderlich ist, eine Fähigkeit, die von bestehenden Benchmarks nicht umfassend evaluiert wird.
2. Wirksamkeit des Trainings: Synthetische Daten in Kombination mit SFT und RLVR können Open-Source-Modellen ermöglichen, auf realistischen Web-Interaktionen eine wettbewerbsfähige und in einigen Fällen überlegene Leistung im Vergleich zu Frontier-Closed-Source-Modellen zu erzielen.
3. Diagnostischer Wert: Der Benchmark dient als Belastungstest für spezifische Agentenfähigkeiten (z. B. visuelle Verankerung auf komplexen Widgets, Handhabung dynamischer UIs wie Datumsauswahlfelder), die häufig zu Ausfällen in größeren Systemen führen.

Die Arbeit schließt, dass WARC-Bench einen einzigartigen Weg bietet, Generalist-Computer-Nutzungs-Agenten voranzubringen, indem die Ausführungsebene für mittlere Subaufgaben systematisch verbessert wird.