💬 NLP

Safe and Scalable Web Agent Learning via Recreated Websites

Die Arbeit stellt VeriEnv vor, ein Framework, das Sprachmodelle nutzt, um reale Websites in sichere, verifizierbare synthetische Umgebungen zu klonen, wodurch autonome Web-Agenten skalierbar und ohne Risiko für reale Interaktionen durch selbstgenerierte, deterministisch überprüfbare Aufgaben trainiert werden können.

Ursprüngliche Autoren: Hyungjoo Chae, Jungsoo Park, Alan Ritter

Veröffentlicht 2026-03-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hyungjoo Chae, Jungsoo Park, Alan Ritter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einem Roboter beibringen, wie man im Internet surft, Tickets kauft oder Termine buchst. Das Problem ist: Wenn du den Roboter direkt auf der echten Welt loslässt, ist das wie ein Kind, das zum ersten Mal auf eine belebte Straße geschickt wird. Es könnte Autos anfahren, gegen Regeln verstoßen oder Dinge kaputt machen, die man nicht reparieren kann.

Das ist genau das Problem, das die Forscher mit ihrer neuen Methode namens VERIENV lösen wollen. Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der gefährliche Realitäts-Test

Normalerweise trainieren KI-Agenten, indem sie echte Webseiten besuchen. Das ist aber riskant:

Unsicherheit: Der Roboter könnte versehentlich jemandes Konto löschen oder Spam verschicken.
Kein "Zurücksetzen": Wenn der Roboter einen Fehler macht, kann man den Zustand der Webseite nicht einfach auf "Start" zurücksetzen.
Falsche Bewertungen: Oft muss eine andere KI (ein "Richter") entscheiden, ob der Roboter die Aufgabe gut gemacht hat. Aber diese Richter-KI ist manchmal ungenau und urteilt willkürlich, wie ein Lehrer, der eine Prüfung falsch korrigiert.

2. Die Lösung: Der perfekte "Flugzeug-Simulator"

Stell dir vor, du willst einen Piloten fliegen lehren. Würdest du ihn direkt in ein echtes Flugzeug setzen, das über einer Stadt fliegt? Nein! Du setzt ihn in einen Flugsimulator.

VERIENV ist genau dieser Simulator für das Internet.

Der Nachbau: Eine spezielle "Programmier-KI" (ein digitaler Handwerker) nimmt eine echte Webseite (z. B. eine Buchungsseite) und baut eine exakte Kopie davon nach. Aber diese Kopie läuft auf einem sicheren Server im Labor.
Der geheime Schlüssel: Das Wichtigste an dieser Kopie ist: Der Roboter hat einen "Meister-Schlüssel" (eine Python-Schnittstelle). Er kann nicht nur auf die Webseite schauen, sondern auch direkt in den "Keller" (die Datenbank) schauen. Er sieht genau, was im Hintergrund passiert.

3. Wie das Training funktioniert: Der unfehlbare Schiedsrichter

In diesem Simulator passiert Folgendes:

Aufgaben generieren: Die KI stellt dem Roboter Aufgaben, wie "Buche ein Ticket nach Berlin".
Der Schiedsrichter: Statt dass eine andere KI raten muss, ob die Aufgabe erledigt wurde, gibt es einen automatischen Schiedsrichter. Dieser prüft direkt in der Datenbank: "Ist das Ticket wirklich gebucht? Ist der Preis korrekt?"
Kein Raten: Es gibt kein "Vielleicht" oder "Ich denke schon". Es ist entweder Richtig oder Falsch. Das ist wie bei einem Mathe-Test, bei dem das Ergebnis eindeutig ist, nicht wie bei einem Aufsatz, bei dem die Bewertung vom Laune des Lehrers abhängt.

4. Warum das genial ist: Unendliches Üben

Da es ein Simulator ist, kannst du den Roboter millionenfach üben lassen:

Sicher: Wenn er einen Fehler macht, passiert nichts in der echten Welt. Niemand wird verärgert.
Selbstverbessernd: Der Roboter kann sich selbst neue, schwierigere Aufgaben stellen. Wenn er eine Aufgabe meistert, bekommt er sofort eine klare Belohnung (ein digitales "Bravo").
Skalierbar: Man kann hunderte solcher Simulatoren (für verschiedene Webseiten wie Amazon, Booking.com, etc.) gleichzeitig laufen lassen. Je mehr Simulatoren, desto besser lernt der Roboter.

Zusammenfassung in einer Metapher

Stell dir vor, du möchtest jemanden beibringen, wie man ein Auto repariert.

Der alte Weg: Du gibst ihm einen echten Motor und sagst "Probier's mal". Er könnte den Motor zerstören, und du hast keine Ahnung, ob er es wirklich richtig gemacht hat, weil du nicht genau siehst, was er im Inneren tut.
Der VERIENV-Weg: Du gibst ihm einen Motor im Labor, den du komplett zerlegen und wieder zusammenbauen kannst. Du hast eine Checkliste, die sofort aufleuchtet, wenn er die richtige Schraube angezogen hat. Er kann tausende Male üben, ohne dass ein echter Motor Schaden nimmt, und lernt dadurch schneller und sicherer, als je zuvor.

Das Ergebnis: Die Forscher haben gezeigt, dass Roboter, die in diesem "Sicherheits-Simulator" trainiert wurden, später auch auf echten Webseiten viel besser funktionieren als solche, die direkt auf der echten Welt gelernt haben. Sie sind sicherer, zuverlässiger und lernen schneller.

1. Problemstellung

Die Ausbildung autonomer Web-Agenten stößt derzeit auf fundamentale Grenzen, die durch die Umgebungen verursacht werden, in denen sie lernen:

Sicherheit und Einschränkungen: Die direkte Interaktion mit realen Websites ist oft unsicher. Agenten-Aktionen können andere Benutzer stören, gegen Plattformrichtlinien verstoßen oder durch Sicherheitsmechanismen wie Cloudflare oder CAPTCHAs blockiert werden.
Fehlende Rücksetzbarkeit: Reale Umgebungen lassen sich schwer zurücksetzen, was wiederholtes Experimentieren und Training erschwert.
Unzuverlässiges Feedback: Viele bestehende Ansätze generieren Aufgaben ohne direkten Zugriff auf die interne Logik der Website und verlassen sich auf „LLM-as-a-Judge" (Sprachmodelle als Bewerter). Diese Bewertungen sind oft fehleranfällig, nicht deterministisch und basieren auf Heuristiken statt auf verifizierbaren Fakten.
Instabilität: Ohne verifizierbare Aufgaben und Ergebnisse wird das selbst-evolvierende Lernen (Self-Evolution) instabil und ineffizient.

2. Methodik: Das VERIENV-Framework

Die Autoren stellen VERIENV vor, ein Framework, das Sprachmodelle als Umgebungserschaffer nutzt, um reale Websites in vollständig ausführbare, verifizierbare synthetische Umgebungen zu klonen.

Der Prozess gliedert sich in drei Hauptphasen:

Rekonstruktion realer Websites (Environment Construction):
- Ein Coding-Agent (basierend auf GPT-5.2) rekonstruiert eine Ziel-Website basierend auf Screenshots.
- Der Agent erstellt nicht nur das Frontend, sondern auch die Backend-Logik und die zugrunde liegende Datenbank.
- Das Ergebnis ist ein synthetisches Environment $\tilde{E} = (C, D, P)$ , bestehend aus ausführbarem Code ( $C$ ), Datenbankzustand ( $D$ ) und einem Python SDK ( $P$ ).
- Das SDK gewährt kontrollierten, internen Zugriff auf den Zustand der Umgebung, was für die Validierung entscheidend ist.
- Ein iterativer Stabilisierungsprozess (unter Verwendung von Playwright MCP) identifiziert und behebt Bugs, bis die Umgebung stabil und zurücksetzbar ist.
Generierung verifizierbarer Aufgaben und Richter (Task & Judge Generation):
- Anstatt Aufgaben nur textuell zu beschreiben, generiert das System für jede Aufgabe einen ausführbaren Validierungsprogramm (Judge) mittels des Python SDKs.
- Dieser Judge prüft deterministisch den Endzustand der Datenbank oder des Systems, um zu bestätigen, ob die Aufgabe erfolgreich abgeschlossen wurde.
- Dies eliminiert die Abhängigkeit von subjektiven LLM-Bewertungen. Die Belohnungssignale sind binär (Erfolg/Misserfolg) und deterministisch.
Selbst-evolvierendes Lernen (Self-Evolving Agent Learning):
- Agenten trainieren innerhalb dieser synthetischen Umgebungen.
- Sie generieren eigene Aufgaben, interagieren mit der klonierten Website und erhalten Belohnungen basierend auf der Ausführung der Validierungsprogramme.
- Nur Trajektorien, die die Validierung bestehen, werden für das Fine-Tuning (z. B. via Rejection Fine-Tuning) verwendet.

3. Wichtige Beiträge

VERIENV-Framework: Ein automatisiertes System zur Umwandlung realer Websites in sichere, synthetische Trainingsumgebungen mit vollständigem internen Zugriff (via SDK).
Verifizierbare Belohnungen: Einführung eines Paradigmas, bei dem Aufgaben durch ausführbare Code-Prüfungen validiert werden, anstatt auf heuristischen oder LLM-basierten Bewertungen zu beruhen.
Skalierbarkeit: Das System ermöglicht die Skalierung der Trainingsumgebungen, da neue Websites automatisch geklont und validiert werden können.

4. Ergebnisse

Die Autoren evaluieren VERIENV an zwei Benchmarks: WebArena und Mind2Web-Online.

Generalisierung: Agenten, die mit VERIENV trainiert wurden, zeigen eine signifikante Verbesserung bei der Generalisierung auf unbekannte Websites.
- Auf WebArena erreichte das Modell Qwen3-4B eine Steigerung von +6,06 Punkten und LLaMA-3.2-3B-Instruct eine Steigerung von +9,09 Punkten im Vergleich zu den Basismodellen.
- Auf Mind2Web-Online zeigte sich eine Verbesserung von +7,27 (Qwen) bzw. +13,19 (LLaMA) Punkten.
Spezifische Meisterschaft (Site-Specific Mastery): In Experimenten, bei denen Agenten wiederholt auf einer einzigen geklonten Website trainiert wurden, zeigten sie stetige Leistungssteigerungen. VERIENV übertraf hierbei den aktuellen State-of-the-Art-Ansatz PAE (Proposer-Agent-Evaluator), der auf realen Websites und LLM-Judges basiert. VERIENV lieferte stabilere und größere Verbesserungen, da die Belohnungssignale deterministisch waren.
Skalierungseffekt: Die Leistung der Agenten verbesserte sich konsistent mit der Anzahl der trainierten Umgebungen (bis zu 149 Websites), was die Effektivität des Umgebungs-Skalings unterstreicht.
Qualität der Umgebungen: Eine menschliche Evaluation ergab eine funktionale Korrektheit von durchschnittlich 90 % und eine visuelle Bewertung von 4,7/5. Die Validität der generierten Aufgaben lag bei 90 %, die Korrektheit der automatischen Richter bei 76 %.

5. Bedeutung und Ausblick

Sicherheit: VERIENV ermöglicht das Training von Agenten ohne Risiko, reale Dienste zu beschädigen, Daten zu manipulieren oder gegen Nutzungsbedingungen zu verstoßen.
Reproduzierbarkeit: Durch die Verwendung von deterministischen Validierungsprogrammen werden Experimente vollständig reproduzierbar und auditierbar, im Gegensatz zu den oft „schwarzen Kasten"-Bewertungen durch LLMs.
Zukunftsperspektive: Das Framework legt den Grundstein für eine robustere, sicherere und skalierbare Entwicklung von Web-Agenten. Es erlaubt die Erforschung von Reinforcement Learning in komplexen Umgebungen, ohne die physischen oder ethischen Grenzen realer Interaktionen.
Herausforderungen: Die Rekonstruktion von Websites mit starkem Multimedia-Einsatz (z. B. Video-Streaming) bleibt schwierig, kann aber durch Platzhalter-Lösungen umgangen werden.

Zusammenfassend bietet VERIENV einen praktischen Weg, um Web-Agenten durch selbst-evolvierendes Lernen in sicheren, synthetischen Umgebungen zu trainieren, wobei die Zuverlässigkeit durch programmatische Verifizierung gewährleistet wird.