🤖 AI

Online Skill Learning for Web Agents via State-Grounded Dynamic Retrieval

Dieses Paper schlägt State-Grounded Dynamic Retrieval (SGDR) vor, eine Methode zum Online-Skill-Lernen, die Web-Agenten verbessert, indem sie eine schrittweise Skill-Wiederverwendung durch einen Mechanismus ermöglicht, der Skills dynamisch sowohl an Aufgabenziele als auch an den aktuellen Webseitenstatus anpasst, wodurch sie statische Retrieval-Baselines im WebArena-Benchmark übertrifft.

Ursprüngliche Autoren: Jiaxi Li, Ke Deng, Yun Wang, Jingyuan Huang, Yucheng Shi, Qiaoyu Tan, Jin Lu, Ninghao Liu

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiaxi Li, Ke Deng, Yun Wang, Jingyuan Huang, Yucheng Shi, Qiaoyu Tan, Jin Lu, Ninghao Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er im Internet navigiert, um Dinge zu erledigen wie etwa einen Flug zu buchen, ein Formular auszufüllen oder einen bestimmten Post in einem Forum zu finden. Dieser Roboter ist ein „Web-Agent“.

Das Problem ist, dass das Internet chaotisch ist und sich ständig verändert. Ein Roboter weiß vielleicht, wie er eine Aufgabe startet, aber sobald er auf einen Button klickt und auf einer neuen Seite landet, ergeben die alten Anweisungen nicht mehr Sinn.

Dieses Paper stellt eine neue Methode vor, wie man diese Roboter lehrt, genannt SGDR (State-Grounded Dynamic Retrieval). So funktioniert es, einfach erklärt:

Das Problem: Die „Einmal-und-fertig“-Anweisung

Denken Sie an traditionelle Methoden, bei denen man dem Roboter zu Beginn einer Reise eine einzelne, statische Karte gibt.

Der alte Weg: Sie sagen dem Roboter: „Geh zum Laden und kauf Milch.“ Der Roboter wählt basierend auf diesem Satz eine „Einkaufs-Fertigkeit“ aus seinem Gedächtnis aus und hält strikt daran fest, bis er am Ende ist.
Der Fehler: Wenn der Roboter in den Laden läuft und das Layout hat sich geändert, oder wenn er in der Molkereipassage stecken bleibt, hilft ihm diese ursprüngliche Karte nicht weiter. Der Roboter steckt fest, weil er seine Strategie nicht basierend auf dem aktualisieren kann, wo er sich gerade tatsächlich befindet. Es ist, als würde man versuchen, eine Stadt mit einer Karte von vor 10 Jahren zu navigieren, während man in einem brandneuen Gebäude steht.

Die Lösung: Der „Smart-GPS“-Ansatz

Die Autoren schlagen SGDR vor, das eher wie ein smartes GPS funktioniert, das Ihre Route alle paar Sekunden basierend auf Ihrem aktuellen Standort und dem Verkehr aktualisiert.

Hier sind die drei Haupttricks, die SGDR anwendet:

1. Aufgaben in „Kapitel“ unterteilen (Sliding-Window Extraction)

Anstatt eine ganze Reise als eine einzige, riesige, starre Geschichte zu speichern, zerlegt SGDR erfolgreiche Reisen in kleine, wiederverwendbare Kapitel.

Analogie: Stellen Sie sich vor, Sie lernen, einen Kuchen zu backen. Anstatt das gesamte Rezept als einen einzigen riesigen Textblock auswendig zu lernen, lernen Sie spezifische „Schritte“: „wie man ein Ei aufschlägt“, „wie man Mehl unterhebt“ und „wie man prüft, ob er fertig ist“.
Wie es funktioniert: Wenn der Roboter eine Aufgabe erfolgreich abgeschlossen hat, schaut er zurück auf das, was er getan hat, und zerlegt es in diese kleinen, wiederverwendbaren „Schritte“ (Sub-Prozeduren). Dies ermöglicht es ihm, später nur den Schritt „Ei aufschlagen“ abzurufen, selbst wenn er sich mitten in einer anderen Backaufgabe befindet.

2. Die „zweisprachige“ Skill-Karte (Text-Code Representation)

Jeder „Schritt“, den der Roboter lernt, wird als eine zweiteilige Karte gespeichert:

Teil A (Die Beschreibung): Ein einfacher Satz in klarem Englisch (z. B. „Klicke auf den Login-Button“). Dies hilft dem Roboter, die richtige Karte zu finden.
Teil B (Der Code): Die eigentlichen Computer-Instruktionen, um die Aktion auszuführen.
Warum das wichtig ist: Dies stellt sicher, dass der Roboter nicht nur darüber liest, was zu tun ist, sondern auch das tatsächliche Werkzeug hat, um es sofort auszuführen.

3. Die „Kontext-bewusste“ Suche (State-Grounded Dynamic Retrieval)

Dies ist der wichtigste Teil. Jedes Mal, wenn der Roboter einen Schritt macht, fragt er nicht nur: „Was ist mein Ziel?“, sondern auch: „Wo bin ich gerade?“.

Der alte Weg: „Ich muss Milch kaufen.“ -> Ruft die Fertigkeit „Gehe zum Supermarkt“ ab. (Hält hier an).
Der SGDR-Weg:
- Schritt 1: „Ich muss Milch kaufen.“ -> Ruft „Gehe zum Supermarkt“ ab.
- Schritt 2: (Der Roboter kommt am Laden an). „Ich bin jetzt am Eingang, und die Tür ist verschlossen.“ -> Ruft die Fertigkeit „Tür aufschließen“ ab.
- Schritt 3: (Der Roboter ist im Laden). „Ich bin in der Molkereipassage.“ -> Ruft die Fertigkeit „Milch aufheben“ ab.

Der Roboter bewertet seine „Skill-Bibliothek“ ständig neu, basierend auf der aktuellen Webseite, die er gerade betrachtet, und nicht nur basierend auf dem ursprünglichen Ziel.

Die Ergebnisse: Funktioniert es?

Die Forscher haben dies in einer realistischen Websimulation namens WebArena getestet (die Shopping-Seiten, Admin-Panels, Foren usw. umfasst).

Bessere Erfolgsraten: Der Roboter, der SGDR verwendet, löste signifikant mehr Aufgaben als Roboter, die die alten „statischen Karten“-Methoden nutzten.
- Mit einem leistungsstarken KI-Modell (GPT-4.1) stieg die Erfolgsrate im Vergleich zur besten bisherigen Methode um etwa 10 %.
- Auch mit einem kleineren, effizienteren Modell gab es eine Verbesserung von 10 %.
Schnellere Ausführung: Der Roboter war nicht nur erfolgreicher, sondern benötigte auch weniger Schritte, um ans Ziel zu kommen. Da er den richtigen „Schritt“ sofort abrufen konnte, musste er keine Zeit mit Raten oder dem Versuch falscher Aktionen verschwenden.

Zusammenfassend

Das Paper argumentiert, dass Roboter, um das Web zu meistern, sich nicht nur auf einen zu Beginn erstellten Plan verlassen können. Sie müssen in der Lage sein, ihre aktuelle Situation zu betrachten, den spezifischen „Schritt“ zu finden, der exakt zu diesem Moment passt, und diesen auszuführen. SGDR ist das System, das ihnen genau das ermöglicht, indem es einen starren Einmal-Plan in eine flexible, schrittweise Anleitung verwandelt, die sich im Verlauf der Reise anpasst.

Technisches Resümee: Online-Skill-Lernen für Web-Agenten mittels zustandsgebundener dynamischer Abfrage

Problemstellung

Sprachbasierte Agenten werden zunehmend für mehrstufige Web-Automatisierungsaufgaben (z. B. Informationssuche, Formularausfüllen) eingesetzt. Während die bestehende Forschung das Online-Skill-Lernen untersucht hat – bei dem Agenten aus vergangenen Aufgabenverläufen wiederverwendbares prozedurales Wissen ableiten, um die zukünftige Leistung zu verbessern –, besteht in aktuellen Methodologien eine kritische Einschränkung.

Bestehende Ansätze zum Online-Skill-Lernen operieren primär auf der Aufgabenebene (Task-Level). Sie rufen eine feste Menge an Skills basierend ausschließlich auf der initialen Aufgabeninstruktion zu Beginn einer Ausführung ab und halten diesen Satz während des gesamten Prozesses konstant. Diese statische Strategie ist nicht mit der Natur der interaktiven Web-Ausführung vereinbar, bei der die nächste angemessene Aktion nicht nur vom globalen Aufgabenziel, sondern auch vom aktuellen Webseiten-Zustand abhängt. Während der Agent navigiert, vollzieht der Webseiten-Zustand Übergänge, was dazu führt, dass anfänglich ausgewählte Skills oft irrelevant werden oder neue Situationen, die entstehen, nicht abdecken können. Darüber hinaus haben bestehende Methoden Schwierigkeiten mit der Skill-Granularität: Skills ganzer Trajektorien sind zu spezifisch, um auf Zwischenzustände anwendbar zu sein, während Single-Action-Skills keine bedeutsame prozedurale Abstraktion besitzen.

Die zentrale Herausforderung, die diese Arbeit adressiert, lautet: Wie kann ein Online-Agent in jedem Entscheidungsschritt den richtigen wiederverwendbaren Skill dynamisch abrufen, konditioniert sowohl auf das sich entwickelnde Aufgabenziel als auch auf den aktuellen Webseiten-Zustand?

Methodik: State-Grounded Dynamic Retrieval (SGDR)

Die Autoren schlagen State-Grounded Dynamic Retrieval (SGDR) vor, ein Framework zum Online-Skill-Lernen, das darauf ausgelegt ist, die statische, aufgabenbasierte Skill-Wiederverwendung durch eine adaptive, schrittweise Abfrage zu ersetzen. Die Methode operiert in einem sequentiellen Aufgabenstrom-Szenario, in dem Agenten ihre Skill-Bibliothek "on the fly" aktualisieren müssen, ohne während der Ausführung Zugriff auf Ground-Truth-Erfolgssignale zu haben.

SGDR besteht aus drei Kernkomponenten:

1. Sliding-Window Skill Extraction

Um die Granularitäts-Herausforderung zu lösen, speichert SGDR keine vollständigen Aufgabenverläufe als einzelne Skills. Stattdessen wendet das System nach Abschluss einer Aufgabe und deren erfolgreicher Bewertung durch ein Evaluator-Modell einen Sliding-Window-Extraktionsprozess auf die Trajektorie an.

Prozess: Die Trajektorie wird in lokale Sub-Prozeduren (Fenster variierender Länge) segmentiert.
Verifizierung: Jedes Kandidaten-Segment wird in einen Skill umgewandelt und verifiziert, indem die entsprechenden Aktionen in der ursprünglichen Trajektorie durch einen Skill-Aufruf ersetzt werden. Nur Skills, welche die Erfolgsgarantie der Trajektorie bewahren, werden der Bibliothek hinzugefügt.
Ergebnis: Dies erzeugt kompakte, wiederverwendbare Sub-Prozeduren (z. B. „ein kurzes Formular ausfüllen“, „einen Filter anwenden“), die auf Zwischenzustände der Webseite anwendbar sind, statt nur auf den Kontext der Gesamtaufgabe.

2. Dual Text–Code Representation

Jeder induzierte Skill $s_k$ wird als Paar $(d_k, c_k)$ repräsentiert:

Beschreibung ( $d_k$ ): Eine natürliche Sprachzusammenfassung, die für die Abfrage verwendet wird.
Code ( $c_k$ ): Eine ausführbare Funktion zur Aktionsausführung.
Diese duale Repräsentation stellt sicher, dass Skills sowohl semantisch abrufbar als auch funktional innerhalb der Browser-Umgebung ausführbar sind.

3. State-Grounded Dynamic Retrieval

Im Gegensatz zu statischen Methoden, die Skills einmal zu Beginn abrufen, ruft SGDR Skills bei jedem Entscheidungsschritt $t$ basierend auf dem aktuellen Zustand ab.

Query-Konstruktion: Die Abfrage kombiniert die ursprüngliche Aufgabeninstruktion $g$ mit einer kompakten Zusammenfassung des aktuellen Webseiten-Zustands $r_t$ (abgeleitet aus dem Accessibility Tree).
Relevanz-Scoring: Ein Relevanz-Score wird mittels einer gewichteten Kosinus-Ähnlichkeit zwischen der Skill-Beschreibung und der kombinierten Abfrage berechnet:
$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$
wobei $\alpha$ die Bedeutung des Aufgabenziels gegenüber dem aktuellen Zustand ausbalanciert.
MMR Reranking: Um Redundanz zu vermeiden (da Sliding Windows überlappende Skills erzeugen können), werden die Top- $M$ Kandidaten mittels Maximal Marginal Relevance (MMR) neu bewertet. Dies maximiert die Relevanz zur aktuellen Abfrage bei gleichzeitiger Bestrafung der Ähnlichkeit zu bereits ausgewählten Skills, was eine diverse Menge an handlungsfähigen Optionen sicherstellt.
Injektion: Die ausgewählten Skills werden nur für den aktuellen Schritt injiziert, wodurch sich die Unterstützung des Agenten mit dem Fortschreiten der Ausführung anpassen kann.

Kernbeiträge

Problemformulierung: Die Arbeit identifiziert und formalisiert die Einschränkung der statischen, aufgabenbasierten One-Shot-Skill-Wiederverwendung bei Online-Web-Agenten und hebt die Notwendigkeit einer zustandsgebundenen dynamischen Abfrage hervor, um sich entwickelnde Web-Kontexte zu handhaben.
Methodische Innovation: Es wird SGDR eingeführt, ein Framework, das eine schrittweise Skill-Wiederverwendung ermöglicht. Zu den zentralen Innovationen gehören:
- Sliding-Window-Extraktion zur Generierung von Skills mittlerer Granularität.
- Dual Text-Code-Repräsentation, die Retrieval-Semantik mit ausführbaren Aktionen verknüpft.
- Dynamische Abrufmechanismen, die die Skill-Selektion sowohl auf Aufgabenziele als auch auf Echtzeit-Zustandsbeobachtungen konditionieren.
Empirische Validierung: Die Methode wird auf dem WebArena Benchmark über fünf Domänen (Shopping, Admin, Reddit, Gitlab, Map) unter Verwendung zweier Backbone-Modelle (GPT-4.1 und QWEN3-4B) evaluiert.

Experimentelle Ergebnisse

Experimente zeigen, dass SGDR konsistent starke Baselines übertrifft, einschließlich Vanilla (keine Skills), Agent Workflow Memory (AWM), Agent Skill Induction (ASI) und Contextual Experience Replay (CER).

Erfolgsraten:
- Mit GPT-4.1 erreichte SGDR eine durchschnittliche Erfolgsrate von 37,5 %, was einem relativen Gewinn von 10,6 % gegenüber der stärksten Baseline (CER mit 33,9 %) entspricht.
- Mit QWEN3-4B erreichte SGDR 24,3 %, einen relativen Gewinn von 10,0 % gegenüber CER (22,1 %).
- Verbesserungen wurden in vier der fünf Domänen beobachtet, mit deutlichen Gewinnen in Admin (47,7 % vs. 41,4 % für ASI) und Shopping.
Ausführungseffizienz: SGDR reduzierte die durchschnittliche Anzahl der Schritte zur Aufgabenbewältigung. Mit GPT-4.1 benötigte es im Durchschnitt 4,8 Schritte im Vergleich zu 6,4 bei CER, was zeigt, dass eine hochgradige Skill-Abstraktion mehrere Low-Level-Browser-Interaktionen effektiv ersetzt.
Ablationsstudien:
- Retrieval-Signal: Die Kombination aus Aufgaben- und Zustandsinformationen ( $\alpha=0.5$ ) lieferte die besten Ergebnisse und übertraf sowohl die rein aufgabenbasierte als auch die rein zustandsbasierte Abfrage.
- Reranking: Das MMR-Reranking verbesserte die Leistung signifikant gegenüber einer einfachen Top- $M$ Relevanz-Abfrage, indem es Redundanzen reduzierte.
- Granularität: Die Sliding-Window-Extraktion übertraf sowohl die Extraktion ganzer Trajektorien als auch die von Single-Actions, was die Notwendigkeit mittlerer Granularität bestätigt.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass SGDR eine Verschiebung von der statischen, aufgabenbasierten Wiederverwendung hin zur adaptiven, zustandsgebundenen Wiederverwendung darstellt. Durch die dynamische Abstimmung der Skill-Abfrage auf den sich entwickelnden Webseiten-Zustand ermöglicht die Methode dem Agenten, kumuliertes prozedurales Wissen in realen, interaktiven Umgebungen besser zu nutzen.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu realistischerer Web-Automatisierung, in der Agenten Aufgaben bewältigen müssen, die sequentiell eintreffen und eine kontinuierliche Anpassung erfordern. Die Methode setzt nicht auf vorab konstruierte Offline-Bibliotheken, sondern lernt und verfeinert ihre Fähigkeiten "on the fly", was sie für Einsatzszenarien geeignet macht, in denen sich Aufgabenverteilungen verschieben oder entwickeln können. Die Ergebnisse legen nahe, dass die Adressierung der Diskrepanz zwischen statischer Skill-Injektion und dynamischen Web-Zuständen entscheidend ist, um die Erfolgsraten und die Effizienz von Sprach-Agenten in komplexen Web-Umgebungen zu steigern.