WebXSkill: Skill Learning for Autonomous Web Agents

Das Paper stellt WebXSkill vor, ein Framework, das die Lücke zwischen ausführendem Code und natürlicher Sprache schließt, indem es parametrisierte Aktionsprogramme mit schrittweiser natürlicher Sprachanleitung kombiniert, um autonome Web-Agenten durch effiziente Skill-Extraktion, -Organisation und -Bereitstellung bei komplexen Browseraufgaben signifikant zu verbessern.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas vergesslichen Assistenten, der dir helfen soll, Dinge im Internet zu erledigen – zum Beispiel ein Geschenk kaufen, eine Reise buchen oder ein Formular ausfüllen.

Das Problem ist: Wenn dieser Assistent (ein sogenannter „Web-Agent" auf Basis von KI) eine komplexe Aufgabe löst, vergisst er oft, wie er es gemacht hat. Das nächste Mal, wenn er dasselbe tun soll, muss er den gesamten Weg von vorne erfinden. Das ist wie jemand, der jeden Morgen neu lernt, wie man Zähne putzt, obwohl er es schon tausendmal getan hat. Das kostet Zeit und führt zu Fehlern.

Bisher gab es zwei Ansätze, um dem Assistenten zu helfen, aber beide hatten Mängel:

1. Text-Anweisungen: „Klicke hier, dann tippe dort." Das versteht der Assistent gut, kann es aber nicht direkt ausführen. Er muss erst selbst überlegen, wie er das macht.
2. Code-Skripte: Das sind wie fertige Roboter-Arme, die genau das tun, was programmiert ist. Das ist schnell, aber wenn etwas schiefgeht (z. B. ändert sich die Webseite), versteht der Assistent nicht, was passiert ist, und weiß nicht, wie er sich anpassen soll. Er ist wie ein blinder Passagier im Auto.

Die Lösung: WEBXSKILL – Der „Zweisprachige" Assistent

Die Forscher haben WEBXSKILL entwickelt. Man kann sich das wie einen Schweizer Taschenmesser für den Assistenten vorstellen, das zwei Funktionen in einem vereint:

1. Der Motor (Ausführbarkeit): Es gibt einen fertigen Code, der die Klicks und Eingaben automatisch macht.
2. Die Anleitung (Verständlichkeit): Gleichzeitig gibt es eine klare, menschliche Schritt-für-Schritt-Anleitung, die erklärt, was gerade passiert und warum.

Das Besondere daran ist, dass der Assistent beides gleichzeitig hat. Er kann den Motor starten, aber er behält die Kontrolle, falls etwas nicht so läuft wie erwartet.

Wie funktioniert das? (Die drei Schritte)

Stell dir vor, du möchtest ein Kochbuch für deinen Assistenten schreiben.

1. Rezepte sammeln (Skill Extraction):
   Der Assistent schaut sich an, wie er in der Vergangenheit erfolgreich gekocht hat (z. B. „Kaffee bestellen"). Er nimmt diese Handlungen und verwandelt sie in ein Rezept. Aber statt nur „Kaffee" zu schreiben, macht er es flexibel: „Bringe beliebiges Getränk in die Maschine". Er schreibt dazu auch eine Notiz: „Achte darauf, dass die Maschine eingeschaltet ist."

   • Analogie: Statt jeden einzelnen Klick aufzuschreiben, erstellt er ein universelles Rezept mit Platzhaltern.

2. Das Kochbuch ordnen (Skill Organization):
   Nicht jedes Rezept passt zu jeder Küche. Ein Rezept für „Pizza backen" gehört nicht in die Schublade für „Salat zubereiten". WEBXSKILL ordnet die Rezepte nach den Webseiten, auf denen sie nützlich sind. Wenn der Assistent auf einer E-Commerce-Seite ist, weiß er sofort: „Ah, hier sind die Rezepte für ‚Produkt suchen' und ‚In den Warenkorb legen'."

   • Analogie: Ein intelligentes Inhaltsverzeichnis, das dir genau das Buch zeigt, das du gerade brauchst, basierend darauf, in welchem Raum du stehst.

3. Kochen lassen (Skill Deployment):
   Hier kommt die Magie. Der Assistent kann zwei Modi wählen:

   • Der „Autopilot"-Modus (Grounded Mode): Der Assistent sagt: „Ich will Kaffee holen." Das System führt den gesamten Ablauf automatisch aus. Das ist super schnell, wie ein Roboter, der die Arbeit für dich erledigt.
   • Der „Fahrschüler"-Modus (Guided Mode): Das System sagt: „Hier ist dein Rezept: 1. Geh zur Maschine. 2. Drücke den Knopf." Der Assistent führt die Schritte selbst aus. Wenn die Maschine plötzlich anders aussieht, kann er reagieren und einen anderen Weg finden, statt stecken zu bleiben.
   • Analogie: Entweder du lässt einen Profi das Auto fahren (schnell), oder du fährst selbst, hast aber ein Navi, das dir sagt, wann du abbiegen musst (flexibel).

Warum ist das so gut?

Die Tests haben gezeigt, dass dieser Ansatz Wunder wirkt:

• Schneller: Der Assistent macht weniger Fehler und braucht weniger Schritte, weil er nicht jedes Mal neu erfinden muss, wie man etwas tut.
• Robuster: Wenn eine Webseite sich ändert (z. B. ein Button ist woanders), kann der Assistent im „Fahrschüler-Modus" trotzdem weitermachen, weil er die Logik versteht und nicht nur blind Code ausführt.
• Anpassbar: Starke KI-Modelle können den „Autopiloten" nutzen, schwächere Modelle profitieren mehr von den Schritt-für-Schritt-Anleitungen.

Zusammenfassend:
WEBXSKILL gibt dem KI-Assistenten nicht nur eine Liste von Befehlen, sondern ein intelligentes Werkzeugkasten-System. Es kombiniert die Geschwindigkeit von Robotern mit dem Verständnis eines Menschen. So wird aus einem vergesslichen, stolpernden Assistenten ein erfahrener, zuverlässiger Begleiter, der komplexe Aufgaben im Internet meistern kann, ohne bei jedem kleinen Hindernis zu verzweifeln.

Technische Zusammenfassung

Titel: WEBXSKILL: Skill Learning for Autonomous Web Agents

1. Problemstellung: Die "Grounding Gap" (Verankerungslücke)

Autonome Web-Agenten, die auf Large Language Models (LLMs) basieren, zeigen vielversprechende Ergebnisse bei komplexen Browser-Aufgaben, scheitern jedoch oft an langfristigen Workflows. Ein Hauptgrund ist die sogenannte Grounding Gap in der aktuellen Formulierung von Fähigkeiten (Skills):

• Textbasierte Workflows: Bieten natürliche Sprachanweisungen (z. B. "Suche nach Produkt, füge zum Warenkorb hinzu"), die die Planung leiten, aber nicht direkt ausführbar sind. Der Agent muss jede Anweisung erneut in konkrete Browser-Aktionen übersetzen, was zu Grounding-Fehlern führt.
• Code-basierte Skills: Sind ausführbar (z. B. Python-Skripte), wirken aber für den Agenten wie eine "Black Box". Sie bieten keine Schritt-für-Schritt-Anleitung, was es dem Agenten unmöglich macht, Fehler zu verstehen, sich anzupassen oder bei einem Abbruch der Ausführung wiederherzustellen.

Das Ziel ist es, eine Brücke zu schlagen, die sowohl die direkte Ausführbarkeit als auch die Interpretierbarkeit für den Agenten ermöglicht.

2. Methodik: Das WEBXSKILL-Framework

WEBXSKILL ist ein Framework, das ausführbare Skills einführt. Jeder Skill kombiniert ein parametrisiertes Aktionsprogramm mit natürlicher Sprachanleitung auf Ebene der einzelnen Schritte. Das Framework besteht aus drei Hauptphasen:

A. Skill Extraction (Skill-Extraktion)

• Datenquelle: Anstatt teure autonome Erkundungen durchzuführen, nutzt WEBXSKILL synthetische Agenten-Trajektorien (gesammelt durch SynthAgent), die bereits verfügbar sind.
• Abstraktion: Ein LLM analysiert diese Trajektorien, identifiziert wiederverwendbare Aktionssequenzen und abstrahiert sie in parametrisierte Skills.
  • Beispiel: Eine spezifische Suchanfrage wird zu einem Parameter query: str.
• Anreicherung: Jeder Schritt wird mit natürlicher Sprachanleitung (Guidance) versehen, die den Zweck und die Logik erklärt.
• Kurierung: Ein Deduplizierungsprozess (basierend auf Regeln und Embeddings) und eine Validierung in einer Testumgebung sorgen für eine kompakte, fehlerfreie Skill-Bibliothek.

B. Skill Organization (Skill-Organisation)

• Skill-Graph: Skills werden nicht als flache Liste, sondern in einem URL-basierten Graphen organisiert.
• Kontextbewusste Suche: Jeder Knoten im Graphen entspricht einem generalisierten URL-Muster (z. B. shopping/catalogsearch/*). Dies ermöglicht es dem Agenten, effizient nur die Skills abzurufen, die für die aktuelle Webseite relevant sind, anstatt alle Kandidaten zu prüfen.

C. Skill Deployment (Skill-Bereitstellung)
WEBXSKILL bietet zwei komplementäre Betriebsmodi, um die Balance zwischen Effizienz und Autonomie zu steuern:

1. Grounded Mode (Verankert): Der Agent ruft einen Skill als atomaren Tool-Call auf. Die Laufzeitumgebung führt die zugrunde liegende Aktionssequenz automatisch aus. Dies maximiert die Effizienz, erfordert aber, dass der Agent bei Fehlern selbstständig korrigieren kann.
2. Guided Mode (Geführt): Der Skill wird als Schritt-für-Schritt-Anleitung präsentiert. Der Agent führt die Aktionen selbst aus, folgt aber dem Pfad des Skills. Dies bietet mehr Robustheit und Anpassungsfähigkeit, wenn sich der Zustand der Seite von den Erwartungen unterscheidet (z. B. Layout-Änderungen).

3. Wichtige Beiträge

• Neue Skill-Formulierung: Einführung von Skills, die parametrisierte Aktionsprogramme mit schrittweiser natürlicher Sprachanleitung koppeln. Dies schließt die Lücke zwischen nicht ausführbaren Texten und undurchsichtigem Code.
• Drei-Stufen-Pipeline: Ein Framework zur Extraktion aus synthetischen Daten, Organisation in einem kontextbewussten Graphen und flexiblen Bereitstellung in zwei Modi.
• Adaptive Strategie: Die Erkenntnis, dass die Wahl des Bereitstellungsmodus von der Stärke des zugrunde liegenden LLM abhängt (stärkere Modelle profitieren vom Grounded Mode, schwächere vom Guided Mode).

4. Ergebnisse

Die Evaluation erfolgte auf den Benchmarks WebArena und WebVoyager unter Verwendung von Modellen wie GPT-5 und Qwen-3.5.

• Leistungssteigerung: WEBXSKILL verbesserte die Erfolgsrate (Task Success Rate) im Vergleich zu Baselines (Vanilla, MAP, SkillWeaver, WALT) um bis zu 9,8 Punkte (WebArena) und 12,9 Punkte (WebVoyager).
• Vergleich mit SOTA:
  • Auf WebArena erreichte Grounded Mode mit GPT-5 eine Erfolgsrate von 69,5% (vs. 59,7% bei Vanilla).
  • Guided Mode zeigte sich besonders effektiv für schwächere Modelle (Qwen), wo er 53,9% erreichte, verglichen mit 48,7% im Grounded Mode.
• Transferfähigkeit: Skills, die auf WebArena trainiert wurden, konnten erfolgreich auf WebVoyager (echte Webseiten) übertragen werden, insbesondere im Guided Mode, da der Agent die Anweisungen an neue Schnittstellen anpassen kann.
• Effizienz: Der Grounded Mode reduzierte die durchschnittliche Schrittzahl signifikant, während der Guided Mode zwar mehr Schritte benötigte, aber eine höhere Fehlertoleranz bot.

5. Bedeutung und Fazit

WEBXSKILL adressiert ein fundamentales Problem der autonomen Web-Agents: die Unfähigkeit, prozedurales Wissen wiederverwendbar und gleichzeitig interpretierbar zu machen.

• Praktische Relevanz: Durch die Nutzung synthetischer Daten vermeidet das Framework teure autonome Erkundungen und Risiken von Datenlecks.
• Flexibilität: Die Dual-Mode-Architektur ermöglicht es, die Strategie an die Fähigkeiten des Modells anzupassen.
• Zukunftsausblick: Die Arbeit zeigt, dass die Kombination aus automatischer Ausführung und menschlicher (oder agentenbasierter) Interpretierbarkeit der Schlüssel zu robusteren, langlebigen Web-Agenten ist. Die meisten Fehler lagen nicht im Skill-Design, sondern in der Entscheidungsfindung des Agents, was auf zukünftige Verbesserungen in der Reasoning-Fähigkeit hindeutet.

Der Code ist öffentlich unter https://github.com/aiming-lab/WebXSkill verfügbar.