Technische Samenvatting: Online Skill Learning voor Web Agents via State-Grounded Dynamic Retrieval

Probleemstelling

Taalagenten worden steeds vaker ingezet voor meerstaps webautomatiseringstaken (bijv. informatie zoeken, formulieren invullen). Hoewel bestaand onderzoek de mogelijkheden van online skill learning heeft verkend—waarbij agenten herbruikbare procedurele kennis induceren uit eerdere taaktrajecten om toekomstige prestaties te verbeteren—blijft er een kritieke beperking bestaan in de huidige methodologieën.

Bestaande benaderingen voor online skill learning opereren primair op taakniveau. Ze halen een vaste set skills op basis van enkel de initiële taakinstructie aan het begin van een uitvoering en houden deze set constant gedurende het gehele proces. Deze statische strategie sluit niet aan bij de aard van interactieve webuitvoering, waarbij de juiste volgende actie niet alleen afhangt van het globale taakdoel, maar ook van de huidige webpagina-toestand. Terwijl de agent navigeert, verandert de webpagina-toestand, wat vaak ertoe leidt dat aanvankelijk geselecteerde skills irrelevant worden of niet in staat zijn om nieuwe situaties die ontstaan te dekken. Bovendien hebben bestaande methoden moeite met de granulariteit van skills: volledige traject-skills zijn te specifiek om toe te passen op tussenliggende toestanden, terwijl single-action skills een betekenisvolle procedurele abstractie missen.

De kernuitdaging die dit artikel aanpakt is: Hoe kan een online agent bij elke beslissingsstap dynamisch de juiste herbruikbare skill ophalen, geconditioneerd op zowel het evoluerende taakdoel als de huidige webpagina-toestand?

Methodologie: State-Grounded Dynamic Retrieval (SGDR)

De auteurs stellen State-Grounded Dynamic Retrieval (SGDR) voor, een framework voor online skill learning dat ontworpen is om statische, taak-niveau skill-hergebruik te vervangen door adaptieve, stap-niveau retrieval. De methode opereert binnen een sequentiële taakstroom-setting waarbij agenten hun skill-bibliotheek on-the-fly moeten bijwerken zonder toegang tot grondwaarheid-successignalen tijdens de uitvoering.

SGDR bestaat uit drie kerncomponenten:

1. Sliding-Window Skill Extraction

Om de granulariteitsuitdaging aan te pakken, slaat SGDR niet volledige taaktrajecten op als enkele skills. In plaats daarvan past het systeem na voltooiing van een taak (die door een evaluator-model als succesvol is beoordeeld) een sliding-window extractieproces toe op het traject.

• Proces: Het traject wordt gesegmenteerd in lokale sub-procedures (windows van variërende lengtes).
• Verificatie: Elk kandidaat-segment wordt omgezet in een skill en geverifieerd door de corresponderende acties in het originele traject te vervangen door een skill-call. Alleen skills die het succes van het traject behouden, worden toegevoegd aan de bibliotheek.
• Resultaat: Dit produceert compacte, herbruikbare sub-procedures (bijv. "vul een kort formulier in", "pas een filter toe") die toepasbaar zijn op tussenliggende webpagina-toestanden in plaats van alleen op volledige taakcontexten.

2. Dual Text–Code Representation

Elke geïnduceerde skill $s_k$ wordt gerepresenteerd als een paar $(d_k, c_k)$:

• Beschrijving ($d_k$): Een natuurlijke taal-samenvatting die wordt gebruikt voor retrieval.
• Code ($c_k$): Een uitvoerbare functie die wordt gebruikt voor de uitvoering van acties.
  Deze dubbele representatie zorgt ervoor dat skills zowel semantisch ophaalbaar als functioneel uitvoerbaar zijn binnen de browseromgeving.

3. State-Grounded Dynamic Retrieval

In tegen tegenstelling tot statische methoden die één keer aan het begin van een taak skills ophalen, haalt SGDR skills op bij elke beslissingsstap $t$ op basis van de huidige toestand.

• Query Constructie: De retrieval-query combineert de originele taakinstructie $g$ met een compacte samenvatting van de huidige webpagina-toestand $r_t$ (afgeleid van de accessibility tree).
• Relevantie Score: Een relevantiescore wordt berekend met behulp van een gewogen cosinus-gelijkenis tussen de skill-beschrijving en de gecombineerde query:
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  waarbij $\alpha$ de balans bepaalt tussen het belang van het taakdoel versus de huidige toestand.
• MMR Reranking: Om redundantie te voorkomen (aangezien sliding windows overlappende skills kunnen produceren), worden de top-$M$ kandidaten geherrankt met behulp van Maximal Marginal Relevance (MMR). Dit maximaliseert de relevantie voor de huidige query terwijl de gelijkenis met reeds geselecteerde skills wordt bestraft, wat zorgt voor een diverse set aan acteerbare opties.
• Injectie: De geselecteerde skills worden enkel voor de huidige stap geïnjecteerd, waardoor de ondersteuning van de agent kan meebewegen met de voortgang van de uitvoering.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel identificeert en formaliseert de beperking van taak-niveau one-shot skill hergebruik in online web-agents, en benadrukt de noodzaak van state-grounded dynamic retrieval om evoluerende web-contexten te hanteren.
2. Methodologische Innovatie: Het introduceert SGDR, een framework dat stap-gewijze skill-hergebruik mogelijk maakt. De belangrijkste innovaties zijn:
   • Sliding-window extraction om skills met een tussenliggende granulariteit te genereren.
   • Dual text-code representation die de retrieval-semantiek koppelt aan uitvoerbare acties.
   • Dynamische retrieval-mechanismen die de selectie van skills conditioneren op zowel taakdoelen als real-time toestandsobservaties.
3. Empirische Validatie: De methode wordt geëvalueerd op de WebArena benchmark over vijf domeinen (Shopping, Admin, Reddit, Gitlab, Map) met behulp van twee backbone-modellen (GPT-4.1 en QWEN3-4B).

Experimentele Resultaten

Experimenten tonen aan dat SGDR consistent beter presteert dan sterke baselines, waaronder Vanilla (geen skills), Agent Workflow Memory (AWM), Agent Skill Induction (ASI) en Contextual Experience Replay (CER).

• Succesratio's:
  • Met GPT-4.1 behaalde SGDR een gemiddelde succesratio van 37,5%, een relatieve winst van 10,6% ten opzichte van de sterkste baseline (CER op 33,9%).
  • Met QWEN3-4B behaalde SGDR 24,3%, een relatieve winst van 10,0% ten opzichte van CER (22,1%).
  • Verbeteringen waren zichtbaar in vier van de vijf domeinen, met opvallende winsten in Admin (47,7% vs. 41,4% voor ASI) en Shopping.
• Executie-efficiëntie: SGDR verminderde het gemiddelde aantal stappen dat nodig is om taken te voltooien. Met GPT-4.1 gebruikte het gemiddeld 4,8 stappen vergeleken met 6,4 voor CER, wat aangeeft dat high-level skill abstractie effectief meerdere low-level browserinteracties vervangt.
• Ablatie-studies:
  • Retrieval Signaal: Het combineren van taak- en toestandinformatie ($\alpha=0.5$) leverde de beste resultaten op, wat beter was dan enkel taak- of enkel toestand-gebaseerde retrieval.
  • Reranking: MMR reranking verbeterde de prestaties aanzienlijk ten opzichte van eenvoudige top-$M$ relevantie-retrieval door redundantie te verminderen.
  • Granulariteit: Sliding-window extraction presteerde beter dan zowel full-trajectory als single-action extraction, wat de noodzaak van tussenliggende granulariteit bevestigt.

Betekenis en Claims

Het artikel claimt dat SGDR een verschuiving vertegenwoordigt van statische taak-niveau hergebruik naar adaptieve state-grounded hergebruik. Door de skill-retrieval dynamisch af te stemmen op de evoluerende webpagina-toestand, stelt de methode agenten in staat om geaccumuleerde procedurele kennis beter te benutten in real-world, interactieve omgevingen.

De auteurs positioneren dit werk als een stap naar meer realistische webautomatisering, waarbij agenten taken moeten afhandelen die sequentieel binnenkomen en continue adaptatie vereisen. De methode vertrouwt niet op vooraf geconstrueerde offline bibliotheken, maar leert en verfijnt zijn capaciteiten "on the fly", wat het geschikt maakt voor scenario's waar taakdistributies kunnen verschuiven of evolueren. De resultaten suggereren dat het aanpakken van de mismatch tussen statische skill-injectie en dynamische web-toestanden cruciaal is voor het verbeteren van de succesratio's en efficiëntie van taalagenten in complexe webomgevingen.