Technische Samenvatting: Region4Web en PageDigest

Probleemstelling

Webagenten waarnemen hun omgeving via een observatieruimte, doch de granulariteit van deze observatie is een onderzochte ontwerpkeuze gebleven. Bestaande benaderingen behandelen de observatieruimte doorgaans op dezelfde elementniveau-granulariteit als de actieruimte, waarbij de pagina wordt weergegeven als een platte of hiërarchische lijst van individuele DOM-elementen (bijv. AXTree-nodes). Hoewel elementniveau-granulariteit natuurlijk is voor het selecteren van specifieke acties (bijv. klikken op een specifieke link), is deze suboptimaal voor begrip van de paginastatus.

Bij observaties op elementniveau blijft de functionele organisatie van een pagina – hoe groepen elementen gedeelde doelen dienen zoals "productlijsten", "navigatiemenu's" of "zoekformulieren" – impliciet. De agent wordt gedwongen deze functionele regio's en hun doelen bij elke stap af te leiden uit ruwe elementsignalen. Deze benadering maakt geen gebruik van de structurele aanwijzingen die functionele eenheden definiëren en resulteert vaak in excessief lange observatiecontexten die de organisatie van de pagina verbergen. Bovendien is het bij elke stap binnen een pagina reconstrueren van de volledige observatie op elementniveau overbodig, aangezien de meeste acties slechts marginale veranderingen in de DOM teweegbrengen.

Methodologie

Het artikel stelt een tweeledig kader voor: Region4Web voor het construeren van observaties op regi niveau en PageDigest voor het efficiënt leveren van deze observaties.

1. Region4Web: Construeren van Observaties op Regio-niveau

Region4Web herorganiseert de AXTree van de pagina in functionele regio's via een tweestapsproces:

• Hiërarchische Decompositie: Deze stap classificeert elke ouder-kind-verbinding in de AXTree als een samenvoeging of een snijding tijdens één enkele doorloop van onderop naar boven.
  • Input: Een feature-vector voor elke node $v$ ($x_v$) die een geleerde rol-embedding combineert met numerieke structurele features (diepte, grootte van de subboom, diversiteit van kinderen, enz.).
  • Mechanisme: Een EdgeClassifier bepaalt of een kindnode gescheiden moet worden van zijn ouder. Het gebruikt de features van de ouder, de representatie van het kind en de gemiddelde representatie van de broers en zussen van de ouder als context. Als de classificatiescore een drempelwaarde $\tau$ overschrijdt, wordt de verbinding doorgesneden, waardoor een nieuwe regio-grens ontstaat. Anders wordt het kind samengevoegd in de regio van de ouder.
  • Output: Een partitie van de AXTree in subbomen, waarbij elke subboom een functionele regio vormt.
• Semantische Abstractie: Deze stap interpreteert elke geïdentificeerde regio om haar doel expliciet te maken.
  • Mechanisme: Een klein, fijngetuned taalmodel (Qwen3-0.6B) verwerkt de voorverwerkte AXTree-subboom van elke regio.
  • Output: Twee orthogonale dimensies voor elke regio:
    1. Doel ($p_i$): Een hoog-niveau beschrijving waar de regio voor dient (bijv. "productlijst", "zoekformulier").
    2. Statussamenvatting ($s_i$): Een beknopte samenvatting van de huidige actiegerichte context van de regio (bijv. "promotie-etalage voor hoogwaardige zonnebrillen").

Deze stappen worden gerealiseerd als kleine, specifieke modellen die zijn getraind op annotaties gegenereerd door een proprietair LLM (GPT-5-mini) vanuit een dataset van 2.052 real-world webpagina's.

2. PageDigest: Web-specifieke Inferentiepijplijn

PageDigest is een pijplijn ontworpen om observaties op regi niveau aan de actor-agent te leveren als een compacte digest die over stappen binnen een pagina heen persistent blijft.

• Taakgerelateerde Regio-selectie: Bij het betreden van een nieuwe pagina ontvangt de backbone-LLM van de actor-agent de taakinstructie, de actiegeschiedenis en de set regio-abstrakties $\{(p_i, s_i)\}$. Het model selecteert taakgerelateerde regio's.
  • Geselecteerde Regio's: Blootgesteld als volledige AXTree-subbomen om elementniveau-granulariteit te behouden voor het uitvoeren van acties.
  • Niet-geselecteerde Regio's: Alleen weergegeven door hun doelsamenvattingen, waarbij de algehele structurele context van de pagina behouden blijft zonder token-ophoping.
• Pagina-bewuste Observatie-overgangsbeheer: In plaats van Region4Web bij elke stap opnieuw uit te voeren, volgt PageDigest incrementele veranderingen.
  • Het vergelijkt de huidige AXTree met de status bij het betreden van de pagina om toegevoegde, verwijderde of gewijzigde nodes te identificeren.
  • Updates: Verwijderde/gewijzigde nodes updaten de bestaande structuur onder hun regio-doelen. Toegevoegde nodes worden apart vermeld om te voorkomen dat de doelen van bestaande regio's verschuiven.
  • Deze benadering vermijdt overbodige reconstructie terwijl de continuïteit van de paginastatus behouden blijft.
• Fallback-mechanisme: Als de agent vaststelt dat de geselecteerde regio's onvoldoende zijn, kan het een view_all-actie invoeren om alle regio's in hun volledige AXTree-vorm te onthullen.

Belangrijkste Bijdragen

1. Region4Web Kader: Een nieuwe methode die AXTrees herorganiseert in functionele regio's via hiërarchische decompositie en semantische abstractie, waardoor de functionele organisatie van de pagina expliciet wordt voor de agent.
2. PageDigest Pijplijn: Een web-specifiek inferentiemechanisme dat observaties op regi niveau levert als een compacte, persistente digest, wat de observatielengte vermindert terwijl het statusovergangen bijhoudt zonder volledige reconstructie.
3. Empirische Validatie: Uitgebreide evaluatie op de WebArena-benchmark die aantoont dat observatie op regi niveau de taaksuccespercentages verbetert en de observatielengte vermindert over diverse backbone-LLM's en agent-methoden.

Resultaten

Geëvalueerd op de WebArena-benchmark (812 taken over 5 domeinen: Winkelen, CMS, Reddit, GitLab, Kaart) leverden de voorgestelde methoden de volgende resultaten op:

• Vermindering van Observatielengte: PageDigest verminderde de gemiddelde observatietokenlengte aanzienlijk met 43% (van 6.437 naar 3.671 tokens) over vier verschillende backbone-LLM's (GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B). De vermindering varieerde van 16% tot 54%, afhankelijk van de backbone.
• Verbetering van Taaksuccespercentage (SR): Ondanks de verminderde context verbeterde PageDigest het algehele taaksuccespercentage met gemiddeld 2,3 procentpunten.
  • Bijvoorbeeld, met GPT-5.1 steeg SR van 45,2% naar 47,5%.
  • Met Qwen3.5-27B steeg SR van 38,2% naar 39,9%.
• Generaliseerbaarheid: De verbeteringen bleven standhouden voor zowel proprietaire als open-source modellen van uiteenlopende capaciteiten, evenals voor gevestigde agent-methoden (SteP en AgentOccam), wat aangeeft dat observatie op regi niveau een complementair signaal biedt voor begrip van de paginastatus, onafhankelijk van de modelsterkte.
• Ablatiestudies:
  • Region4Web alleen verbeterde SR (48,5% $\to$ 50,3%) met een vergelijkbare observatielengte, wat bevestigt dat functionele regio's het begrip helpen.
  • PageDigest alleen (zonder Region4Web, met selectie op elementniveau) verlaagde SR (48,5% $\to$ 46,1%), wat suggereert dat verwerking op elementniveau de prestaties belemmert, zelfs met compressie.
  • Gecombineerd: De volledige PageDigest-pijplijn bereikte het hoogste SR (53,9%) met de laagste observatielengte (3.814 tokens).
• Foutanalyse: Analyse van 50 mislukte trajecten toonde aan dat 82,0% van de mislukkingen toe te schrijven was aan de actiekeuzecapaciteiten van de backbone-agent, terwijl slechts 8,0% te wijten was aan regressies binnen de PageDigest-pijplijn (fouten in decompositie, abstractie of selectie). Dit geeft aan dat de pijplijn betrouwbaar werkt zoals ontworpen.

Betekenis en Beweringen

Het artikel betoogt dat observatiegranulariteit een kritieke, doch onderzochte, ontwerpkeuze is voor webagenten. Door over te stappen van elementniveau naar functioneel regi niveau-observatie, tonen de auteurs aan dat:

1. Expliciete Organisatie: Het expliciet maken van de functionele organisatie van de pagina (via regio's en doelen) een informatiever fundament biedt voor begrip van de paginastatus dan het afleiden daarvan uit ruwe elementen.
2. Efficiëntie en Prestaties: Observatie op regi niveau toestaat een compacter context die geen inboet aan taaksuccespercentages, en deze zelfs verbetert.
3. Ontkoppeling: Deze benadering scheidt het ontwerp van observatie van modelcapaciteit en actiepolitiek, en biedt een weg naar efficiëntere webagenten, ongeacht de capaciteit van de onderliggende LLM.

De auteurs concluderen dat werken op de granulariteit van functionele regio's een compacter en informatiever fundament biedt voor besluitvorming dan verwerking op elementniveau alleen, wat de hypothese bevestigt dat hoe een agent het web "ziet" even belangrijk is als hoe het erover "denkt".