💬 NLP

Region4Web: Rethinking Observation Space Granularity for Web Agents

L'article présente Region4Web, un cadre qui redéfinit l'observation des agents web en passant d'une granularité au niveau des éléments à une granularité au niveau des régions fonctionnelles grâce à une décomposition hiérarchique et à un pipeline PageDigest persistant, permettant d'obtenir des taux de réussite de tâches améliorés et des longueurs d'observation réduites sur le benchmark WebArena à travers divers modèles de base LLM.

Auteurs originaux : Donguk Kwon, Dongha Lee

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donguk Kwon, Dongha Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment faire des achats en ligne, remplir un formulaire ou réserver un voyage. Pour ce faire, le robot doit « voir » la page web. Actuellement, la plupart des robots reçoivent une vue de la page qui ressemble à une liste massive et désorganisée de chaque brique, clou et vis d'une maison. Ils doivent examiner chaque élément un par un pour déterminer où se trouve la porte ou quelle fenêtre s'ouvre. C'est lent, confus et cela gaspille énormément de puissance de calcul.

L'article "Region4Web: Rethinking Observation Space Granularity for Web Agents" propose une méthode plus intelligente pour présenter la page web au robot. Au lieu d'une liste de briques, ils offrent au robot un plan d'étage qui met en évidence les pièces fonctionnelles.

Voici comment leur solution fonctionne, décomposée en concepts simples :

1. Le Problème : La Vue « Brique par Brique »

Actuellement, les agents web (robots) considèrent une page web comme une longue liste plate de milliers de petits éléments (boutons, textes, images).

L'Analogie : Imaginez essayer de comprendre un film en lisant un scénario qui liste chaque image, chaque accessoire et chaque figurant individuellement, sans vous indiquer dans quelle scène vous vous trouvez. Vous devez deviner que la « scène de la cuisine » se déroule parce que vous voyez un réfrigérateur, une cuisinière et une table, plutôt que de vous voir dire : « Voici la cuisine ».
Le Problème : Le robot doit faire toutes ces suppositions lui-même à chaque étape, ce qui le rend lent et sujet aux erreurs.

2. La Solution : Region4Web (Le « Créateur de Plan d'Étage »)

Les auteurs ont créé un système appelé Region4Web qui réorganise la page web avant même que le robot ne la regarde.

Fonctionnement : Il prend la liste désordonnée des éléments et les regroupe en Régions Fonctionnelles.
L'Analogie : Au lieu d'une liste de briques, le système construit un plan d'étage. Il dit : « Ce groupe de briques est la Cuisine (son but est la cuisson), et ce groupe est le Salon (son but est la détente). »
La Magie : Il ne regroupe pas seulement les éléments proches les uns des autres ; il regroupe les éléments qui fonctionnent ensemble. Par exemple, une liste de cartes produits peut ressembler à une grille d'articles similaires, mais Region4Web peut déterminer s'il s'agit de produits individuels (régions séparées) ou d'une seule vitrine « Meilleures Ventes » (une grande région). Il attribue à chaque groupe une étiquette (Fonction) et un résumé rapide de ce qui se passe actuellement (État).

3. Le Système de Livraison : PageDigest (La « Note de Synthèse »)

Même avec un plan d'étage, montrer au robot toute la maison à chaque fois qu'il effectue une étape reste trop d'informations.

La Solution : Ils ont conçu un pipeline appelé PageDigest.
L'Analogie : Imaginez un guide touristique (le robot) entrant dans une nouvelle pièce. Au lieu de lui montrer les plans de l'ensemble du manoir, le guide lui remet une note de synthèse qui ne liste que les pièces pertinentes pour la tâche en cours.
- Si la tâche est « Acheter des chaussures », le guide met en évidence la « Section Chaussures » et le « Panier d'achat » sur la note, en donnant tous les détails pour ceux-ci.
- Pour la page « À propos » ou le « Pied de page », le guide écrit simplement « C'est le pied de page, vous n'avez pas besoin de regarder ici », économisant ainsi de l'espace.
Mise à Jour : Si le robot clique sur un bouton et qu'un menu déroulant apparaît, PageDigest ne réécrit pas toute la note. Il ajoute simplement un petit post-it disant : « Oh, un nouveau menu est apparu ici. » Cela maintient la « liste de tâches » du robot courte et gérable.

4. Les Résultats : Plus Rapide et Plus Intelligent

Les auteurs ont testé cette approche sur un benchmark appelé WebArena (un environnement web simulé avec des tâches comme les achats ou l'utilisation de cartes).

Le Résultat : En passant de la méthode « brique par brique » à la méthode « pièce par pièce » (Region4Web) et en utilisant la « note de synthèse » (PageDigest) :
- La quantité d'informations que le robot devait lire a diminué de 30 % à 50 %.
- Le robot est devenu meilleur pour accomplir les tâches, réussissant plus souvent avec différents types de « cerveaux » (Grands Modèles de Langage), des plus petits aux plus grands.
- Cela a bien fonctionné même lorsque le robot se voyait confier différents types de tâches, prouvant que comprendre la fonction d'une zone de page est plus important que de voir chaque bouton individuellement.

Résumé

En bref, cet article soutient que nous ne devrions pas apprendre aux robots à lire les pages web comme un dictionnaire (mot par mot). Au lieu de cela, nous devrions leur apprendre à lire comme un humain : en reconnaissant les zones fonctionnelles (comme un bouton de paiement, une barre de recherche ou une liste de produits) et en se concentrant uniquement sur les parties de la page qui importent pour la tâche à accomplir. Cela rend les robots plus rapides, plus efficaces et meilleurs pour obtenir des résultats.

Résumé Technique : Region4Web et PageDigest

Énoncé du Problème

Les agents web perçoivent leur environnement à travers un espace d'observation, mais la granularité de cette observation reste un choix de conception sous-examiné. Les approches existantes traitent généralement l'espace d'observation avec la même granularité au niveau des éléments que l'espace d'action, représentant la page comme une liste plate ou hiérarchique d'éléments DOM individuels (par exemple, des nœuds AXTree). Si la granularité au niveau des éléments est naturelle pour sélectionner des actions spécifiques (par exemple, cliquer sur un lien précis), elle est sous-optimale pour la compréhension de l'état de la page.

Dans les observations au niveau des éléments, l'organisation fonctionnelle d'une page — la manière dont des groupes d'éléments servent des objectifs communs comme les "listes de produits", les "menus de navigation" ou les "formulaires de recherche" — reste implicite. L'agent est contraint d'inférer ces régions fonctionnelles et leurs objectifs à partir de signaux bruts d'éléments à chaque étape. Cette approche échoue à exploiter les indices structurels qui définissent les unités fonctionnelles et entraîne souvent des contextes d'observation excessivement longs qui obscurcissent l'organisation de la page. De plus, reconstruire l'observation complète au niveau des éléments à chaque étape au sein d'une page est redondant, car la plupart des actions n'induisent que des changements marginaux au DOM.

Méthodologie

Le papier propose un cadre en deux parties : Region4Web pour construire des observations au niveau des régions et PageDigest pour délivrer ces observations efficacement.

1. Region4Web : Construction d'une Observation au Niveau des Régions

Region4Web réorganise l'AXTree de la page en régions fonctionnelles via un processus en deux étapes :

Décomposition Hiérarchique : Cette étape classe chaque arête parent-enfant dans l'AXTree comme soit une fusion, soit une coupure lors d'un seul parcours ascendant.
- Entrée : Un vecteur de caractéristiques pour chaque nœud $v$ ( $x_v$ ) combinant une représentation apprise du rôle avec des caractéristiques structurelles numériques (profondeur, taille du sous-arbre, diversité des enfants, etc.).
- Mécanisme : Un EdgeClassifier (classificateur d'arêtes) détermine si un nœud enfant doit être séparé de son parent. Il utilise les caractéristiques du parent, la représentation de l'enfant et la représentation moyenne des frères de l'enfant comme contexte. Si le score de classification dépasse un seuil $\tau$ , l'arête est coupée, formant une nouvelle limite de région. Sinon, l'enfant est fusionné dans la région du parent.
- Sortie : Une partition de l'AXTree en sous-arbres, où chaque sous-arbre constitue une région fonctionnelle.
Abstraction Sémantique : Cette étape interprète chaque région identifiée pour rendre son objectif explicite.
- Mécanisme : Un petit modèle de langage finement ajusté (Qwen3-0.6B) traite le sous-arbre AXTree prétraité de chaque région.
- Sortie : Deux dimensions orthogonales pour chaque région :
  1. Objectif ( $p_i$ ) : Une description de haut niveau de ce à quoi sert la région (par exemple, "liste de produits", "formulaire de recherche").
  2. Résumé d'État ( $s_i$ ) : Un résumé concis du contexte actionnable actuel de la région (par exemple, "vitrine promotionnelle pour des lunettes de soleil haut de gamme").

Ces étapes sont réalisées par de petits modèles dédiés entraînés sur des annotations générées par un LLM propriétaire (GPT-5-mini) à partir d'un ensemble de données de 2 052 pages web réelles.

2. PageDigest : Pipeline d'Inférence Spécifique au Web

PageDigest est un pipeline conçu pour délivrer des observations au niveau des régions à l'agent acteur sous la forme d'un résumé compact qui persiste à travers les étapes au sein d'une page.

Sélection de Régions Pertinentes pour la Tâche : À l'entrée d'une nouvelle page, le LLM principal de l'agent acteur reçoit l'instruction de la tâche, l'historique des actions et l'ensemble des abstractions de régions $\{(p_i, s_i)\}$ ${(p_{i}, s_{i})}$ . Le modèle sélectionne les régions pertinentes pour la tâche.
- Régions Sélectionnées : Exposées sous forme de sous-arbres AXTree complets pour préserver la granularité au niveau des éléments afin d'exécuter les actions.
- Régions Non Sélectionnées : Représentées uniquement par leurs résumés d'objectifs, conservant le contexte structurel global de la page sans gonflement des tokens.
Gestion des Transitions d'Observation Consciente de la Page : Au lieu de relancer Region4Web à chaque étape, PageDigest suit les changements incrémentaux.
- Il compare l'AXTree actuel à l'état à l'entrée de la page pour identifier les nœuds ajoutés, supprimés ou modifiés.
- Mises à jour : Les nœuds supprimés/modifiés mettent à jour la structure existante sous leurs objectifs de région. Les nœuds ajoutés sont listés séparément pour éviter de déplacer les objectifs des régions existantes.
- Cette approche évite la reconstruction redondante tout en maintenant la continuité de l'état de la page.
Mécanisme de Secours : Si l'agent détermine que les régions sélectionnées sont insuffisantes, il peut invoquer une action view_all pour révéler toutes les régions sous leur forme complète d'AXTree.

Contributions Clés

Cadre Region4Web : Une méthode novatrice qui réorganise les AXTrees en régions fonctionnelles via une décomposition hiérarchique et une abstraction sémantique, rendant l'organisation fonctionnelle de la page explicite pour l'agent.
Pipeline PageDigest : Un mécanisme d'inférence spécifique au web qui délivre des observations au niveau des régions sous forme d'un résumé compact et persistant, réduisant la longueur de l'observation tout en suivant les transitions d'état sans reconstruction complète.
Validation Empirique : Évaluation complète sur le benchmark WebArena démontrant que l'observation au niveau des régions améliore les taux de réussite des tâches et réduit la longueur de l'observation à travers divers LLM principaux et méthodes d'agents.

Résultats

Évalués sur le benchmark WebArena (812 tâches répartis sur 5 domaines : Shopping, CMS, Reddit, GitLab, Carte), les méthodes proposées ont produit les résultats suivants :

Réduction de la Longueur d'Observation : PageDigest a considérablement réduit la longueur moyenne des tokens d'observation de 43 % (passant de 6 437 à 3 671 tokens) à travers quatre LLM principaux différents (GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B). La réduction variait de 16 % à 54 % selon le modèle principal.
Amélioration du Taux de Réussite des Tâches (SR) : Malgré le contexte réduit, PageDigest a amélioré le taux global de réussite des tâches de 2,3 points de pourcentage en moyenne.
- Par exemple, avec GPT-5.1, le SR est passé de 45,2 % à 47,5 %.
- Avec Qwen3.5-27B, le SR est passé de 38,2 % à 39,9 %.
Généralisabilité : Les améliorations se sont maintenues à la fois pour les modèles propriétaires et open-source de capacités variées, ainsi que pour des méthodes d'agents établies (SteP et AgentOccam), indiquant que l'observation au niveau des régions fournit un signal complémentaire pour la compréhension de l'état de la page, indépendant de la puissance du modèle.
Études d'Ablation :
- Region4Web seul a amélioré le SR (48,5 % $\to$ 50,3 %) avec une longueur d'observation comparable, confirmant que les régions fonctionnelles aident à la compréhension.
- PageDigest seul (sans Region4Web, utilisant une sélection au niveau des éléments) a abaissé le SR (48,5 % $\to$ 46,1 %), suggérant que le traitement au niveau des éléments nuit aux performances même avec compression.
- Combinaison : Le pipeline PageDigest complet a atteint le SR le plus élevé (53,9 %) avec la longueur d'observation la plus faible (3 814 tokens).
Analyse des Échecs : L'analyse de 50 trajectoires échouées a montré que 82,0 % des échecs étaient attribuables aux capacités de sélection d'actions de l'agent principal, tandis que seulement 8,0 % étaient dus à des régressions au sein du pipeline PageDigest (erreurs de décomposition, d'abstraction ou de sélection). Cela indique que le pipeline fonctionne de manière fiable tel que conçu.

Importance et Revendications

Le papier soutient que la granularité de l'observation est un choix de conception critique, mais sous-examiné, pour les agents web. En passant d'une observation au niveau des éléments à une observation au niveau des régions fonctionnelles, les auteurs démontrent que :

Organisation Explicite : Rendre l'organisation fonctionnelle de la page explicite (via des régions et des objectifs) fournit une base plus informative pour la compréhension de l'état de la page que son inférence à partir d'éléments bruts.
Efficacité et Performance : L'observation au niveau des régions permet un contexte plus compact qui ne sacrifie pas, et améliore même, les taux de réussite des tâches.
Découplage : Cette approche sépare la conception de l'observation des capacités du modèle et de la politique d'action, offrant une voie vers des agents web plus efficaces indépendamment de la capacité du LLM sous-jacent.

Les auteurs concluent que l'opération à la granularité des régions fonctionnelles fournit une base plus compacte et informative pour la prise de décision que le traitement au niveau des éléments seul, validant l'hypothèse que la manière dont un agent "voit" le web est aussi importante que la manière dont il "pense" à celui-ci.