Resumo Técnico: Region4Web e PageDigest

Declaração do Problema

Agentes web percebem seu ambiente através de um espaço de observação, mas a granularidade dessa observação permaneceu uma escolha de design subexaminada. Abordagens existentes tipicamente tratam o espaço de observação na mesma granularidade de nível de elemento que o espaço de ação, representando a página como uma lista plana ou hierárquica de elementos DOM individuais (por exemplo, nós AXTree). Embora a granularidade de nível de elemento seja natural para selecionar ações específicas (por exemplo, clicar em um link específico), ela é subótima para a compreensão do estado da página.

Em observações de nível de elemento, a organização funcional de uma página — como grupos de elementos servem a propósitos compartilhados como "listagens de produtos", "menus de navegação" ou "formulários de pesquisa" — permanece implícita. O agente é forçado a inferir essas regiões funcionais e seus propósitos a partir de sinais de elementos brutos a cada passo. Essa abordagem falha em aproveitar as pistas estruturais que definem unidades funcionais e frequentemente resulta em contextos de observação excessivamente longos que obscurecem a organização da página. Além disso, reconstruir a observação completa de nível de elemento a cada passo dentro de uma página é redundante, pois a maioria das ações induz apenas mudanças marginais no DOM.

Metodologia

O artigo propõe um framework de duas partes: Region4Web para construir observações de nível de região e PageDigest para entregar essas observações de forma eficiente.

1. Region4Web: Construindo Observação de Nível de Região

Region4Web reorganiza o AXTree da página em regiões funcionais através de um processo de duas etapas:

• Decomposição Hierárquica: Esta etapa classifica cada aresta pai-filho no AXTree como uma fusão ou um corte em uma única travessia de baixo para cima.
  • Entrada: Um vetor de características para cada nó $v$ ($x_v$) combinando uma incorporação de função aprendida com características estruturais numéricas (profundidade, tamanho da subárvore, diversidade de filhos, etc.).
  • Mecanismo: Um EdgeClassifier determina se um nó filho deve ser separado de seu pai. Ele usa as características do pai, a representação do filho e a representação média dos irmãos do pai como contexto. Se a pontuação de classificação exceder um limiar $\tau$, a aresta é cortada, formando um novo limite de região. Caso contrário, o filho é fundido na região do pai.
  • Saída: Uma partição do AXTree em subárvores, onde cada subárvore constitui uma região funcional.
• Abstração Semântica: Esta etapa interpreta cada região identificada para tornar seu propósito explícito.
  • Mecanismo: Um modelo de linguagem pequeno e ajustado (Qwen3-0.6B) processa a subárvore AXTree pré-processada de cada região.
  • Saída: Duas dimensões ortogonais para cada região:
    1. Propósito ($p_i$): Uma descrição de alto nível do que a região serve (por exemplo, "listagem de produtos", "formulário de pesquisa").
    2. Resumo de Estado ($s_i$): Um resumo conciso do contexto acionável atual da região (por exemplo, "vitrine promocional para óculos de sol de luxo").

Essas etapas são realizadas como modelos pequenos e dedicados, treinados em anotações geradas por um LLM proprietário (GPT-5-mini) a partir de um conjunto de dados de 2.052 páginas web do mundo real.

2. PageDigest: Pipeline de Inferência Específico para Web

PageDigest é um pipeline projetado para entregar observações de nível de região ao agente ator como um resumo compacto que persiste entre os passos dentro de uma página.

• Seleção de Regiões Relevantes para a Tarefa: Ao entrar em uma nova página, o LLM principal do agente ator recebe a instrução da tarefa, o histórico de ações e o conjunto de abstrações de regiões $\{(p_i, s_i)\}$. O modelo seleciona as regiões relevantes para a tarefa.
  • Regiões Selecionadas: Expostas como subárvores AXTree completas para preservar a granularidade de nível de elemento para execução de ações.
  • Regiões Não Selecionadas: Representadas apenas por seus resumos de propósito, mantendo o contexto estrutural geral da página sem inchaço de tokens.
• Gerenciamento de Transição de Observação Consciente da Página: Em vez de executar novamente o Region4Web a cada passo, o PageDigest rastreia mudanças incrementais.
  • Compara o AXTree atual com o estado na entrada da página para identificar nós adicionados, removidos ou modificados.
  • Atualizações: Nós removidos/modificados atualizam a estrutura existente sob seus propósitos de região. Nós adicionados são listados separadamente para evitar deslocar os propósitos de regiões existentes.
  • Essa abordagem evita reconstrução redundante enquanto mantém a continuidade do estado da página.
• Mecanismo de Fallback: Se o agente determinar que as regiões selecionadas são insuficientes, pode invocar uma ação view_all para revelar todas as regiões em sua forma completa de AXTree.

Contribuições Principais

1. Framework Region4Web: Um método novo que reorganiza AXTrees em regiões funcionais via decomposição hierárquica e abstração semântica, tornando a organização funcional da página explícita para o agente.
2. Pipeline PageDigest: Um mecanismo de inferência específico para web que entrega observações de nível de região como um resumo compacto e persistente, reduzindo o comprimento da observação enquanto rastreia transições de estado sem reconstrução completa.
3. Validação Empírica: Avaliação abrangente no benchmark WebArena demonstrando que a observação de nível de região melhora as taxas de sucesso da tarefa e reduz o comprimento da observação em diversos LLMs principais e métodos de agente.

Resultados

Avaliado no benchmark WebArena (812 tarefas em 5 domínios: Compras, CMS, Reddit, GitLab, Mapa), os métodos propostos produziram os seguintes resultados:

• Redução do Comprimento da Observação: PageDigest reduziu substancialmente o comprimento médio de tokens de observação em 43% (de 6.437 para 3.671 tokens) em quatro LLMs principais diferentes (GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B). A redução variou de 16% a 54% dependendo do principal.
• Melhoria na Taxa de Sucesso da Tarefa (SR): Apesar do contexto reduzido, PageDigest melhorou a taxa geral de sucesso da tarefa em 2,3 pontos percentuais em média.
  • Por exemplo, com GPT-5.1, a SR aumentou de 45,2% para 47,5%.
  • Com Qwen3.5-27B, a SR aumentou de 38,2% para 39,9%.
• Generalização: As melhorias mantiveram-se tanto em modelos proprietários quanto de código aberto de capacidades variadas, bem como em métodos de agente estabelecidos (SteP e AgentOccam), indicando que a observação de nível de região fornece um sinal complementar para a compreensão do estado da página independente da força do modelo.
• Estudos de Ablação:
  • Apenas Region4Web melhorou a SR (48,5% $\to$ 50,3%) com comprimento de observação comparável, confirmando que regiões funcionais auxiliam na compreensão.
  • Apenas PageDigest (sem Region4Web, usando seleção de nível de elemento) reduziu a SR (48,5% $\to$ 46,1%), sugerindo que o processamento de nível de elemento prejudica o desempenho mesmo com compressão.
  • Combinado: O pipeline PageDigest completo alcançou a maior SR (53,9%) com o menor comprimento de observação (3.814 tokens).
• Análise de Falhas: Análise de 50 trajetórias falhas mostrou que 82,0% das falhas foram atribuídas às capacidades de seleção de ações do agente principal, enquanto apenas 8,0% foram devidas a regressões dentro do pipeline PageDigest (erros de decomposição, abstração ou seleção). Isso indica que o pipeline opera de forma confiável conforme projetado.

Significado e Alegações

O artigo argumenta que a granularidade da observação é uma escolha de design crítica, porém subexaminada, para agentes web. Ao mudar da observação de nível de elemento para a observação de nível de região funcional, os autores demonstram que:

1. Organização Explícita: Tornar a organização funcional da página explícita (via regiões e propósitos) fornece uma base mais informativa para a compreensão do estado da página do que inferi-la a partir de elementos brutos.
2. Eficiência e Desempenho: A observação de nível de região permite um contexto mais compacto que não sacrifica, e na verdade melhora, as taxas de sucesso da tarefa.
3. Desacoplamento: Esta abordagem separa o design da observação da capacidade do modelo e da política de ação, oferecendo um caminho para agentes web mais eficientes independentemente da capacidade do LLM subjacente.

Os autores concluem que operar na granularidade de regiões funcionais fornece uma base mais compacta e informativa para a tomada de decisões do que o processamento de nível de elemento sozinho, validando a hipótese de como um agente "vê" a web é tão importante quanto como ele "pensa" sobre ela.