Resumo Técnico: Aprendizado de Habilidades Online para Agentes Web via Recuperação Dinâmica Baseada em Estado

Declaração do Problema

Agentes de linguagem são cada vez mais utilizados para tarefas de automação web de múltiplas etapas (ex: busca de informações, preenchimento de formulários). Embora pesquisas existentes tenham explorado o aprendizado de habilidades online — onde agentes induzem conhecimento procedural reutilizável a partir de trajetórias de tarefas passadas para melhorar o desempenho futuro — uma limitação crítica persiste nas metodologias atuais.

As abordagens de aprendizado de habilidades online existentes operam primariamente ao nível da tarefa. Elas recuperam um conjunto fixo de habilidades baseando-se apenas na instrução inicial da tarefa no início de uma execução e mantêm esse conjunto constante durante todo o processo. Essa estratégia estática está desalinhada com a natureza da execução web interativa, onde a próxima ação apropriada depende não apenas do objetivo global da tarefa, mas também do estado atual da página web. À medida que o agente navega, o estado da página web transita, tornando frequentemente as habilidades selecionadas inicialmente irrelevantes ou falhando em cobrir novas situações que surgem. Além disso, os métodos existentes lutam com a granularidade da habilidade: habilidades de trajetória completa são específicas demais para serem aplicadas a estados intermediários, enquanto habilidades de ação única carecem de abstração procedural significativa.

O desafio central abordado por este artigo é: Como um agente online pode recuperar dinamicamente a habilidade reutilizável correta em cada etapa de decisão, condicionada tanto ao objetivo evolutivo da tarefa quanto ao estado atual da página web?

Metodologia: Recuperação Dinâmica Baseada em Estado (SGDR)

Os autores propõem a Recuperação Dinâmica Baseada em Estado (State-Grounded Dynamic Retrieval - SGDR), um framework de aprendizado de habilidades online projetado para substituir a reutilização estática de habilidades ao nível da tarefa pela recuperação adaptativa ao nível do passo. O método opera dentro de um cenário de fluxo de tarefas sequenciais onde os agentes devem atualizar sua biblioteca de habilidades "on the fly" (em tempo real) sem acesso a sinais de sucesso de verdade fundamental (ground-truth) durante a execução.

O SGDR consiste em três componentes principais:

1. Extração de Habilidades por Janela Deslizante

Para abordar o desafio da granularidade, o SGDR não armazena trajetórias de tarefas inteiras como habilidades únicas. Em vez disso, após uma tarefa ser concluída e julgada bem-sucedida por um modelo avaliador, o sistema aplica um processo de extração por janela deslizante à trajetória.

• Processo: A trajetória é segmentada em subprocedimentos locais (janelas de comprimentos variados).
• Verificação: Cada segmento candidato é convertido em uma habilidade e verificado substituindo as ações correspondentes na trajetória original por uma chamada de habilidade. Apenas as habilidades que preservam o sucesso da trajetória são adicionadas à biblioteca.
• Resultado: Isso produz subprocedimentos compactos e reutilizáveis (ex: "preencher um formulário curto", "aplicar um filtro") que são aplicáveis a estados intermediários de páginas web, em vez de apenas contextos de tarefas completas.

2. Representação Dual Texto–Código

Cada habilidade induzida $s_k$ é representada como um par $(d_k, c_k)$:

• Descrição ($d_k$): Um resumo em linguagem natural usado para recuperação.
• Código ($c_k$): Uma função executável usada para execução de ação.
  Esta representação dual garante que as habilidades sejam tanto semanticamente recuperáveis quanto funcionalmente executáveis dentro do ambiente do navegador.

3. Recuperação Dinâmica Baseada em Estado

Ao contrário dos métodos estáticos que recuperam habilidades uma única vez no início, o SGDR recupera habilidades em cada etapa de decisão $t$ com base no estado atual.

• Construção da Consulta: A consulta de recuperação combina a instrução original da tarefa $g$ e um resumo compacto do estado atual da página web $r_t$ (derivado da árvore de acessibilidade).
• Pontuação de Relevância: Uma pontuação de relevância é computada usando uma similaridade de cosseno ponderada entre a descrição da habilidade e a consulta combinada:
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  onde $\alpha$ equilibra a importância do objetivo da tarefa versus o estado atual.
• Reranking por MMR: Para evitar redundância (já que janelas deslizantes podem produzir habilidades sobrepostas), os top-$M$ candidatos são reclassificados usando Relevância Marginal Máxima (MMR). Isso maximiza a relevância para a consulta atual enquanto penaliza a similaridade com habilidades já selecionadas, garantindo um conjunto diversificado de opções acionáveis.
• Injeção: As habilidades selecionadas são injetadas apenas para o passo atual, permitindo que o suporte do agente se adapte conforme a execução se desenrola.

Principais Contribuições

1. Formulação do Problema: O artigo identifica e formaliza a limitação da reutilização de habilidades de uma única vez ao nível da tarefa em agentes web online, destacando a necessidade de recuperação dinâmica baseada em estado para lidar com contextos de páginas web em evolução.
2. Inovação Metodológica: Introduz o SGDR, um framework que permite a reutilização de habilidades passo a passo. As principais inovações incluem:
   • Extração por janela deslizante para gerar habilidades de granularidade intermediária.
   • Representação dual texto-código vinculando a semântica de recuperação às ações executáveis.
   • Mecanismos de recuperação dinâmica que condicionam a seleção de habilidades tanto aos objetivos da tarefa quanto às observações do estado em tempo real.
3. Validação Empírica: O método é avaliado no benchmark WebArena através de cinco domínios (Shopping, Admin, Reddit, Gitlab, Map) utilizando dois modelos de base (GPT-4.1 e QWEN3-4B).

Resultados Experimentais

Experimentos demonstram que o SGDR supera consistentemente as bases fortes, incluindo Vanilla (sem habilidades), Agent Workflow Memory (AWM), Agent Skill Induction (ASI) e Contextual Experience Replay (CER).

• Taxas de Sucesso:
  • Com o GPT-4.1, o SGDR alcançou uma taxa de sucesso média de 37,5%, um ganho relativo de 10,6% sobre a base mais forte (CER com 33,9%).
  • Com o QWEN3-4B, o SGDR alcançou 24,3%, um ganho relativo de 10,0% sobre o CER (22,1%).
  • Melhorias foram observadas em quatro dos cinco domínios, com ganhos notáveis em Admin (47,7% vs. 41,4% para ASI) e Shopping.
• Eficiência de Execução: O SGDR reduziu o número médio de passos necessários para completar tarefas. Com o GPT-4.1, utilizou em média 4,8 passos comparado a 6,4 do CER, indicando que a abstração de habilidades de alto nível substitui efetivamente múltiplas interações de baixo nível no navegador.
• Estudos de Ablação:
  • Sinal de Recuperação: Combinar informação de tarefa e estado ($\alpha=0.5$) produziu os melhores resultados, superando a recuperação apenas por tarefa ou apenas por estado.
  • Reranking: O reranking por MMR melhorou significamente o desempenho em relação à simples recuperação de relevância top-$M$ ao reduzir a redundância.
  • Granularidade: A extração por janela deslizante superou tanto a extração de trajetória completa quanto a de ação única, confirmando a necessidade de granularidade intermediária.

Significância e Alegações

O artigo afirma que o SGDR representa uma mudança da reutilização estática ao nível da tarefa para a reutilização adaptativa baseada em estado. Ao alinhar dinamicamente a recuperação de habilidades com o estado evolutivo da página web, o método permite que os agentes explorem melhor o conhecimento procedural acumulado em ambientes interativos do mundo real.

Os autores posicionam este trabalho como um passo em direção a uma automação web mais realista, onde os agentes devem lidar com tarefas que chegam sequencialmente e exigem adaptação contínua. O método não depende de bibliotecas offline pré-construídas, mas sim aprende e refina suas capacidades "on the fly", tornando-o adequado para cenários de implantação onde as distribuições de tarefas podem mudar ou evoluir. Os resultados sugerem que abordar o descompasso entre a injeção de habilidades estática e os estados web dinâmicos é crucial para melhorar as taxas de sucesso e a eficiência dos agentes de linguagem em ambientes web complexos.