🤖 AI

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer é um gerador de trajetórias web inovador que emprega exploração sistemática em largura, síntese de tarefas guiada por exploração e refinamento baseado em trajetória para superar a escassez de dados e problemas de alucinação, melhorando significativamente o desempenho de agentes web e a diversidade de tarefas no benchmark WebArena.

Autores originais: Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a navegar em uma biblioteca massiva e complexa (um site) para encontrar livros específicos, retirá-los ou escrever resenhas. O problema é que o robô não conhece o layout da biblioteca, e ninguém escreveu um manual para ele.

AutoSurfer é um novo sistema projetado para ensinar esses "robôs da web" (chamados de agentes da web) atuando como um bibliotecário humano muito minucioso e organizado, que explora a biblioteca primeiro, escreve um guia perfeito e, em seguida, ensina o robô usando esse guia.

Veja como o AutoSurfer funciona, dividido em etapas simples:

1. O Problema: Robôs se Perdendo

Robôs atuais que tentam navegar em sites frequentemente falham porque não foram treinados com exemplos bons o suficiente.

O Jeito Antigo: Métodos anteriores tentavam ensinar robôs de duas formas:
- Adivinhando a partir da porta da frente: Eles olhavam para a página inicial e adivinhavam quais tarefas poderiam ser possíveis, perdendo os quartos escondidos no fundo da biblioteca.
- Vagando sem rumo: Eles andavam aleatoriamente, como um turista batendo em paredes. Isso frequentemente levava o robô a inventar tarefas que não existiam de verdade (alucinações) ou a perder recursos importantes, como menus suspensos que ficam ocultos até que você clique neles.

2. A Solução: Estratégia de Três Etapas do AutoSurfer

O AutoSurfer corrige isso usando uma abordagem "Aprenda Enquanto Anda" que imita como um humano aprenderia um novo site.

Etapa A: O Explorador Sistemático (A Busca em Largura)

Em vez de vagar aleatoriamente, o AutoSurfer age como um detetive com uma lista de verificação.

A Fila: Ele mantém uma lista de todas as páginas que encontrou, mas ainda não explorou completamente. Começa na página inicial, depois verifica todos os links dessa página, depois todos os links dessas páginas, e assim por diante.
O Truque do "Desdobramento": Imagine um menu que esconde opções até que você clique em "Mais". Métodos antigos frequentemente perdiam isso. O AutoSurfer é inteligente o suficiente para clicar no botão "Mais", ver as novas opções e adicionar imediatamente essas novas opções à sua lista de verificação. Ele faz isso recursivamente, descascando camadas de menus assim como um humano faria.
Sem Redundância: Se ele encontrar uma caixa de "Pesquisa" na página inicial, não perde tempo procurando uma caixa de "Pesquisa" em todas as outras páginas. Ele lembra do que já sabe e pula os duplicados.

Etapa B: Escrevendo a História (Síntese de Tarefas)

Uma vez que o AutoSurfer explorou o site, ele não diz apenas: "Cliquei aqui". Ele escreve uma história.

Conectando os Pontos: Ele analisa o caminho que percorreu (a trajetória de exploração) e cria uma tarefa baseada nesse caminho real.
A Metáfora: Imagine que você está ensinando alguém a fazer um bolo.
- Métodos antigos poderiam dizer: "Compre farinha, depois compre ovos, depois asse." (Passos isolados).
- AutoSurfer diz: "Primeiro, você caminhou até o corredor, pegou a farinha, caminhou até o caixa, pagou, depois caminhou até o forno..." Ele fundamenta a tarefa na jornada real, tornando as instruções muito mais difíceis de serem mal interpretadas.

Etapa C: O Polimento (Refinamento)

O primeiro rascunho das instruções pode estar bagunçado. Talvez o robô tenha feito um desvio ou clicado em um botão duas vezes por engano.

O Editor: O AutoSurfer pega seu próprio "rascunho" da jornada e o entrega a um agente da web (um robô inteligente) com uma dica: "Aqui está o caminho que percorremos; agora, por favor, execute esta tarefa perfeitamente."
O Resultado: O agente limpa o caminho, remove etapas desnecessárias e garante que as instruções estejam 100% precisas. Isso cria um "livro didático" de alta qualidade para treinamento.

3. O Resultado: Um Super-Aluno

O AutoSurfer transforma esses caminhos limpos e verificados em um conjunto de dados para treinar um "LLM Específico de Site" (um cérebro de robô dedicado a um único site).

O Teste: Os pesquisadores testaram isso em um benchmark chamado WebArena (uma internet simulada com sites como Reddit, uma loja de compras e um repositório de código).
A Pontuação: O robô treinado pelo AutoSurfer acertou 24,23% das tarefas. O melhor método anterior acertou apenas 19,59%.
A Diversidade: Não apenas foi mais preciso, mas também aprendeu uma variedade maior de tarefas. Ele não aprendeu apenas as coisas fáceis; encontrou os recursos profundos e complexos dos sites que outros métodos perderam.

Analogia de Resumo

Pense em treinar um agente da web como treinar um novo funcionário para um prédio de escritórios gigante e confuso.

Métodos antigos davam ao funcionário um mapa com apenas o saguão marcado e diziam para ele "ir encontrar a sala de descanso". Ele se perdia.
AutoSurfer envia um funcionário sênior para caminhar por todos os corredores, abrir todas as portas, verificar todos os armários e escrever um guia passo a passo baseado na caminhada real. Em seguida, envia esse guia para o novo funcionário. O novo funcionário chega sabendo exatamente onde fica a sala de descanso, como chegar lá e o que fazer quando chegar.

O artigo afirma que, ao ser tão minucioso e sistemático, o AutoSurfer cria melhores dados de treinamento, levando a agentes da web que são mais precisos, menos propensos a inventar coisas e capazes de lidar com tarefas complexas e multi-etapas na web.

1. Declaração do Problema

Agentes web impulsionados por Modelos de Linguagem de Grande Escala Multimodais (MLLMs) visam automatizar tarefas complexas em sites. No entanto, sua precisão é severamente limitada pela escassez de dados de treinamento de trajetórias web de alta qualidade. Os métodos existentes de geração automática de dados sofrem com três falhas primárias:

Cobertura Incompleta: Métodos que dependem de propostas de tarefas baseadas na página inicial (por exemplo, Explorer) ou de exploração por caminhada aleatória (por exemplo, OS-Genesis, SynthAgent) falham em descobrir funcionalidades profundas e ocultas, como menus de múltiplos níveis ou conteúdo dinâmico.
Alucinação e Ambiguidade: A síntese de tarefas frequentemente depende de conteúdo de página isolado ou ações aleatórias, levando a tarefas alucinadas que não se alinham com os caminhos de navegação reais ou a intenção do usuário.
Fundamentação Fraca de Trajetória: As trajetórias geradas frequentemente carecem de coerência porque não são fundamentadas em uma exploração sistemática do espaço de estados real do site, levando a dados de treinamento não confiáveis para Modelos de Linguagem de Grande Escala Específicos de Site (wLLMs).

2. Metodologia: AutoSurfer

O AutoSurfer é um gerador abrangente de trajetórias web projetado para abordar essas limitações através de um pipeline de três estágios: Exploração Sistemática, Síntese de Tarefas Fundamentada em Trajetória e Refinamento Guiado por Trajetória.

A. Exploração Sistemática em Largura (Breadth-First)

Diferentemente de caminhadas aleatórias, o AutoSurfer emprega uma estratégia de travessia em largura (BFS) para mapear abrangentemente o espaço de ações de um site:

Navegação Baseada em Fila: Mantém uma fila de páginas descobertas e seus respectivos rastros de ação. Propaga conhecimento de páginas anteriores para as posteriores para evitar exploração redundante.
Expansão Recursiva de GUI: Trata elementos estáticos e dinâmicos de forma diferente:
- Elementos Estáticos: Percorre sistematicamente funcionalidades fixas (por exemplo, barras de navegação).
- Elementos Dinâmicos: Amostra um subconjunto representativo de conteúdo dinâmico (por exemplo, itens de lista) para evitar redundância enquanto captura funcionalidade.
- Gerenciamento de Menu/Menu Suspenso: Expande recursivamente menus e menus suspensos. Se uma ação (por exemplo, clicar em um nome de perfil) revelar novos elementos, o AutoSurfer identifica esses novos elementos como uma hierarquia, reconstruindo tarefas de folha com o prefixo de ação completo (por exemplo, "Clicar no Perfil" $\rightarrow$ "Clicar em Configurações").
Filtragem de Tarefas: Exclui tarefas envolvendo autorização (login/inscrição), pagamentos, anúncios e pop-ups, focando em interações acionáveis e que alteram o estado.

B. Síntese de Tarefas com Trajetórias de Exploração

O AutoSurfer sintetiza tarefas complexas combinando tarefas simples logicamente conectadas descobertas durante a exploração:

Tarefas Orientadas a Ação: Identifica sequências de tarefas simples que abrangem pelo menos três ações de GUI. Utiliza raciocínio de LLM para avaliar a completude, retendo apenas tuplas de alta qualidade.
Tarefas de Busca de Informação: Gera perguntas que os usuários poderiam fazer sobre o conteúdo da página, fundamentadas no caminho de navegação específico percorrido para atingir aquele estado.
Inovação Chave: Diferentemente de métodos anteriores que sintetizam tarefas a partir de conteúdo de página isolado, o AutoSurfer fundamenta as tarefas na trajetória completa de exploração. Isso garante que a descrição da tarefa reflita o contexto real de navegação, reduzindo alucinações.

C. Refinamento Guiado por Trajetória

Os dados iniciais de exploração frequentemente contêm etapas redundantes ou caminhos subótimos (por exemplo, ações de rolagem ausentes). O AutoSurfer refina esses dados usando um agente web (SynthAgent) aumentado com a trajetória de exploração como uma dica:

O agente usa o caminho de exploração como um guia de "verdade fundamental" para corrigir a descrição da tarefa e gerar uma trajetória limpa e eficiente.
Esta etapa filtra tentativas falhas e otimiza a sequência de ações, garantindo que os dados finais sejam adequados para Ajuste Fino Supervisionado (SFT).

D. Treinamento do Modelo (wLLM)

Os pares refinados de tarefa-trajetória são convertidos em um conjunto de dados SFT no formato ShareGPT. O conjunto de dados inclui a descrição da tarefa, captura de tela da página, árvore de acessibilidade e histórico de ações. Esses dados são usados para ajustar finamente modelos de linguagem multimodais (especificamente Qwen2.5-VL e Qwen3-VL) para criar Modelos de Linguagem de Grande Escala Específicos de Site (wLLMs).

3. Contribuições Principais

Estratégia de Exploração Sistemática: Uma abordagem BFS inovadora que expande recursivamente menus, distingue entre elementos fixos e dinâmicos e propaga conhecimento entre páginas para alcançar cobertura quase completa do site.
Síntese Fundamentada em Trajetória: Um método que usa o caminho completo de exploração para sintetizar tarefas, reduzindo significativamente as alucinações em comparação com métodos que dependem de conteúdo de página isolado ou caminhadas aleatórias.
Refinamento via Dicas de Exploração: Um mecanismo de refinamento que usa a trajetória de exploração como uma restrição para orientar o agente web para caminhos de execução corretos, melhorando a qualidade dos dados.
Primeiro Framework de Treinamento wLLM: O AutoSurfer é o primeiro trabalho explicitamente projetado para gerar dados para o treinamento de wLLMs, demonstrando que a cobertura abrangente do site é necessária para agentes específicos de site de alto desempenho.

4. Resultados Experimentais

Os autores avaliaram o AutoSurfer no benchmark WebArena (usando ambientes CMS, Gitlab, Reddit e Shopping) ajustando finamente o Qwen2.5-VL-7B-Instruct.

Desempenho: O AutoSurfer superou significativamente os métodos mais avançados (Explorer, OS-Genesis, SynthAgent).
- Precisão Geral: O AutoSurfer alcançou 24,23% de precisão geral de conclusão de tarefas, comparado a 19,59% para o melhor método anterior (SynthAgent).
- Ganhos por Site: Mostrou melhorias consistentes em todos os sites testados, com ganhos notáveis no Reddit (34,62% vs. 19,64% para o SynthAgent).
Diversidade de Tarefas: O AutoSurfer gerou um conjunto de tarefas mais diversificado (Pontuação de Diversidade: 0,7774) em comparação com OS-Genesis e SynthAgent (0,7459), indicando uma cobertura mais ampla do espaço de ações do site.
Impacto do Refinamento: Estudos de ablação mostraram que modelos treinados apenas com dados de exploração alcançaram 11,54% de precisão, enquanto modelos treinados com dados refinados alcançaram 34,62%. Isso destaca a importância crítica da etapa de refinamento na remoção de ruído e otimização de trajetórias.
Generalização: A abordagem foi validada em um modelo diferente (Qwen3), mostrando melhorias consistentes de desempenho, sugerindo que a qualidade dos dados é agnóstica ao modelo.

5. Significado

Qualidade de Dados sobre Tamanho do Modelo: O artigo demonstra que dados de treinamento abrangentes e de alta qualidade podem impulsionar significativamente o desempenho de modelos menores e eficientes (7B-8B parâmetros), potencialmente reduzindo a necessidade de modelos massivos e caros para automação web.
Privacidade e Eficiência: Ao permitir o treinamento de wLLMs de alta qualidade, o AutoSurfer apoia a implantação de agentes em dispositivos, aprimorando a privacidade do usuário e reduzindo a latência.
Mudança de Paradigma: Move o campo de "exploração aleatória" ou "síntese baseada em tutoriais" para "exploração sistemática e semelhante à humana", fornecendo um framework robusto para construir agentes web confiáveis e de propósito geral.

Em conclusão, o AutoSurfer estabelece um novo padrão para geração de trajetórias web ao provar que a exploração sistemática e abrangente combinada com refinamento guiado por trajetória é essencial para treinar agentes web precisos e confiáveis.