Go-Browse: Training Web Agents with Structured Exploration

O artigo apresenta o Go-Browse, um método que utiliza exploração estruturada baseada em busca em grafos para coletar dados de navegação web em escala, permitindo que um modelo de linguagem de 7B parâmetros atinja o estado da arte no benchmark WebArena com uma taxa de sucesso de 21,7%.

O essencial

Imagine que você tem um robô muito inteligente, mas que nunca saiu de casa. Ele sabe ler livros, entender gramática e até escrever poemas, mas se você o colocar na frente de um computador para fazer compras online ou navegar em um site novo, ele se perde. Ele fica olhando para a tela, sem saber qual botão apertar, como se estivesse em um labirinto sem mapa.

O artigo que você enviou, chamado GO-BROWSE, apresenta uma solução genial para esse problema. Vamos explicar como funciona usando uma analogia simples: o explorador de mapas.

O Problema: O Robô Perdido

Até agora, para ensinar robôs a navegar na internet, os cientistas faziam duas coisas:

1. Pediam ajuda a humanos: Contratar pessoas para fazer tarefas e gravar o que elas faziam. É como ter um professor particular para cada robô, mas é caro e demorado.
2. Deixavam o robô "passear" sozinho: O robô clicava em coisas aleatórias esperando acertar. O problema é que ele ficava dando voltas no mesmo lugar, perdendo tempo e não aprendendo a ir para lugares novos e importantes.

A Solução: GO-BROWSE (O Explorador Estratégico)

Os autores criaram o GO-BROWSE. Pense nele como um explorador de mapas que não apenas caminha, mas desenha o mapa enquanto anda.

Aqui está como ele funciona, passo a passo:

1. O "Mapa de Fronteira" (O Grande Plano)

Imagine que o robô está explorando uma ilha desconhecida. Em vez de começar sempre do porto (a página inicial) e tentar adivinhar para onde ir, o GO-BROWSE mantém uma lista de "lugares descobertos, mas ainda não explorados a fundo".

• A Mágica: Se o robô descobre um caminho interessante para uma caverna (uma página profunda do site), ele marca esse caminho no mapa. Na próxima vez que ele precisa explorar, ele pode "teletransportar" (resetar) o robô diretamente para a entrada dessa caverna, em vez de fazer ele caminhar 100 km desde o porto só para chegar lá de novo.
• Por que é bom? Isso economiza tempo e evita que o robô fique preso em lugares óbvios, permitindo que ele explore os cantos mais escondidos e úteis do site.

2. O "Detetive de Tarefas" (O que fazer?)

Uma vez que o robô está em um lugar específico (uma página), ele não fica apenas olhando. Ele tem dois ajudantes:

• O Navegador (NavExplorer): Pensa: "O que um humano faria aqui? Provavelmente clicaria naquele link para ir para a página de 'Contato' ou 'Produtos'". Ele cria tarefas de navegação.
• O Explorador Local (PageExplorer): Pensa: "O que podemos fazer nesta página? Podemos filtrar produtos, adicionar ao carrinho ou ler avaliações?". Ele cria tarefas específicas.

3. O "Chefe de Qualidade" (O Filtro)

Antes de salvar o que o robô aprendeu, um "chefe" (um modelo de IA muito forte) verifica: "Será que essa tarefa é possível? O robô conseguiu fazer?".

• Se o robô conseguiu, o caminho é salvo no "Livro de Receitas" (o conjunto de dados).
• Se o robô falhou, essa tentativa é descartada ou usada para aprender o que não fazer.

O Resultado: Um Mestre da Internet

Os pesquisadores usaram esse método para criar um banco de dados gigante com 10.000 histórias de sucesso (tarefas concluídas) e 40.000 passos de interação.

Eles pegaram um modelo de linguagem (um "cérebro" de IA) de tamanho médio (7 bilhões de parâmetros) e o treinaram com esse novo "Livro de Receitas". O resultado foi impressionante:

• Esse modelo treinado ficou melhor do que o GPT-4o Mini (um modelo muito famoso e poderoso) em tarefas de navegação na web.
• Ele superou outros modelos do mesmo tamanho por uma margem significativa.

A Analogia Final: O App de Navegação vs. O Turista

• Os métodos antigos eram como dar um mapa em branco para um turista e dizer: "Vá para a praia". O turista anda, se perde, volta, tenta de novo, e muitas vezes acaba no mesmo lugar.
• O GO-BROWSE é como um Waze ou Google Maps que aprende com os erros e acertos de todos os motoristas. Ele sabe que, para chegar à praia, você precisa passar pela avenida X, virar na rua Y e ignorar o atalho Z que leva a um beco sem saída.

Por que isso importa?

Isso significa que, no futuro, teremos assistentes virtuais que não apenas conversam bem, mas que realmente sabem usar o computador. Eles poderão fazer suas compras, agendar reuniões, pesquisar preços e organizar sua vida digital sem você precisar guiá-los passo a passo, porque eles "navegaram" por milhões de páginas virtuais antes mesmo de você pedir a tarefa.

Em resumo: O GO-BROWSE ensina robôs a não apenas "ler" a internet, mas a "viver" nela, explorando de forma inteligente e criando seus próprios mapas para nunca mais se perderem.

Resumo técnico

1. O Problema

Os agentes de IA baseados em Grandes Modelos de Linguagem (LLMs) enfrentam dificuldades significativas em tarefas de navegação na web e interação com interfaces gráficas (GUI), apesar de seu desempenho superior em outros domínios. O principal obstáculo identificado é a falta de compreensão prévia do ambiente pelo agente.

• Limitação de Dados: Coletar dados de alta qualidade para treinamento é caro e demorado se feito manualmente. Métodos automáticos existentes (como os baseados em "primeira interação" ou "primeira instrução") muitas vezes geram dados redundantes, não cobrem o site globalmente ou falham ao transferir conhecimento de tutoriais genéricos para sites específicos.
• Ineficiência de Exploração: Métodos anteriores tendem a reiniciar a exploração do zero a cada episódio, ignorando informações valiosas de páginas já descobertas, o que leva a uma cobertura ineficiente de sites complexos.

2. Metodologia: GO-BROWSE

O GO-BROWSE é um método totalmente não supervisionado e escalável para coletar dados de agentes web através de uma exploração estruturada dos ambientes da web. A abordagem trata a coleta de dados como um problema de busca em grafos, permitindo a reutilização de informações entre episódios de exploração.

A arquitetura funciona em dois loops principais (ver Figura 1 do artigo):

• Loop Externo (Cobertura Global do Site):

  • Mantém uma "fronteira de exploração" (exploration frontier) de URLs descobertas, mas ainda não totalmente exploradas.
  • Em vez de começar sempre na página inicial (root), o sistema seleciona uma URL da fronteira e reinicia a exploração a partir dela.
  • Isso desacopla o desafio de navegação (encontrar a página correta) do desafio de resolução de tarefas locais (executar ações na página), permitindo um efeito de "bootstrapping" onde modelos mais fracos podem coletar dados de alta qualidade.

• Loop Interno (Exploração Local da Página):
  Para cada página selecionada da fronteira, o sistema executa três etapas:

  1. Proposição de Tarefas:
     • NavExplorer: Um agente web propõe tarefas de navegação para páginas vizinhas (expansão da fronteira).
     • PageExplorer: Um agente propõe tarefas locais específicas para a página atual (ex: filtrar produtos, editar configurações).
  2. Verificação de Viabilidade (FeasibilityChecker): Um agente forte (ex: Claude-3.7-Sonnet) tenta resolver as tarefas propostas. Um modelo VLM (Vision-Language Model) atua como juiz para verificar se a trajetória gerada resolveu a tarefa com sucesso. Tarefas inviáveis são descartadas.
  3. Amostragem de Trajetórias (Solvers): Para as tarefas viáveis, o sistema amostra múltiplas trajetórias usando modelos mais baratos (como GPT-4o-mini ou Qwen-2.5-7B).
     • Amostragem Prefixada: O agente começa na página onde a tarefa foi proposta (foca na execução local).
     • Amostragem Não Prefixada: O agente começa na página raiz do site (foca na navegação de longo alcance).

3. Principais Contribuições

1. Método de Coleta Estruturada: Introdução de uma abordagem baseada em grafos que mantém um mapa de URLs visitadas, permitindo reiniciar episódios em páginas promissoras já descobertas, reduzindo drasticamente a redundância.
2. Decoupling de Navegação e Execução: Ao permitir que a exploração comece em páginas intermediárias, o método facilita o treinamento de modelos menores, que podem focar na execução de tarefas sem precisar "aprender" a navegar desde a home page a cada vez.
3. Dataset GO-BROWSE-WA: Coleta de um novo dataset massivo no benchmark WebArena, contendo:
   • ~10.000 trajetórias bem-sucedidas.
   • ~17.000 trajetórias falhas.
   • Dados coletados em 100 URLs distintas de 5 domínios (Shopping, Reddit, GitLab, Mapas, Admin).
4. Desempenho de Modelos Pequenos: Demonstração de que o fine-tuning supervisionado de um modelo de 7B parâmetros (Qwen-2.5-7B-Instruct) neste dataset supera modelos proprietários muito maiores e o estado da arte atual para modelos sub-10B.

4. Resultados

Os experimentos foram realizados no benchmark WebArena e no Online-Mind2Web (OM2W).

• WebArena (Desempenho Geral):
  • O modelo GO-BROWSE-7B alcançou uma taxa de sucesso de 21,7%.
  • Superação do Estado da Arte: Superou o modelo anterior de ponta para modelos <10B (NNetNav-7B) em 2,9% e o GPT-4o-mini (modelo fechado) em 2,4%.
  • O modelo pré-treinado Qwen-2.5-7B-Instruct (sem fine-tuning) teve apenas 8,3% de sucesso, evidenciando o ganho massivo do dataset.
• Análise por Domínio: O modelo GO-BROWSE-7B superou o GPT-4o-mini e o NNetNav-7B em todos os domínios, exceto GitLab. Destaque para o domínio "Shopping Admin" (+11% sobre NNetNav) e "Reddit" (+7%).
• Generalização (OM2W): Em tarefas fora de domínio (Online-Mind2Web), o modelo manteve uma vantagem sobre o NNetNav, especialmente em sites "adjacentes" ao domínio de treinamento, aproximando-se do desempenho do GPT-4o-mini em sites similares.
• Análise de Profundidade: O modelo treinado com GO-BROWSE demonstrou capacidade de navegar para URLs mais profundas (mais complexas) com maior sucesso do que métodos anteriores, resolvendo tarefas de maior horizonte.

5. Significado e Impacto

O trabalho GO-BROWSE representa um avanço significativo na criação de agentes web autônomos ao demonstrar que:

• A eficiência na exploração é tão crucial quanto a capacidade do modelo em si. Estruturar a coleta de dados como um grafo de exploração permite cobrir ambientes complexos de forma mais inteligente do que a exploração aleatória ou baseada apenas em instruções iniciais.
• É possível treinar agentes de alto desempenho usando modelos de linguagem abertos e menores (7B), desde que o dataset de treinamento seja de alta qualidade, diversificado e coletado de forma estruturada.
• A abordagem de "resetar para páginas descobertas" (inspirada no RL Go-Explore) é uma estratégia poderosa para superar o problema da exploração em ambientes com recompensas esparsas, como a navegação web.

Em resumo, o GO-BROWSE oferece uma solução escalável e não supervisionada para o gargalo de dados em agentes web, resultando em modelos que navegam e executam tarefas na web com uma eficácia superior à dos modelos fechados atuais, mas com uma fração do tamanho e custo.