Resumo Técnico: GTA – Geração de Tarefas de Longo Horizonte para Agentes Web em Escala

Declaração do Problema

Agentes web, que integram modelos de linguagem com capacidades de navegação e uso de ferramentas, enfrentam um gargalo crítico em escalabilidade devido à falta de supervisão em nível de processo. Os benchmarks existentes são predominantemente construídos manualmente, oferecendo apenas anotações grosseiras de início–objetivo sem trajetórias intermediárias. Isso limita a capacidade de treinar e avaliar agentes nos processos decisórios latentes necessários para navegação realista, multi-hop e entre páginas.

As tentativas recentes de geração automática de tarefas sofrem de três limitações principais:

1. Alto Custo e Latência: Métodos que dependem de execuções repetidas de agente–ambiente (por exemplo, AgentTrek, NNetNav) são proibitivamente caros e lentos.
2. Viés de Exploração: Políticas orientadas por LLM tendem a superajustar-se a caminhos "óbvios" (por exemplo, páginas de detalhes de produtos), deixando porções significativas do grafo do site inexploradas.
3. Falta de Composicionalidade: Muitas tarefas geradas colapsam em recuperação de um único salto ou preenchimento simples de formulários, falhando em capturar as dependências multi-hop e objetivos de longo prazo característicos dos fluxos de trabalho reais de usuários.

Metodologia: A Estrutura GTA

Os autores introduzem o GTA (Geração de Tarefas de Longo Horizonte para Agentes Web em Escala), uma estrutura escalável projetada para produzir tarefas realistas, com dificuldade graduada, acopladas a trajetórias executáveis de verdade fundamental. O pipeline desacopla a raspagem (crawling) da geração para melhorar a eficiência e garantir cobertura.

1. Pipeline de Construção de Benchmark

A estrutura opera em quatro estágios distintos:

• Raspagem e Construção de Grafo: O sistema realiza raspagem em largura (breadth-first) em domínios publicamente acessíveis para construir um grafo web direcionado $G = (V, E)$, onde nós representam páginas e arestas representam hiperlinks. Uma política canônica de caminho mais curto é aplicada para prevenir ciclos e garantir atribuições únicas de pai.
• Sementagem Baseada em Recuperação: Em vez de exploração orientada por política, o sistema incorpora nós usando um codificador baseado em LLM. Para um nó semente, ele recupera um conjunto candidato de páginas semanticamente relacionadas.
• Geração em Contexto: Um LLM gerador é solicitado com o conteúdo de um nó semente e um nó secundário recuperado para sintetizar uma consulta. Esta estratégia é projetada para impor dependências multi-hop, exigindo raciocínio através de duas páginas distintas.
• Controle de Qualidade Automatizado: Um protocolo de verificação em múltiplos estágios filtra as tarefas geradas:
  • Validação Multi-hop: Rejeita tarefas que são meramente conjunções de consultas independentes de um único salto.
  • Correção da Resposta: Um LLM verificador verifica se a resposta pode ser derivada exclusivamente dos nós de suporte.
  • Detecção de Ambiguidade: Filtra consultas que carecem de respostas únicas (por exemplo, falta de restrições temporais).
  • Verificação de Solvabilidade: Garante que exista um caminho executável mínimo dentro do grafo raspado para derivar a resposta.

2. Definição de Tarefa

Uma tarefa é definida como multi-hop de ordem $n$ se resolvê-la exigir agregar evidências de pelo menos $n$ páginas web distintas ($n > 1$). O benchmark suporta tanto tarefas intra-site (raciocínio dentro de um único domínio) quanto tarefas inter-site (coordenação entre múltiplos domínios).

3. Escopo e Escala

O pipeline foi instanciado em mais de 50 sites públicos cobrindo comércio eletrônico, governo, fóruns, notícias, saúde e finanças. O conjunto de dados resultante inclui:

• 5.000 tarefas intra-site.
• 600 tarefas inter-site entre sites diferentes.
• Cobertura multilíngue (inglês, italiano, japonês, alemão, chinês).
• Um ecossistema autoevolutivo onde usuários podem gerar tarefas atualizadas a partir de conteúdo web ao vivo.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Formulação do Problema: Formalizar a tarefa de geração de agentes web multi-hop, distinguindo-a de consultas triviais de informação ao exigir raciocínio através de múltiplas páginas ou domínios.
2. Geração Automática de Dados Eficiente: Propor um pipeline que reduz significativamente o tempo e o custo por tarefa ao separar a raspagem da geração. Cada tarefa inclui um "caminho de ouro" mínimo e programaticamente executável para reprodução determinística e diagnósticos em nível de etapa.
3. Ecossistema de Benchmark Evolutivo: Enquadrar o GTA não como um conjunto de dados estático, mas como um sistema autoevolutivo. Isso permite a atualização contínua dos dados de avaliação, reduzindo o superajuste a benchmarks estáticos e expondo agentes a distribuições de tarefas em mudança e realistas.

Resultados e Análise

1. Qualidade do Benchmark e Comparação

• Estrutura da Consulta: Ao contrário de conjuntos de dados anteriores (por exemplo, WebDS) que frequentemente consistem em consultas factuais, as tarefas do GTA exigem integrar evidências heterogêneas (por exemplo, combinar estatísticas numéricas com restrições de segurança).
• Falha da Linha de Base de Busca: Quando avaliados contra uma linha de base simples de API do Google Search, as tarefas do GTA produziram uma taxa de correção de apenas 14%, comparada a 95–100% para AgentTrek e NNetNav. Isso confirma que as tarefas do GTA não podem ser resolvidas por recuperação de um único salto.
• Cobertura de Páginas: O GTA alcança uma taxa de cobertura de páginas de 77,4%–80,7% nos sites de teste, superando significativamente o AgentTrek (20,2%), o NNetNav (24,3%) e o WebDS (11,0%), indicando uma exploração mais ampla das funcionalidades do site.
• Avaliação Humana: Anotadores humanos classificaram as tarefas do GTA como substancialmente mais complexas (2,35/3) do que o WebDS (1,90) e o AgentTrek (1,23). O GTA também alcançou a maior pontuação geral de qualidade (1,82), equilibrando realismo, profundidade de raciocínio e utilidade.

2. Desempenho do Agente

Experimentos com agentes Browser Use e AgentOccam revelaram lacunas significativas de desempenho:

• Tarefas Intra-site: Os agentes alcançaram taxas de sucesso frequentemente abaixo de 20–30% no GTA, um declínio acentuado em comparação com seu desempenho no WebVoyager (até 82%) e no Mind2Web.
• Tarefas Inter-site: O desempenho caiu ainda mais para tarefas entre domínios (por exemplo, taxa de sucesso de 4,2% para integração entre Drugs.com e CVS Health), destacando dificuldades em gerenciar deslocamentos distribucionais e conhecimentos não sobrepostos.
• Desempenho Multilíngue: Os agentes exibiram limitações severas em ambientes não ingleses, com o Browser Use alcançando 0% de sucesso em sites alemães e italianos, e apenas 2,9% em sites japoneses.

3. Análise de Erros

A análise de 100 tarefas falhas identificou três modos de falha dominantes:

1. Falha em Alcançar as Páginas Necessárias (90%): Os agentes falharam em navegar para todos os nós necessários, frequentemente devido a seguimento de links frágil ou loops de navegação.
2. Parada Antecipada (40%): Os agentes encerraram tarefas prematuramente após recuperar evidências parciais sem verificar a consistência em todas as fontes.
3. Excesso de Dependência de Caixas de Pesquisa (40%): Os agentes frequentemente contornaram estruturas explícitas de grafo web em favor da pesquisa no site, levando a resultados irrelevantes e cadeias de raciocínio quebradas.

Significado e Alegações

O artigo postula que o GTA aborda a necessidade crítica de supervisão em nível de processo escalável na pesquisa de agentes web. Ao desacoplar a raspagem da geração e fundamentar as tarefas em grafos de sites, o GTA produz tarefas composicionais e verificáveis que expõem as limitações dos agentes atuais em raciocínio multi-hop e integração entre domínios.

Os autores afirmam que o GTA serve como uma fundação para avançar agentes web robustos e generalizáveis ao:

• Revelar uma lacuna significativa de desempenho entre humanos e agentes em cenários realistas e multi-hop.
• Permitir diagnósticos detalhados de falhas de agentes (por exemplo, navegação versus raciocínio).
• Fornecer um mecanismo para reduzir o superajuste por meio de geração dinâmica e autoevolutiva de tarefas.

O trabalho conclui que, embora os agentes atuais lutem com a complexidade da navegação web do mundo real, a estrutura GTA oferece um caminho rigoroso, automatizado e escalável para avaliar e melhorar esses sistemas.