WebForge: Breaking the Realism-Reproducibility-Scalability Trilemma in Browser Agent Benchmark

1. O Problema: O Trilema dos Benchmarks de Agentes Navegadores

Os autores identificam uma limitação fundamental nos benchmarks existentes para agentes de navegador autônomos, denominando-a de "Trilema do Benchmark". Atualmente, é impossível satisfazer simultaneamente três propriedades críticas:

1. Realismo: Benchmarks baseados em sites reais (ex: WebVoyager, Mind2Web) oferecem alta fidelidade, mas sofrem de deriva de conteúdo (content drift). Sites mudam constantemente, tornando as tarefas obsoletas rapidamente (ex: quase metade das tarefas do Mind2Web expiraram em dois anos) e introduzindo ruído não controlado.
2. Reprodutibilidade: Ambientes controlados e sandbox (ex: WebArena, VisualWebArena) garantem estabilidade, mas são artificialmente "limpos". Falta-lhes o ruído da web real (pop-ups, diálogos de cookies, atrasos de rede), superestimando a robustez dos agentes.
3. Escalabilidade: A curadoria manual de tarefas é cara e lenta, limitando o número de tarefas e a diversidade de domínios. Soluções automatizadas anteriores falharam em gerar ambientes interativos completos com controle de dificuldade multidimensional.

O objetivo do WebForge é resolver este trilema criando um framework totalmente automatizado que gera ambientes web interativos, realistas, reproduzíveis e escaláveis sem anotação humana.

---

2. Metodologia: O Pipeline WebForge

O WebForge é um framework automatizado que utiliza um pipeline de quatro agentes especializados para gerar ambientes de teste web end-to-end. O processo transforma uma definição de domínio e nível de dificuldade em um site estático autossuficiente.

A. Pipeline de Quatro Agentes

1. Agente de Planejamento (Plan Agent):

   • Recebe um domínio ($d$) e um nível de dificuldade ($l$).
   • Utiliza um processo de duas etapas com LLMs:
     • Rascunho (High Temperature): Gera propostas criativas e diversas.
     • Refinamento (Low Temperature): Um modelo de precisão verifica a lógica, valida as regras de dificuldade e modifica 30-50% do rascunho para garantir viabilidade.
   • Produz um plano estruturado ($P$) com um vetor de dificuldade de 7 dimensões.

2. Agente de Geração (Generation Agent):

   • Converte o plano $P$ em um ambiente web funcional ($\mathcal{W}$).
   • Coleta de Recursos Reais: Busca dados reais (imagens, textos, preços) e designs de sites existentes para garantir autenticidade visual e de conteúdo.
   • Construção: Gera arquivos HTML/CSS/JS estáticos. Implementa gerenciamento de estado via localStorage para simular interações complexas (carrinhos de compras, formulários) sem backend real.
   • Mecanismos Anti-trapaça: Criptografia de dados sensíveis e códigos enganosos para impedir que agentes adivinhem respostas lendo o código-fonte.

3. Agente de Refinamento (Refinement Agent):

   • Realiza inspeção sistemática e melhoria da qualidade.
   • Injeção de Ruído da Web Real: Adiciona pop-ups, banners de consentimento de cookies e simulações de latência de rede para preencher a lacuna entre ambientes "estéreis" e a web real.
   • Correção de Solvabilidade: Garante que todos os links funcionem, substitui diálogos alert() (que bloqueiam agentes) por mensagens de erro inline e preenche páginas de navegação vazias.

4. Agente de Validação (Validation Agent):

   • Atua como a porta de qualidade final.
   • Execução Real: Reexecuta o caminho de solução proposto dentro de um navegador Chromium real (o mesmo usado na avaliação), não apenas analisando o código-fonte.
   • Verificação: Confirma se a tarefa é solucionável dentro de um limite de passos (50 ações) e se o resultado final corresponde à verdade fundamental (ground truth). Tarefas falhas são descartadas ou reenviadas para reparo.

B. Controle de Dificuldade Multidimensional

O sistema utiliza um framework de 7 dimensões de dificuldade, cada uma com 3 níveis (L1, L2, L3):

1. Profundidade de Salto (Jump Depth): Número de transições de página.
2. Amplitude de Salto (Jump Breadth): Opções de navegação em uma única página.
3. Interação de Página: Complexidade de formulários e botões.
4. Complexidade Visual: Necessidade de raciocínio sobre gráficos/imagens.
5. Complexidade de Informação: Densidade de dados a processar.
6. Raciocínio/Cálculo: Complexidade lógica e matemática.
7. Fator de Risco: Presença de operações irreversíveis ou sem avisos claros.

A dificuldade global é uma combinação composicional dessas dimensões, permitindo um perfil de capacidade fino.

---

3. Principais Contribuições

1. Resolução do Trilema: O WebForge é o primeiro framework a gerar benchmarks completos, interativos e autossuficientes que são simultaneamente realistas (com ruído e dados reais), reproduzíveis (sites estáticos) e escaláveis (geração automatizada).
2. Geração Totalmente Automatizada: Elimina a necessidade de anotação humana, utilizando um pipeline de agentes para criar desde o planejamento até a validação da solvabilidade.
3. Avaliação Multidimensional: Introduz uma taxonomia de 7 dimensões que permite diagnosticar falhas específicas de modelos (ex: raciocínio visual vs. navegação), indo além de pontuações agregadas.
4. WebForge-Bench: A construção de um novo benchmark com 934 tarefas validadas, cobrindo 7 domínios (Transações, Moderação de Conteúdo, Processos Empresariais, etc.) e 3 níveis de dificuldade.

---

4. Resultados Experimentais

Os experimentos foram realizados com 14 configurações de modelos (incluindo Gemini-3-Pro, Claude-4.5, GPT-5, Qwen, Kimi, etc.).

• Estratificação por Dificuldade:
  • O sistema de 3 níveis separa claramente as capacidades dos modelos.
  • No Nível 1, a maioria dos modelos atinge >73%.
  • No Nível 3, a discriminação é extrema: o modelo mais forte (Gemini-3-Pro) atinge 58.0%, enquanto o mais fraco (Qwen3-Omni-30B) cai para 2.4%.
• Viés de Domínio:
  • A análise cruzada revela que modelos têm desempenho variado por domínio.
  • Domínios Mais Fáceis: Recuperação de Informação (D4) e Criação de Conteúdo (D7), onde os modelos atingem ~57%.
  • Domínios Mais Difíceis: Transações de Consumo (D1) e Moderação de Conteúdo (D2), com média de ~48%. Tarefas de transação exigem fluxos de estado complexos e planejamento de longo prazo.
• Impacto da Entrada Visual:
  • Remover screenshots (usando apenas DOM) causa uma queda consistente de 14-16 pontos percentuais na acurácia.
  • A lacuna aumenta com a dificuldade (até 20+ pontos no Nível 3), confirmando que o WebForge testa genuinamente a compreensão visual.
• Análise por Dimensão:
  • A dimensão Raciocínio/Cálculo é a que melhor separa modelos de ponta dos modelos mais fracos no Nível 3.
  • A Complexidade Visual apresenta a queda mais acentuada de L1 para L3, indicando que é um gargalo crítico.

---

5. Significado e Impacto

O WebForge representa um avanço significativo na avaliação de agentes de IA para a web:

• Diagnóstico Preciso: Ao invés de uma única pontuação, os pesquisadores podem agora identificar onde um modelo falha (ex: "bom em navegação, mas ruim em raciocínio visual").
• Escalabilidade para o Futuro: A capacidade de gerar milhares de tarefas rapidamente permite que os benchmarks evoluam junto com os modelos, evitando a estagnação causada pela deriva de conteúdo.
• Validação de Realismo: A injeção de ruído da web real e a validação em navegadores reais garantem que os resultados tenham maior correlação com o desempenho em cenários de produção, preenchendo a lacuna entre ambientes de teste "limpos" e a web caótica.
• Reprodutibilidade Científica: Ao fornecer ambientes estáticos e autossuficientes, o WebForge permite que a comunidade científica replique experimentos com precisão, algo difícil com benchmarks baseados em sites vivos.

Em resumo, o WebForge estabelece um novo padrão para a criação de benchmarks de agentes navegadores, oferecendo uma base robusta e escalável para medir e impulsionar o progresso da inteligência artificial autônoma na web.