Safe and Scalable Web Agent Learning via Recreated Websites

1. O Problema

O treinamento de agentes autônomos para interagir com a web enfrenta três obstáculos fundamentais ao utilizar ambientes reais:

1. Insegurança e Restrições: A exploração direta em sites do mundo real pode interferir em outros usuários, violar políticas de plataformas ou ser bloqueada por mecanismos de segurança (como CAPTCHAs e Cloudflare).
2. Dificuldade de Reset: Ambientes reais são difíceis de redefinir para estados iniciais, o que impede a repetição controlada de experimentos.
3. Falta de Feedback Verificável: Tarefas geradas automaticamente muitas vezes são mal especificadas. A avaliação tradicional depende de "Juízes baseados em LLM" (LLM-as-a-Judge), que são propensos a erros, alucinações e falta de determinismo, tornando o sinal de recompensa não confiável e instável para o aprendizado por reforço.

2. Metodologia: O Framework VERIENV

Os autores propõem o VERIENV, um framework que trata modelos de linguagem (LLMs) como criadores de ambiente. Em vez de treinar agentes diretamente na web real, o VERIENV clona sites do mundo real em ambientes sintéticos totalmente executáveis e verificáveis.

O processo é dividido em três etapas principais:

A. Reconstrução de Websites (Clonagem)

• Um agente de codificação (utilizando GPT-5.2 e ferramentas como Cursor CLI e Playwright MCP) recebe capturas de tela de um site real.
• O agente recria o serviço em um ambiente sintético, gerando:
  • Código de Aplicação (C): Frontend e lógica de backend.
  • Estado do Banco de Dados (D): Dados persistentes e estruturados.
  • SDK em Python (P): Uma interface de programação que concede acesso interno controlado ao ambiente, permitindo consultas e verificações de estado que não seriam possíveis apenas via interface visual.
• O processo inclui um ciclo iterativo de depuração onde o agente testa o site clonado, identifica discrepâncias funcionais ou visuais e aplica correções até que o ambiente seja estável e redefinível.

B. Geração de Tarefas e Juízes Verificáveis

• Com o ambiente sintético e o SDK em Python, o sistema gera tarefas instruídas em linguagem natural.
• Diferencial Crítico: Cada tarefa é acompanhada por um programa de validação executável (escrito em Python usando o SDK).
• Ao final de uma interação do agente, o programa de validação verifica o estado do banco de dados ou a resposta da API para determinar se a tarefa foi concluída com sucesso.
• Isso elimina a necessidade de juízes baseados em LLM, substituindo-os por sinais de recompensa determinísticos e verificáveis.

C. Aprendizado do Agente (Self-Evolving)

• Os agentes são treinados dentro desses ambientes sintéticos.
• O ciclo de aprendizado envolve:
  1. O agente interage com o site clonado para resolver uma tarefa.
  2. A trajetória é avaliada pelo validador Python (SDK).
  3. Se a validação for bem-sucedida, a trajetória é usada para fine-tuning (ajuste fino) do modelo.
• Isso permite um ciclo de auto-evolução, onde o agente gera novos desafios, interage e aprende com base em recompensas confiáveis, sem intervenção humana.

3. Contribuições Principais

1. Framework VERIENV: Uma arquitetura que automatiza a reconstrução de sites reais em ambientes sintéticos executáveis com acesso interno (SDK), permitindo a geração de tarefas com validação determinística.
2. Segurança e Escalabilidade: Desacopla o aprendizado do agente da interação perigosa com a web real, permitindo a expansão escalável do número de ambientes de treinamento sem riscos de violação de políticas ou danos a dados reais.
3. Análise de Generalização e Domínio Específico: Demonstra que agentes treinados no VERIENV não apenas generalizam para sites não vistos, mas também alcançam maestria específica em um site através de treinamento repetido em seu clone.

4. Resultados Experimentais

Os autores avaliaram o VERIENV em dois cenários principais:

• Generalização Cross-Domain (WebArena e Mind2Web-Online):

  • Agentes treinados com VERIENV superaram consistentemente os modelos base (Qwen3-4B e LLaMA-3.2-3B-Instruct) e outras abordagens de fine-tuning (como Synatra e ADP).
  • Ganhos de Performance: No WebArena, houve um aumento de +6,06 pontos (Qwen) e +9,09 pontos (LLaMA) nas taxas de sucesso em comparação aos modelos base.
  • No Mind2Web-Online, o VERIENV mostrou ganhos significativos, especialmente em tarefas de dificuldade média e alta, demonstrando melhor generalização para sites não vistos.

• Maestria Específica do Site (Site-Specific Mastery):

  • Ao treinar repetidamente em um único ambiente clonado, os agentes mostraram melhoria contínua e estável ao longo das fases de auto-evolução.
  • O VERIENV superou a abordagem PAE (Proposer-Agent-Evaluator), que usa juízes baseados em visão e linguagem, demonstrando que a verificabilidade é crucial para o progresso estável.

• Escala de Ambiente:

  • A análise mostrou que o desempenho do agente melhora à medida que o número de ambientes de treinamento (sites clonados) aumenta, indicando que a diversidade do ambiente é um fator chave para o aprendizado robusto.

5. Significado e Impacto

• Mudança de Paradigma: O trabalho propõe uma mudança de "interação direta com a web" para "treinamento em clones verificáveis". Isso resolve o problema da escassez de dados de treinamento de alta qualidade e segura.
• Confiabilidade: Ao substituir juízes heurísticos ou baseados em LLM por validadores executáveis (código), o framework fornece um sinal de recompensa confiável, essencial para o treinamento de agentes autônomos complexos.
• Segurança: Permite a pesquisa de agentes autônomos sem o risco de spam, violação de termos de serviço ou danos a dados reais, executando tudo em um ambiente isolado (sandbox).
• Reprodutibilidade: Oferece uma base sólida para estudos futuros sobre auto-evolução de agentes, onde os resultados podem ser reproduzidos e auditados com precisão.

Em resumo, o VERIENV demonstra que a recriação de ambientes web com validação interna é uma via prática e escalável para treinar agentes web robustos, seguros e capazes de generalizar para tarefas do mundo real.