Resumo Técnico: WEBLICA - Ambientes de Treinamento Escaláveis e Reprodutíveis para Agentes Web Visuais

Declaração do Problema

O desenvolvimento de agentes web visuais autônomos enfrenta um gargalo crítico: a incapacidade de escalar dados e ambientes de treinamento mantendo a reprodutibilidade. A web é inerentemente complexa, aberta e em constante evolução. Abordagens existentes sofrem de limitações significativas:

• Trajetórias Offline: Métodos baseados em ajuste fino supervisionado (SFT) com trajetórias offline geradas por humanos ou modelos carecem da natureza interativa necessária para lidar com a estocasticidade da web.
• Ambientes Simulados: Ambientes simulados atuais (por exemplo, WebArena) cobrem apenas um punhado de domínios definidos manualmente, limitando a generalização à diversidade da web real.
• Treinamento na Web Ao Vivo: O treinamento diretamente em sites ao vivo é instável devido a timeouts, detecção de bots e à incapacidade de realizar ablações controladas ou garantir condições de treinamento reprodutíveis à medida que os sites mudam ao longo do tempo.

O desafio central é como escalar ambientes web interativos para capturar a diversidade da web sem sacrificar a reprodutibilidade necessária para treinamento e avaliação rigorosos.

Metodologia

Os autores propõem o WEBLICA (Web Replica), um framework projetado para construir ambientes web reprodutíveis e escaláveis para o treinamento de agentes web visuais. O framework opera em dois mecanismos complementares para gerar ambientes de treinamento offline diversos:

1. Cache em Nível HTTP (Weblica-Cache)

Este mecanismo captura e reproduz interações de sites do mundo real com alta fidelidade.

• Gravação: Usando Playwright, o sistema grava sessões de navegação, capturando todas as requisições e respostas HTTP.
• Tratamento de Parâmetros Voláteis: Uma inovação chave é a identificação e normalização automatizadas de parâmetros voláteis (por exemplo, carimbos de data/hora, tokens de sessão) que causam falhas no cache durante a reprodução. O sistema utiliza um pipeline de normalização baseado em regras para filtrar esses parâmetros de URLs, cabeçalhos e corpos de POST.
• Reprodução: Ao remover parâmetros voláteis, o sistema permite a reprodução determinística de interações web complexas e dinâmicas sob isolamento de rede completo.
• Escala: Aproveitando o conjunto de dados InstaV3, os autores mapearam tarefas para ambientes em cache, retendo 15.600 ambientes e tarefas em cache verificados.

2. Síntese de Ambiente Baseada em LLM (Weblica-Synth)

Para abordar as limitações do cache (que é restrito a domínios onde gravações estáveis existem) e gerar capacidades interativas específicas, os autores empregam um pipeline de síntese automatizado.

• Extração de Capacidades: O sistema analisa trajetórias bem-sucedidas e falhas de um agente Qwen3-VL-32B para extrair 19.721 capacidades de interação web granulares, agregadas em 144 grupos de capacidades de nível superior (por exemplo, envio de formulários, autenticação, filtragem dinâmica).
• Geração: Usando agentes de codificação (Claude Code), o sistema gera ambientes web estáticos e autocontidos (HTML, CSS, JavaScript) sem dependências de frameworks externos.
  • Parâmetros: A geração é condicionada a um grupo de capacidade alvo, uma categoria de site (amostrada de 1.160 domínios como bancos, viagens, etc.) e um estilo visual (amostrado de 961 opções).
  • Ativos: Ativos visuais (imagens, banners) são gerados usando Z-Image-Turbo.
  • Gerenciamento de Estado: Como os ambientes são estáticos, interações com estado (por exemplo, carrinhos de compras) são gerenciadas via localStorage do JavaScript.
• Validação: Sites gerados passam por auto-validação iterativa via capturas de tela do Playwright para garantir funcionalidade e ausência de problemas de CSS.
• Escala: O pipeline gerou 2.500 sites sintéticos cobrindo 44.227 tarefas para treinamento (Weblica-train) e 250 sites para validação (Weblica-val).

Formulação e Treinamento do Agente

• Observação e Ação: O agente opera puramente com entrada visual (capturas de tela de 1280x720 + URL) e prevê ações baseadas em coordenadas (clique, hover) sem depender de estruturas DOM ou sobreposições de "conjunto de marcas", que podem prejudicar a generalização.
• Política: A política segue um framework estilo ReAct, onde um modelo de linguagem visual (VLM) produz um rastro de raciocínio antes de selecionar uma ação.
• Pipeline de Treinamento:
  1. Início Quente SFT: O modelo base (Qwen3-VL-Instruct) é ajustado finamente em 51,7 mil trajetórias bem-sucedidas verificadas.
  2. Treinamento RL: O modelo passa por Aprendizado por Reforço usando Dr. GRPO (Otimização de Política Relativa em Grupo).
  3. Mecanismo de Recompensa: Um LLM como Juiz (GPT-4o) avalia o sucesso da tarefa com base na descrição da tarefa, sequência de ações e capturas de tela resultantes, permitindo treinamento em tarefas abertas que carecem de verificação programática.

Resultados Chave

Os autores avaliaram seu melhor modelo, WEBLICA-8B, contra baselines de pesos abertos e agentes baseados em API em múltiplos benchmarks.

• Desempenho em Benchmarks Ao Vivo: No benchmark Online-Mind2Web, o WEBLICA-8B alcançou 39,2% de pass@1 com apenas 30 passos. Isso supera as baselines de pesos abertos de tamanho similar (por exemplo, MolmoWeb-8B em 35,3% com ≥100 passos) e utiliza significativamente menos passos de inferência.
• Escalabilidade no Tempo de Teste: O modelo escala favoravelmente com computação adicional. Com 240 passos totais (pass@8), o WEBLICA-8B atingiu 68,9% de precisão, aproximando-se do desempenho de modelos baseados em API como Gemini CUA (60,8% em 100 passos).
• Comparação com Baselines:
  • O WEBLICA-8B (30 passos) superou o Qwen3-VL-8B base em 10,8 pontos percentuais em média em benchmarks ao vivo.
  • Ele superou a melhor baseline de pesos abertos (MolmoWeb-8B) usando 40% menos passos totais (60 passos vs. ≥100).
• Preservação de Ancoragem: Apesar do treinamento em dados sem supervisão explícita de ancoragem, o WEBLICA-8B manteve ou melhorou ligeiramente o desempenho em benchmarks de ancoragem de UI (MMBench-GUI, ScreenSpot-v2, ScreenSpot-Pro) em comparação com o modelo base, indicando que os ganhos derivam de comportamento de navegação aprimorado e não de degradação da ancoragem visual.
• Estudos de Ablaçã:
  • Composição do Ambiente: Ambientes sintetizados geralmente superaram ambientes apenas em cache em benchmarks complexos como Online-Mind2Web e WebTailBench.
  • Estágios de Treinamento: A combinação de SFT e RL forneceu os melhores resultados em todos os tamanhos de modelo (2B, 4B, 8B), com o RL proporcionando ganhos significativos sobre o SFT isolado.

Significado e Alegações

O artigo afirma que o WEBLICA fornece uma alternativa escalável e reprodutível ao treinamento na web ao vivo, efetivamente fechando a lacuna entre a diversidade da web real e a estabilidade necessária para Aprendizado por Reforço em grande escala.

• Escalabilidade: Ao combinar cache HTTP com síntese baseada em LLM, o framework gera milhares de ambientes diversos, superando as limitações de domínio de ambientes simulados anteriores.
• Reprodutibilidade: O framework elimina latência de rede, timeouts e problemas de detecção de bots, permitindo treinamento e avaliação controlados e determinísticos.
• Eficiência: A abordagem demonstra que agentes web visuais de alto desempenho podem ser treinados sem depender de demonstrações humanas em grande escala ou modelos de API caros, alcançando resultados competitivos com significativamente menos passos de inferência.
• Generalização: A capacidade de treinar em ambientes sintéticos que capturam habilidades centrais de navegação enquanto mantêm a ancoragem visual sugere um caminho viável para agentes de uso de computador generalistas.

Os autores reconhecem limitações, observando que ambientes em cache são instantâneos estáticos e que ambientes sintéticos podem não capturar totalmente a complexidade de aplicações dinâmicas do mundo real (lacuna sim-real). Eles também notam o foco atual em tarefas de turno único, enquanto o uso no mundo real frequentemente envolve sessões de múltiplos turnos e interações com humanos no loop.