StressWeb: A Diagnostic Benchmark for Web Agent Robustness under Realistic Interaction Variability

1. O Problema

Agentes web baseados em Grandes Modelos de Linguagem (LLMs) têm demonstrado desempenho impressionante em tarefas complexas de interação web, como preenchimento de formulários e compras online. No entanto, a avaliação atual desses agentes ocorre predominantemente em ambientes estáveis e bem comportados (benchmarks "limpos").

O problema central identificado é que o alto sucesso em cenários idealizados não reflete a robustez necessária para interações web reais. No mundo real, as interfaces web apresentam variabilidade significativa, incluindo:

• Respostas assíncronas e atrasos.
• Atualizações falhas ou demoradas.
• Interrupções inesperadas (pop-ups).
• Mudanças de layout e semântica de interação.

Essas variabilidades desafiam a percepção, seleção de ações e execução dos agentes de formas raramente testadas nos benchmarks padrão, levando a uma superestimação da capacidade dos agentes de lidar com falhas e adaptações dinâmicas.

2. Metodologia: StressWeb

Para abordar essa lacuna, os autores propõem o StressWeb, um benchmark de stress-testing diagnóstico. A metodologia baseia-se na construção de ambientes web controlados que simulam variabilidade realista através de perturbações estruturadas.

A. Construção do Ambiente

• Ambientes de Referência (Clean): Os autores criaram 10 sites funcionais cobrindo diversos domínios (e-commerce, agendamentos, e-mail, etc.) com 149 tarefas. Esses ambientes são gerados de forma automatizada, mas controlada, garantindo fluxos de interação estáveis e determinísticos como linha de base.
• Pipeline de Interação: A interação do agente é decomposta em três estágios:
  1. Percepção: Observação da interface.
  2. Seleção de Ação: Escolha da ação baseada na semântica aprendida.
  3. Execução: Realização da ação e atualização do estado.

B. Mecanismos de Perturbação

O benchmark introduz perturbações controladas em cada estágio para simular variabilidade real:

1. Perturbações de Percepção:
   • Chaos (Caos): Alterações visuais (tamanho de texto, rotação, deslocamento posicional).
   • Noise (Ruído): Redundância estrutural no DOM, elementos ocultos ou isca, e codificação leve de conteúdo.
2. Perturbações Semânticas:
   • Alteram as regras de interação sem mudar a interface visual.
   • RemapE (Explícito): Instruções textuais indicam que um clique simples agora requer um clique duplo.
   • Remap (Implícito): Nenhuma instrução é dada; o agente deve inferir a nova regra (clique duplo) através do feedback de interação (o clique simples apenas seleciona, não navega).
3. Perturbações de Execução:
   • Failure (Falha): Ações (cliques ou entrada de texto) falham aleatoriamente.
   • Pop-Up: Janelas de interrupção disruptivas que exigem que o agente lide com a interrupção antes de prosseguir.

C. Avaliação Determinística

Diferente de avaliações que dependem apenas do resultado final, o StressWeb utiliza scripts de verificação em múltiplos checkpoints. Isso permite atribuir falhas a estágios específicos da interação (percepção, decisão ou execução) e oferece uma análise granular do comportamento do agente.

3. Contribuições Principais

1. Benchmark Diagnóstico: Introdução de um framework que avalia a robustez de agentes web sob condições de interação irregulares, indo além da simples taxa de sucesso.
2. Mecanismos de Perturbação Alinhados a Estágios: Design de perturbações que isolam e testam especificamente a robustez na percepção, seleção de ações e execução.
3. Descoberta de Falhas Ocultas: Demonstração de que benchmarks "limpos" escondem modos de falha críticos e lacunas de robustez que só se tornam aparentes sob estresse ambiental.

4. Resultados Experimentais

Os autores avaliaram vários agentes multimodais de última geração (incluindo Gemini, GPT-5, Claude, Qwen e GLM) e uma linha de base humana.

• Queda de Desempenho: Enquanto os agentes atingem taxas de sucesso entre 46% e 61% em ambientes limpos, o desempenho cai drasticamente (para 26%–50%) sob perturbações.
• Sensibilidade às Perturbações Semânticas: A degradação mais severa ocorre nas perturbações semânticas (especialmente Remap, onde a regra é implícita). A taxa de sucesso cai para cerca de 26%, indicando que os agentes dependem excessivamente de priors de interação aprendidos e falham em adaptar-se quando essas regras mudam.
• Falhas de Autoavaliação: Os agentes exibem uma miscalibração severa. Eles frequentemente relatam sucesso ("DONE") mesmo quando falharam, especialmente sob perturbações semânticas. A razão entre sucesso declarado e real chega a ser 5,3 vezes maior sob certas condições, indicando uma confiança excessiva e incapacidade de detectar erros.
• Padrões de Falha:
  • Colapso Precoce: Agentes terminam a tarefa prematuramente com menos passos devido a suposições incorretas.
  • Exploração Ineficiente: Agentes ficam presos em loops de repetição de ações idênticas (até 92 repetições consecutivas) sem adaptar a estratégia.
• Comparação Humana: Humanos mantiveram quase 100% de sucesso em todos os cenários com aumento mínimo de passos, provando que a dificuldade da tarefa não aumentou, mas sim a incapacidade dos agentes de se adaptarem.

5. Significado e Implicações

O trabalho do StressWeb tem implicações profundas para o desenvolvimento e implantação de agentes web:

• Robustez como Dimensão Crítica: O sucesso em benchmarks estáticos não garante confiabilidade no mundo real. A robustez deve ser tratada como uma dimensão de avaliação de primeira classe.
• Necessidade de Adaptação Online: Os agentes atuais carecem de mecanismos eficazes para inferir regras de interação alteradas e corrigir estratégias em tempo real.
• Risco de Falhas Silenciosas: A tendência de os agentes reportarem sucesso mesmo quando falham (devido à falta de autoavaliação confiável) representa um risco crítico para a implantação em produção, podendo levar a erros sistêmicos não detectados.
• Direção Futura: O estudo sugere que futuras pesquisas devem focar em melhorar a adaptação online, a detecção de falhas e a calibração da autoavaliação em ambientes dinâmicos e perturbados.

Em resumo, o StressWeb revela que, embora os agentes web modernos sejam capazes, eles são frágeis e dependem de ambientes previsíveis, exigindo novas abordagens para garantir sua confiabilidade em cenários reais e caóticos.