WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

O artigo apresenta o WARC-Bench, um novo benchmark que utiliza arquivos Web ARChive para avaliar agentes de IA multimodais em subtarefas complexas de interfaces gráficas, demonstrando que, embora os modelos de ponta atuais enfrentem dificuldades, os modelos de código aberto melhoram significativamente por meio de ajuste fino supervisionado e aprendizado por reforço com recompensas verificáveis, alcançando desempenho competitivo.

O essencial

Imagine que você está ensinando um robô a usar um computador. A maioria dos testes anteriores pedia ao robô para fazer uma de duas coisas: ou apontar para um único botão na tela ("Clique no botão vermelho") ou planejar uma jornada massiva e complexa ("Reserve férias para uma família de quatro, incluindo voos, hotéis e aluguel de carros, tudo abaixo de 2.000 dólares").

Os autores deste artigo perceberam que havia uma enorme lacuna no meio. Eles notaram que, antes de um robô poder reservar aquelas férias, ele precisa dominar os pequenos e complicados passos intermediários: rolar uma lista para encontrar uma data específica, arrastar um controle deslizante para ajustar um orçamento ou preencher um formulário sem apagar acidentalmente o texto já existente. Eles chamam esses passos de "subtarefas de GUI".

Aqui está uma explicação simples de seu trabalho, o WARC-Bench:

1. O Problema: O "Meio Faltante"

Pense em uma tarefa web complexa como assar um bolo.

• Ancoragem Visual: "Pegue o ovo." (Muito simples).
• Navegação de Longo Alcance: "Asse um bolo, cubra-o com glacê e entregue-o em uma festa." (Muito complexo, muitas variáveis).
• O Meio Faltante: "Quebre o ovo na tigela sem deixar cair cascas" ou "Bata a massa até ficar homogênea".

Os autores argumentam que os robôs de IA atuais estão falhando nessas "etapas do meio". Eles podem saber o que é um bolo, mas lutam com os mecanismos específicos e delicados das ferramentas da cozinha.

2. A Solução: Uma Cozinha de Testes que "Viaja no Tempo"

Para testar esses robôs, a equipe construiu o WARC-Bench.

Geralmente, testar robôs na internet real é caótico. Sites mudam, pop-ups aparecem e servidores caem. Para corrigir isso, a equipe usou arquivos WARC (Arquivos Web).

• A Analogia: Imagine tirar uma foto perfeita e congelada de um site em um momento específico, incluindo todos os seus botões, scripts e imagens. Você coloca essa foto em uma "cápsula do tempo".
• Como funciona: Quando testam um robô, eles não o enviam para a internet ao vivo. Eles o enviam para dentro dessa "cápsula do tempo". O robô interage com essa cópia congelada e perfeita do site. É como um simulador de voo para navegadores web: seguro, repetível e exatamente o mesmo a cada vez.

Eles criaram 438 "mini-desafios" diferentes nesse simulador, como "Selecione 21 de março no calendário" ou "Role para baixo para encontrar o preço".

3. Os Resultados: Até os Robôs "Mais Inteligentes" Lutam

Eles testaram os modelos de IA mais avançados do mundo (como Claude 4.0 e GPT-5) nesses mini-desafios.

• O Choque de Realidade: Mesmo os robôs mais inteligentes acertaram apenas cerca de 65% dessas tarefas simples.
• A Analogia: É como dar a um humano brilhante um teste onde ele precisa amarrar um nó específico ou preencher um formulário de impostos. Mesmo pessoas inteligentes cometem erros se as instruções forem complicadas ou a interface for confusa. Os robôs estão falhando em "ler o ambiente" do site.

4. O Conserto: Treinamento com "Jogos de Vídeo"

Os autores quiseram ver se podiam ensinar robôs de código aberto (que geralmente são mais fracos) a melhorar. Eles usaram dois métodos de treinamento:

1. Ajuste Fino Supervisionado (SFT): Mostrar ao robô milhares de exemplos de humanos realizando essas tarefas com sucesso, como mostrar a um aluno um problema de matemática resolvido.
2. Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Isso é como um jogo de vídeo. Eles deixam o robô tentar a tarefa. Se ele tiver sucesso, ganha um "ponto" (recompensa). Se falhar, ganha zero pontos. O robô aprende jogando milhares de partidas, percebendo: "Ah, cliquei no botão errado da última vez, não devo fazer isso novamente".

O Resultado:
Ao usar esse método de treinamento de "jogo de vídeo" em sites sintéticos (falsos, mas realistas), seu modelo de código aberto saltou de uma pontuação baixa para 52,3%. Isso é impressionante porque superou muitos dos "super-cérebros" caros e de código fechado nessas tarefas específicas.

5. Por Que Isso Importa

O artigo conclui que, se você quer que um robô seja bom nos grandes e complexos trabalhos (como reservar aquelas férias), primeiro você precisa garantir que ele seja bom nos pequenos e chatos trabalhos (como clicar na data correta).

Eles descobriram que a capacidade de um robô de lidar com essas subtarefas pequenas e específicas é um preditor muito forte de quão bem ele lidará com as grandes e complexas tarefas. Se um robô não consegue navegar em um menu suspenso, provavelmente não conseguirá planejar uma viagem.

Em resumo: Os autores construíram um playground seguro e congelado no tempo para testar quão bem os robôs conseguem lidar com os pequenos e complicados detalhes de usar um site. Eles descobriram que até os melhores robôs são ruins nesses detalhes, mas podem ser treinados para ficar muito melhores jogando "jogos de vídeo" onde ganham pontos por fazerem o correto.

Resumo técnico

Resumo Técnico: WARC-Bench

Definição do Problema

O artigo identifica uma lacuna crítica na avaliação de agentes web autônomos. Os benchmarks existentes geralmente focam em dois extremos: fundamentação visual de passo único (mapeamento de texto para coordenadas de pixel) ou tarefas complexas de navegação web de longo horizonte (por exemplo, comprar um item na Amazon). O nível intermediário de complexidade — subtarefas de GUI — permanece amplamente não abordado. Essas subtarefas são fluxos de trabalho de curto horizonte consistindo em múltiplas ações primitivas de interface do usuário (por exemplo, selecionar uma data específica em um seletor de datas, rolar um contêiner para extrair dados ou interagir com um menu suspenso) que constituem uma única instrução funcional dentro de uma sessão de navegação maior.

Os autores argumentam que dominar essas subtarefas é essencial para um planejamento e navegação web robustos, mas os benchmarks atuais falham em avaliar essa capacidade efetivamente. Além disso, os benchmarks de longo horizonte existentes frequentemente carecem da diversidade e das capacidades de teste de estresse necessárias para isolar e diagnosticar falhas em componentes específicos de interação.

Metodologia

Construção do WARC-Bench

Os autores apresentam o WARC-Bench (Web Archive Benchmark), um novo benchmark projetado para avaliar agentes de IA multimodais na execução de subtarefas.

• Ambiente: O benchmark utiliza arquivos Web ARChive (WARC) para criar ambientes web interativos em sandbox. Esses arquivos capturam o estado completo de um site (HTML, CSS, JavaScript, imagens, cabeçalhos HTTP), permitindo replay de alta fidelidade dentro de um navegador baseado em Chromium (via Playwright). Essa abordagem garante isolamento de tarefas, previne operações de gravação no mundo real e permite avaliação rápida e escalável.
• Composição do Conjunto de Dados: O benchmark compreende 438 tarefas divididas em:
  • Conjunto de Teste: 200 tarefas derivadas exclusivamente de sites do mundo real (por exemplo, GitHub, Zoho Desk, Kaiser Permanente).
  • Conjunto de Desenvolvimento: 238 tarefas (60 reais, 178 sintéticas).
  • Conjunto de Treinamento: 1.059 tarefas sintéticas geradas via um pipeline baseado em LLM para criar widgets de UI diversos e objetivos de tarefa.
• Categorias de Tarefas: As tarefas cobrem 15 categorias, incluindo seletores de datas, preenchimento de formulários, manipulação de tabelas, arrastar e soltar, e extração de dados.
• Avaliação: Cada tarefa inclui uma função de recompensa determinística e programática (correspondentes JS, URL, String ou JSON) para verificar a conclusão da tarefa independentemente da trajetória específica do agente.

Design e Treinamento do Agente

Os autores propõem o Agente de Visão de Subtarefa (SVA), um design de agente generalista que depende exclusivamente de capturas de tela para observação, evitando dependência de árvores de acessibilidade ou DOM HTML que podem ser redundantes ou exceder limites de contexto.

• Espaço de Ações: O agente opera em uma API mínima de oito ações: clicar, completar, arrastar_e_soltar, passar_o_mouse, pressionar_tecla, rolar, digitar e aguardar.
• Estratégia de Treinamento: Para melhorar modelos de código aberto (especificamente a família Qwen2.5-VL), os autores empregam um pipeline de treinamento em duas etapas:
  1. Ajuste Fino Supervisionado (SFT): Destilação a partir de trajetórias geradas por modelos "professores" fortes (incluindo modelos de fronteira) em um conjunto de dados de ~12k trajetórias únicas.
  2. Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Aplicação de Otimização de Política Proximal (PPO) sobre checkpoints de SFT usando o conjunto de treinamento sintético do WARC-Bench. O agente recebe uma recompensa de 10 para trajetórias bem-sucedidas e 0 para falhas ou tempos esgotados.

Principais Resultados

Desempenho do Benchmark

O WARC-Bench prova ser desafiador mesmo para modelos de fronteira de última geração:

• O Claude-4.0-Sonnet da Anthropic alcançou a maior taxa de sucesso entre os modelos avaliados, com 64,8% no conjunto de teste.
• O GPT-5 da OpenAI alcançou 51,3%.
• Modelos de código aberto (por exemplo, Qwen2.5-VL-72B) inicialmente ficaram significativamente atrás, com 37,3%.

Impacto das Técnicas de Treinamento

O pipeline de treinamento proposto reduziu significativamente a lacuna entre modelos de código aberto e fechados:

• SFT: Melhorou o modelo Qwen2.5-VL-72B de 37,3% para 48,3%.
• RLVR: Melhorou ainda mais o modelo Qwen2.5-VL-72B para 52,3%, superando muitos modelos fechados de fronteira e estabelecendo um novo estado da arte para agentes de código aberto neste benchmark.
• Eficiência: Os modelos treinados com RLVR demonstraram melhoria na exploração (aumento da rolagem), redução de cliques redundantes e comprimentos de trajetória mais curtos (aproximadamente 0,94 passos a menos por tarefa) em comparação com baselines apenas de SFT.

Análise Comparativa

• Correlação com Tarefas de Longo Horizonte: Diferentemente de benchmarks como ScreenSpot V2 ou MiniWoB++, o desempenho no WARC-Bench correlaciona-se mais fortemente com capacidades de navegação de longo horizonte (medidas no WebArena).
• Agentes Hierárquicos: O artigo demonstra que decompor tarefas de longo horizonte em subtarefas usando um Planejador (por exemplo, Claude-4.0-Sonnet) e um Executor (por exemplo, o Qwen2.5-VL-72B-RLVR treinado) melhora significativamente o desempenho no WebArena-Lite (de 16,17% para 24,63% para agentes baseados em Qwen), validando a utilidade de modelos especializados em subtarefas.

Significado e Alegações

O artigo alega que o WARC-Bench preenche uma lacuna crítica no cenário de pesquisa de agentes de GUI, fornecendo um ambiente de alta fidelidade, escalável e em sandbox para avaliar subtarefas de curto horizonte. Os autores afirmam que:

1. Domínio de Subtarefas é Pré-requisito: Executar com sucesso subtarefas é uma capacidade fundamental necessária para navegação web robusta de longo horizonte, uma capacidade não extensivamente avaliada pelos benchmarks existentes.
2. Eficácia do Treinamento: Dados sintéticos combinados com SFT e RLVR podem permitir que modelos de código aberto alcancem desempenho competitivo e, em alguns casos superior, aos modelos fechados de fronteira em interações web realistas.
3. Valor Diagnóstico: O benchmark serve como um teste de estresse para capacidades específicas do agente (por exemplo, fundamentação visual em widgets complexos, manipulação de UIs dinâmicas como seletores de datas) que frequentemente causam falhas em sistemas maiores.

O trabalho conclui que o WARC-Bench oferece um caminho único para avançar agentes generalistas de uso de computador, melhorando sistematicamente a camada intermediária de execução de subtarefas.