Resumo Técnico: Onde Foi que Deu Errado? Avaliação em Nível de Processo de Agentes Web com Rastreamento de Estado Semântico

Declaração do Problema

Agentes web automatizam tarefas interativas complexas e de múltiplos passos, como compras, reservas e gestão de documentos. Diferente do seguimento de instruções de turno único, essas tarefas exigem sequências de interação longas que envolvem navegação, coleta de informações entre páginas e execução de ações dependentes. No entanto, os benchmarks existentes (ex: WebArena, Mind2Web, WebVoyaster) avaliam primariamente os agentes com base no sucesso terminal — um resultado binário indicando se o objetivo final da tarefa foi alcançado.

Esta visão baseada apenas no resultado comprime toda a trajetória de interação em um único resultado, obscurecendo modos de falha qualitativamente diferentes. Por exemplo, um agente que encontra o alvo correto, mas executa a ação final errada, recebe a mesma pontuação que um agente que sequer encontra o alvo. Consequentemente, o sucesso terminal fornece pouca informação acionável sobre onde o agente falhou, qual capacidade limitou o desempenho ou como melhorar habilidades de interação específicas. Ele falha em suportar a atribuição de crédito precisa para passos intermediários.

Metodologia: WEBSTEP e Dualidades de MDP Semântico

Para abordar essas limitações, os autores introduzem o WEBSTEP, um benchmark projetado para avaliação em nível de processo. A inovação central é a construção de cada website como um dual de Processo de Decisão de Markov (MDP) Semântico.

1. Arquitetura Dual de MDP Semântico

Em vez de depender de anotação manual ou alinhamento heurístico de ações de GUI, o WEBSTEP constrói cada website de modo que o MDP semântico seja a "fonte da verdade" para todo o comportamento:

• Construção Dual: O agente interage apenas com a Interface Gráfica do Usuário (GUI) renderizada. Simultaneamente, o benchmark rastreia as transições de estado semântico correspondentes subjacentes.
• Dinâmica Determinística: O frontend encaminha as ações de GUI (ex: cliques, digitação) para um modelo semântico. O modelo aplica transições de estado determinísticas, atualiza o estado interno e renderiza novamente a página com base nesse estado.
• Recuperação Automática de Trajetória: Como a GUI é renderizada diretamente do modelo semântico, a trajetória semântica completa é recuperada exatamente a partir das ações brutas de GUI sem intervenção manual.

2. Geração de Tarefas e Mundo

As tarefas são geradas combinando instruções em linguagem natural com um "mundo" (um conjunto de itens com atributos concretos).

• Negativos Difíceis (Hard Negatives): Para controlar a dificuldade, o sistema injeta itens "negativos difíceis" que compartilham atributos visíveis com o alvo em páginas de lista/busca, mas diferem em atributos visíveis apenas em páginas de detalhes. Isso força os agentes a navegar até as páginas de detalhes para discriminar os alvos.
• Trajetórias Oráculo: Como o MDP e os conjuntos de itens são totalmente especificados, uma trajetória ótima (oráculo) pode ser derivada estaticamente para cada tarefa, servindo como uma verdade fundamental para métricas de processo.

3. Estrutura de Avaliação de Nível de Processo

A estrutura decompõe o comportamento do agente em várias métricas derivadas automaticamente do traço do MDP semântico:

• Sucesso de Exploração: Se o agente isolou o item alvo correto antes de se comprometer.
• Sucesso de Execução: A taxa de sucesso condicionada estritamente à exploração bem-sucedida (isolando a habilidade de finalizar uma tarefa uma vez que o alvo é encontrado).
• Cobertura Informacional: A fração de atributos relevantes para a tarefa testemunhados pelo agente.
• Invocação de Habilidade: Mapeamento de ações para cinco categorias: Inspecionar, Navegar, Buscar, Filtrar e Comprometer (Commit).
• Análise de Bifurcação de Trajetória: Comparação de trajetórias bem-sucedidas e falhas para identificar a "primeira ação divergente" (o ponto de erro decisivo) e categorizar falhas como Ramo Errado, Comprometimento Atrasado ou Comprometimento Prematuro.

Principais Contribuições

1. Benchmark WEBSTEP: Um conjunto de dados de 1.800 instâncias de tarefas em 10 websites auto-hospedados (abrangendo domínios como e-commerce, habitação, codificação e produtividade). Cada tarefa é pareada com um dual de MDP semântico para rastreamento automático de estado.
2. Estrutura de Avaliação de Nível de Processo: Uma metodologia que decompõe o comportamento em exploração, execução e invocação de habilidades, permitindo a comparação de trajetórias em estados semânticos compartilhados para localizar modos de falha sem anotação manual.
3. Análise Empírica de Agentes Web: Uma avaliação abrangente de cinco agentes (Fara-7B, UI-TARS-1.5-7B, GUI-Owl-1.5-8B, Qwen3.5-122B e OpenAI CUA) revelando que as taxas de sucesso terminal frequentemente mascaram diferenças comportamentais significativas.

Resultados e Descobertas

Os autores avaliaram cinco agentes, descobrindo que, embora os modelos menores se agrupassem em uma faixa estreita de sucesso terminal (31–33%), as métricas de nível de processo revelaram perfis comportamentais distintos:

1. O Sucesso Terminal Esconde Diferenças Comportamentais:

   • O UI-TARS mostrou maior sucesso de exploração, mas menor sucesso de execução, indicando que encontra os alvos, mas tem dificuldade com a ação final.
   • O Fara exibiu o menor número de passos e cobertura de informação, sugerindo um comportamento sub-exploratório.
   • OpenAI CUA e Qwen3.5 tiveram melhor desempenho tanto em exploração quanto em execução, com o CUA mostrando maior eficiência.

2. Fraquezas Específicas de Habilidade:

   • Os agentes exibem perfis de habilidades distintos. Por exemplo, no domínio de Habitação (Housing), o OpenAI CUA superou o Qwen3.5 em 23,7% nas ações de Comprometer (Commit), mas teve desempenho inferior em 15,6% nas ações de Filtrar (Filter).
   • Isso demonstra que a fraqueza de um agente pode estar concentrada em uma habilidade de interação específica dentro de um único domínio, o que pontuações de nível de website obscureceriam.

3. Localização de Erro Decisivo:

   • A análise de bifurcação mostrou que o passo onde os agentes divergem pela primeira vez do caminho ideal varia por modelo.
   • O GUI-Owl falhou mais frequentemente no passo de Filtrar.
   • O Qwen3.5 e outros falharam mais frequentemente no passo de Inspecionar (abrir a página do item errado).
   • Comprometimento Prematuro: Muitos agentes (ex: Fara) frequentemente pularam o passo de Inspecionar, comprometendo-se com um alvo antes de reunir evidências suficientes, levando a falhas em negativos difíceis.

4. Sensibilidade à Complexidade:

   • À medida que a complexidade da tarefa aumentava (medida pelo número de negativos difíceis, comprimento da trajetória oráculo e nível de acesso à informação), a lacuna de desempenho entre os agentes aumentava.
   • Em tarefas fáceis, os agentes performavam de forma semelhante; em tarefas complexas que exigiam exploração profunda, o OpenAI CUA mantinha o desempenho enquanto outros degradavam significativamente.

Significância e Alegações

O artigo afirma que o WEBSTEP abre um novo caminho na avaliação de agentes web ao mudar o foco de classificar agentes com base em resultados terminais para diagnosticar como e onde eles falham.

• Insights Acionáveis: Ao identificar déficits de habilidades específicas (ex: filtragem ruim vs. comprometimento ruim) e padrões de falha (ex: comprometimento prematuro), a estrutura fornece alvos concretos para melhoria, como treinamento em tipos de interação específicos ou ajuste de estratégias de exploração.
• Diagnóstico sobre Classificação: Os autores argumentam que a avaliação de nível de processo transforma a avaliação de um sistema de classificação de caixa-preta em uma ferramenta de diagnóstico que pode desmembrar falhas de exploração de falhas de execução.
• Reprodutibilidade: A natureza determinística dos MDPs semânticos garante que a dinâmica do ambiente e os resultados de verificação sejam totalmente reproduzíveis, abordando uma limitação fundamental dos benchmarks de web viva.

O trabalho conclui que o sucesso terminal sozinho é insuficiente para entender as capacidades dos agentes e que uma análise de nível de processo detalhada é necessária para guiar o desenvolvimento de agentes web mais robustos.