Resumo Técnico: Quando Agentes Web Terminam, mas Ainda Falham

Declaração do Problema

Agentes web de longo horizonte estão sendo cada vez mais avaliados em tarefas que exigem navegação, coleta de informações e raciocínio sobre sites reais. No entanto, as métricas de avaliação padrão frequentemente mascaram um modo de falha crítico: os agentes podem emitir com sucesso uma resposta final bem estruturada e encerrar a tarefa com confiança, enquanto ainda falham na tarefa principal. Esses cenários de "terminar-mas-falhar" incluem a omissão de campos obrigatórios, a inclusão excessiva de itens não suportados ou a dependência de evidências obsoletas.

Ao contrário das tarefas sequenciais de recuperação de resposta única comuns em benchmarks existentes (ex: WebWalkerQA, WebSailor), tarefas web realistas frequentemente exigem exploração web paralela. Neste cenário, um agente deve decompor uma consulta em múltiplos subobjetivos, recuperar informações de fontes díspares (ex: diferentes subpáginas de um site de conferência) e agregar essas informações em uma saída estruturada. Os métodos de avaliação atuais, que muitas vezes dependem de conclusão binária ou precisão da resposta final, falham em capturar a nuance de agentes que completam o loop de interação, mas produzem respostas estruturadas factualmente incompletas ou incorretas.

Metodologia

Construção do Benchmark: Parallel WebBench

Para abordar a falta de dados de avaliação para exploração paralela, os autores introduzem o Parallel WebBench, um benchmark contendo 1.679 registros verificados. O conjunto de dados é construído através de duas pipelines:

1. Curadoria Manual (350 tarefas): URLs raiz são convertidas em perguntas de múltiplos campos que exigem evidências de múltiplas subpáginas. Anotadores humanos verificam a capacidade de resposta, registram etapas sequenciais, o grau máximo de paralelismo (o número de ramos distintos de evidência necessários), URLs visitadas e respostas de referência (golden answers).
2. Reconstrução Automatizada (1.329 tarefas): Registros de QA web existentes são filtrados e reconstruídos. Esta pipeline verifica se as respostas permanecem válidas na web ao vivo, classifica os registros por validade de caminho e reconstrói cadeias de URLs quebradas usando verificação estrita de cadeia de links (garantindo que cada par de URLs consecutivas seja um hiperlink válido).

O conjunto de dados enfatiza a evidência ao vivo, filtrando conteúdo obsoleto e garantindo que as trajetórias sejam navegáveis na web atual.

Configuração Experimental

Os autores treinam agentes do tipo WebExplorer usando Otimização de Política Relativa de Grupo (GRPO) sob três condições de mistura de dados:

• HUMAN: Apenas tarefas curadas por humanos e verificadas manualmente.
• BALANCED: Partes iguais de tarefas humanas e dados sintéticos (Categoria A: caminhos verificados; Categoria B: caminhos reconstruídos).
• SYNTH-HEAVY: Supervisão humana reduzida com uma proporção elevada de dados sintéticos.

Design de Recompensa: Para lidar com a esparsidade de recompensa em tarefas estruturadas de múltiplos campos, os autores empregam um sistema de recompensa de crédito parcial. Ao contrário das recompensas de correspondência exata que atribuem crédito zero para qualquer erro, este sistema pontua recursivamente dicionários, listas e campos escalares usando correspondência difusa (fuzzy matching), contenção e F1 ao nível de tokens. Isso fornece feedback mais denso enquanto preserva um loop de treinamento sem LLM.

Avaliação: Os modelos são avaliados em um conjunto de teste de 150 exemplos sob variados orçamentos de inferência (contexto de 16k/64k, 8/16 rodadas de interação). As métricas incluem:

• Conclusão (Completion): Se uma resposta final passível de análise (parseable) é emitida.
• Precisão Binária: Se a resposta estruturada completa é julgada correta pelo GPT-4.1-mini.
• F1 Elemento-a-Elemento: Crédito parcial baseado na recuperação de elementos factuais individuais.

Principais Contribuições

1. Definição de Exploração Web Paralela: O artigo define um cenário de tarefa onde os agentes devem recuperar e sintetizar múltiplos subobjetivos independentes, expondo uma "lacuna de conclusão-correção" onde os agentes emitem respostas estruturadas que são parcialmente suportadas ou inteiramente não suportadas pela evidência recuperada.
2. Parallel WebBench: Um benchmark de 1.679 registros com trajetórias, respostas e metadados de nível de URL verificados, distinguindo entre tarefas curadas por humanos e reconstruídas automaticamente.
3. Identificação de Três Modos de Falha Reproduzíveis: Através de diagnósticos de nível de traço, os autores identificam gatilhos específicos para a falha do agente:
   • FM1 (Loops de busca limitados pelo contexto): Agentes entram em loops de busca redundantes quando ocorrem discrepâncias de fraseologia canônica, falhando em utilizar evidências não canônicas recuperadas anteriormente.
   • FM2 (Terminação prematura em respostas parciais): Agentes emitem uma resposta final antes de esgotar o orçamento de interação, frequentemente desencadeado por perguntas de valores de lista, impulsionado por recompensas densas que creditam o formato/processo em vez da cobertura.
   • FM3 (Colapso de síntese): Agentes recuperam evidências suficientes, mas falham em preservá-las na saída final, colapsando linhas distintas em valores repetidos ou substituindo fatos por espaços reservados de "Não encontrado".
4. Diagnósticos de Nível de Traço: O artigo fornece detectores operacionais para esses modos de falha, analisando comportamento de busca redundante, uso de rodadas, recall de elemento e vinculação de evidência-resposta.

Resultados

Melhorias de Desempenho e Lacunas

O treinamento com GRPO e dados sintéticos melhora significamente as taxas de conclusão, mas produz retornos decrescentes na correção:

• Conclusão: O melhor modelo GRPO (SYNTH-HEAVY) melhorou a conclusão de 50,7% (WebExplorer-8B base) para 96,0% com contexto de 16k/16 rodadas.
• Correção Parcial: O F1 elemento-a-elemento melhorou de 0,2489 para 0,4529.
• Precisão Binária: Apesar da alta conclusão, a precisão binária permaneceu baixa (~33,3%), indicando que, embora os agentes concluam as tarefas, eles frequentemente falham em resolvê-las corretamente.

Análise de Intervenções

• Dados Sintéticos: O treinamento intensivo em sintéticos reduz a abstenção e melhora a confiabilidade da emissão de respostas, mas não melhora significativamente a correção baseada em evidências. Modelos treinados em dados sintéticos performam melhor em conjuntos de teste sintéticos do que em conjuntos verificados por humanos.
• Contexto e Rodadas: Aumentar o contexto (para 64k) ou as rodadas de interação (para 16) melhora a conclusão, mas não melhora monotonicamente a precisão binária. Em alguns casos, orçamentos maiores levaram a uma diminuição no F1 elemento-a-elemento, sugerindo que mais interação não corrige falhas fundamentais de raciocínio ou síntese.
• Persistência dos Modos de Falha: Os três modos de falha (loops, terminação prematura, colapso de síntese) persistem em todas as misturas de treinamento. O treinamento intensivo em sintéticos reduziu o FM1 (loops), mas aumentou o FM2 (terminação prematura), sugerindo um compromisso onde os agentes aprendem a "terminar" mais rápido, porém com menos verificação.

Significância e Alegações

O artigo argumenta que a otimização ao nível do resultado (maximizar a conclusão ou a emissão da resposta final) é insuficiente para uma IA agêntica confiável. A descoberta central é construtiva: embora o GRPO e a supervisão sintética ensinem efetivamente os agentes a emitir respostas, eles não eliminam os modos de falha fundamentais da exploração web.

Os autores alegam que o campo deve ir além das simples métricas de conclusão. A "lacuna de conclusão-correção" observada destaca a necessidade de:

• Parada consciente da cobertura (Coverage-aware stopping): Impedir que os agentes terminem antes que todos os subobjetivos sejam verificados.
• Síntese vinculada à evidência: Garantir que a resposta final adira estritamente à evidência recuperada, em vez de colapsar ou alucinar.
• Diagnósticos de traço: Separar o ato de "finalizar" uma tarefa de "resolvê-la".

O trabalho sugere que intervenções futuras devem combinar treinamento de crédito parcial com verificações de cobertura explícitas e etapas de verificação, em vez de depender apenas da escala de contexto, orçamentos de interação ou dados sintéticos. O artigo conclui que os agentes atuais estão se tornando mais confiantes em suas falhas, necessitando de diagnósticos que possam distinguir entre uma tarefa resolvida e uma mera interação concluída.