Resumo Técnico: PERSONATRAIL: Avaliando Agentes Web Personalizados através de Trilhas de Navegação

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs) permitiram que agentes web executem tarefas de navegação complexas de forma autônoma. No entanto, os benchmarks atuais falham ao avaliar agentes em cenários realistas e centrados no usuário, onde as instruções são subespecificadas. Na prática, os usuários esperam que os agentes infiram o contexto ausente — como preferências pessoais ou referências a interações passadas — a partir de históricos de navegação brutos, em vez de receberem comandos totalmente explícitos. Os benchmarks existentes ou restringem as tarefas a instruções explícitas, ou abstraem o histórico de interação em formas simplificadas (ex: registros de transação ou eventos de alto nível sintetizados por LLM), ou falham em capturar as trajetórias de interação detalhadas e de baixo nível (cliques, buscas, transições de página) onde as preferências do usuário e os contextos episódicos estão realmente incorporados. Consequentemente, há uma falta de um framework padronizado para avaliar a capacidade de um agente de realizar inferência de preferência (deduzir hábitos latentes) e fundamentação episódica (recordar sessões passadas específicas) em um ambiente de web aberta gerenciado.

Metodologia

1. O Benchmark PERSONATRAIL

Os autores introduzem o PERSONATRAIL, um benchmark projetado para avaliar agentes web personalizados usando trajetórias de navegação na web ao vivo e detalhadas. O benchmark é construído através de um pipeline envolvendo:

• Curadoria de Websites: Seleção de 317 websites em 23 domínios da lista Tranco e Similarweb, filtrados por conteúdo em inglês e acessibilidade.
• Perfil de Usuário e Atribuição: Geração de 200 personas de usuários diversas (idade, profissão, hobbies) e atribuição de subdomínios relevantes e websites específicos com base nesses perfis.
• Descoberta de Templates de Consulta: Um agente baseado em LLM explora os websites atribuídos para descobrir templates de consulta parametrizados contendo variáveis de preferência ($V_p$) e variáveis de alvo ($V_t$).
• Execução de Trajetória (Rollout): Agentes executam consultas em websites ao vivo, gerando logs de interação detalhados (timestamps, URLs, elementos, ações). As preferências são expressas através de interações nativas do site (ex: filtrar por gênero), criando padrões comportamentais consistentes ao longo de múltiplas sessões.
• Definição de Tarefa: O benchmark avalia duas tarefas complementares:
  • Inferência de Preferência: O agente deve inferir preferências latentes (ex: "Encontre um filme no gênero que eu costumo assistir") a partir de padrões recorrentes no histórico.
  • Fundamentação Episódica: O agente deve recuperar e renavegar para uma sessão passada específica referenciada por pistas temporais ou de eventos (ex: "Mostre-me a receita que busquei na última terça-feira").
• Manutenção de Validade: Um paradigma de web aberta gerenciada é utilizado, apresentando um pipeline de verificação de dois estágios (replay automático e verificação por LLM) para garantir que as tarefas permaneçam executáveis apesar das mudanças nos websites.

2. Framework PACMEM

Para abordar as limitações dos agentes baseados em memória atuais que descartam detalhes de nível de episódio e preferências latentes, os autores propõem o Preference-Aware Contextual Memory (PACMEM). Este framework estrutura os históricos de navegação brutos em uma hierarquia de dois níveis:

• Memória Factual: Captura registros episódicos de ações passadas. Os logs brutos são segmentados em segmentos atômicos orientados a objetivos e, em seguida, agrupados em episódios coerentes baseados em similaridade semântica. Cada episódio é estruturado em uma entrada de memória contendo um título, timestamps, URLs e sequências de interação.
• Memória de Preferência: Codifica padrões comportamentais recorrentes. As entradas da memória factual são agrupadas com base na similaridade, e um LLM gera descrições em linguagem natural dos padrões subjacentes (ex: "Sempre usa o IMDb para filmes", "Prefere o gênero Mistério").
• Recuperação (Retrieval): Durante a inferência, um pipeline de recuperação de fase grossa para fina seleciona entradas relevantes para a tarefa de ambos os pools de memória. Ele utiliza similaridade baseada em embeddings para a seleção inicial de candidatos, seguida por um reranking baseado em LLM baseado em relevância semântica, alinhamento temporal e utilidade.

Principais Contribuições

1. Benchmark PERSONATRAIL: Um novo benchmark para agentes web personalizados apresentando trajetórias de navegação na web ao vivo e detalhadas como histórico do usuário. Ele suporta exclusivamente tanto tarefas de inferência de preferência quanto de fundamentação episódica em cenários de um único salto (single-hop) e múltiplos saltos (multi-hop).
2. Framework PACMEM: Um método de referência simples, porém eficaz, que transforma históricos brutos de nível de navegador em memórias fatuais e de preferência estruturadas. Esta abordagem estabelece uma base sólida para navegação web personalizada ao preservar tanto detalhes episódicos quanto sinais de preferência.
3. Validação Empírica: Experimentos extensos demonstrando que a destilação de trajetórias brutas em memória estruturada supera significativamente os baselines aumentados por memória.

Resultados Experimentais

Experimentos foram conduzidos no PERSONATRAIL utilizando diversos modelos de base (incluindo Claude Haiku 4.5, GPT-5.4-mini, Gemini-3-Flash e modelos de código aberto como Qwen3.6-27B e Llama-4-Scout).

• Lacuna de Desempenho: Baselines sem recuperação ("No Retrieval") atingiram taxas de sucesso de tarefa (TSR) próximas de zero em tarefas de personalização, destacando a necessidade do histórico. Embora modelos de base fortes tenham alcançado altos Scores de Intenção (IS) sem recuperação, eles falharam em aplicar restrições pessoais.
• Superioridade do PACMEM: O PACMEM superou consistentemente os baselines aumentados por memória (AWM e ReasoningBank) em todos os modelos de base e complexidades de tarefa.
  • Na Inferência de Preferência, o PACMEM melhorou o TSR do Qwen3.6-27B em consultas de um único salto para 53,61%, superando o ReasoningBank (46,45%).
  • Na Fundamentação Episódica, o PACMEM alcançou um TSR de 39,03% (Qwen3.6-27B, multi-hop), superando significativamente o AWM (17,84%).
• Estudos de Ablação: Remover tanto a memória factual quanto a de preferência degradou o desempenho. A memória factual foi crítica para a fundamentação episódica (o TSR caiu cerca de 22-33% quando removida), enquanto a memória de preferência foi essencial para a inferência de preferência.
• Análise de Complexidade: À medida que o volume de histórico do usuário e a complexidade da tarefa (número de passos) aumentaram, o desempenho dos baselines degradou drasticamente. O PACMEM manteve sua vantagem, sugerindo que a destilação de memória estruturada permanece eficaz sob complexidade.
• Análise de Erros: O principal modo de falha para o PACMEM foi "Falha de Navegação" (62-96% das falhas), onde o agente recebeu a memória correta, mas falhou em aplicá-la durante a navegação. Isso indica que, embora a recuperação de memória esteja melhorando, a capacidade de executar navegação complexa baseada no contexto recuperado continua sendo um desafio.

Significância e Alegações

O artigo afirma que o PERSONATRAIL fornece uma fundação prática para o desenvolvimento de agentes web capazes de auxiliar usuários individuais em ambientes do mundo real. Ao fundamentar a avaliação em trajetórias de navegação detalhadas em vez de resumos abstratos, o benchmark revela que os agentes atuais lutam para inferir e aplicar as preferências do usuário mesmo em tarefas estáticas e solucionáveis.

A introdução do PACMEM demonstra que transformar históricos brutos em representações de memória estruturadas — especificamente separando detalhes episódicos de preferências generalizadas — é um passo necessário para uma personalização eficaz. Os autores afirmam que este trabalho preenche a lacuna entre a automação de tarefas funcionais e a extração de preferências latentes do usuário a partir de trajetórias longas, ruidosas e de múltiplas sessões.

O artigo reconhece modestamente as limitações, observando que o benchmark atualmente assume preferências estáveis e tarefas solucionáveis, excluindo cenários como deriva de preferência (preference drift) ou solicitações impossíveis de responder. Além disso, embora as trajetórias de navegação sejam executadas em websites ao vivo, os perfis de usuário e intenções subjacentes são gerados sinteticamente para garantir privacidade e escalabilidade, embora os autores argumentem que esta construção oferece uma maneira segura e eficaz de construir históricos de usuários em escala.