Resumo Técnico: LongMemEval-V2

Declaração do Problema

A memória de longo prazo é essencial para agentes de modelos de linguagem grandes (LLM) operando em ambientes web especializados e personalizados, onde o sucesso depende da recordação de affordances de interface, dinâmicas de estado, fluxos de trabalho e modos recorrentes de falha. No entanto, os benchmarks de memória existentes focam principalmente em históricos de chat de usuários, traços curtos ou taxas de sucesso em tarefas a jusante. Esses benchmarks falham em avaliar diretamente se os sistemas de memória podem internalizar efetivamente a experiência específica do ambiente acumulada ao longo de horizontes longos. Especificamente, há uma lacuna na avaliação de se um agente pode transicionar de um usuário "inexperiente" para um "colega experiente" que possui conhecimento profundo e reutilizável das peculiaridades e procedimentos de um ambiente específico.

Metodologia

Construção do Benchmark: LongMemEval-V2 (LME-V2)

Os autores introduzem o LME-V2, um benchmark projetado para avaliar se os sistemas de memória ajudam os agentes a adquirir a experiência necessária para se tornarem colegas conhecedores em ambientes personalizados.

• Fonte de Dados: Trajetórias são coletadas do WebArena (OneStopShop, CMS, Reddit) e do WorkArena/WorkArena++ (ServiceNow), usando a biblioteca AgentLab2. O conjunto de dados inclui 1.540 trajetórias (599 do WebArena, 941 do WorkArena) com uma média de 28,1 estados por trajetória.
• Curadoria de Perguntas: 451 perguntas curadas manualmente cobrem cinco capacidades centrais de memória:
  1. Recordação de Estado Estático: Lembrar pontos de referência, layouts e diferenças sutis.
  2. Rastreamento de Estado Dinâmico: Compreender como o ambiente muda dado estados e ações (modelagem do mundo).
  3. Conhecimento de Fluxo de Trabalho: Conhecer etapas para tarefas comuns.
  4. Armadilhas do Ambiente: Consciência de problemas recorrentes e modos de falha.
  5. Consciência de Premissas: Reconhecer suposições válidas em outros ambientes, mas incorretas no atual.
• Escala de Contexto: O benchmark apresenta "fardos" de trajetórias históricas. O LME-V2-Small usa um contexto compartilhado de 100 trajetórias (25M tokens), enquanto o LME-V2-Medium usa contextos específicos por pergunta de 500 trajetórias (115M tokens).
• Formulação de Avaliação: O benchmark usa uma formulação de agrupamento de contexto. Um sistema de memória recebe uma sequência de trajetórias, insere-as e, em seguida, responde a uma consulta retornando um contexto de evidência compacto e multimodal. Um LLM leitor fixo (Qwen3.5-9B) então responde à pergunta com base nesse contexto truncado.

Baselines Propostas: AgentRunbook

Para abordar o desafio de organizar trajetórias de agentes ruidosas, os autores propõem dois métodos de memória:

1. AgentRunbook-R (Baseado em RAG): Um pipeline eficiente de geração aumentada por recuperação. Mantém três pools de conhecimento separados atualizados no momento da inserção:
   • Fatias de Estado Bruto: Observações de UI locais e ações.
   • Eventos de Transição de Estado: Descrições de como as ações alteram o ambiente.
   • Anotações de Procedimento/Dica: Fluxos de trabalho reutilizáveis de alto nível e armadilhas específicas do ambiente.
     No momento da consulta, um controlador LLM gera consultas específicas para cada pool, recupera os top-k resultados e monta um contexto multimodal.
2. AgentRunbook-C (Baseado em Agente de Codificação): Um método que trata o gerenciamento de memória como um problema de gerenciamento de arquivos. As trajetórias são armazenadas diretamente como arquivos. No momento da consulta, um agente de codificação pronto (Codex) é invocado dentro de um sandbox contendo:
   • Documentos de fluxo de trabalho instruindo o agente sobre a coleta de evidências.
   • Artefatos de manifesto resumindo o layout da memória.
   • Scripts auxiliares para inspeção eficiente de trajetórias.
     O agente monta um conjunto de evidências compacto, que é então passado ao leitor.

Resultados Principais

Os experimentos foram conduzidos nos níveis LME-V2-Small e LME-V2-Medium.

• Desempenho Baseline: Métodos RAG simples que recuperam fatias de estado alcançaram apenas 40% de precisão. O agente de codificação pronto Codex alcançou uma precisão competitiva de 69,3%, mas sofreu com alta latência (182 segundos por consulta).
• AgentRunbook-R: Melhorou o desempenho para 57,8% de precisão média com latência significativamente menor (~26 segundos) em comparação com a abordagem de agente de codificação. Estudos de ablação mostraram que o pool de estado bruto é crítico para perguntas estáticas, enquanto os pools de eventos e notas são vitais para perguntas dinâmicas e de fluxo de trabalho.
• AgentRunbook-C: Alcançou o melhor desempenho geral com 72,5% de precisão média no nível médio, superando a baseline Codex padrão (69,3%) e a baseline RAG mais forte (48,5%). Crucialmente, o AgentRunbook-C foi 32% mais rápido que o agente Codex padrão (139,9s vs 185,8s no nível médio) devido à sua estrutura leve (instruções de fluxo de trabalho, manifestos e scripts auxiliares), que reduziu a exploração desnecessária.
• Fronteira Precisão-Latência: O AgentRunbook-C avança a fronteira de Pareto, oferecendo um compromisso superior entre precisão e latência de consulta em comparação com métodos existentes.

Significado e Alegações

O artigo afirma que o LME-V2 estabelece um novo padrão para avaliação de memória de agentes, deslocando o foco da recuperação simples para o acúmulo de experiência.

• Experiência como Memória: O benchmark postula que um sistema de memória de alta qualidade deve permitir que um agente atue como um "colega experiente" que internaliza dinâmicas específicas do ambiente, e não apenas fatos.
• Profundidade de Contexto: O LME-V2 empurra a profundidade de contexto dos benchmarks de memória para mais de 100 milhões de tokens, revelando que as abordagens RAG padrão lutam com o ruído e a complexidade das trajetórias brutas de agentes.
• Agentes de Codificação como Controladores: Os resultados sugerem que agentes de codificação gerais, quando aumentados com orientação específica de fluxo de trabalho e ferramentas de sistema de arquivos, servem como controladores de memória altamente eficazes, superando pipelines RAG tradicionais tanto em precisão quanto em eficiência para este domínio específico.
• Direção Futura: Embora o AgentRunbook-C avance o estado da arte, os autores notam modestamente que há espaço substancial para melhoria, particularmente na redução adicional dos custos de latência enquanto se mantém alta precisão.

O trabalho fornece um campo de testes concreto para desenvolver módulos de memória que tornam agentes de longa duração mais confiáveis, adaptáveis e úteis em ambientes especializados do mundo real.