StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance

Resumo Técnico: StreamMemBench

Declaração do Problema

Agentes pessoais construídos sobre Modelos de Linguagem de Grande Escala (LLMs) requerem mecanismos de memória para transformar informações armazenadas e interações prévias em assistência orientada ao futuro. Embora os benchmarks existentes avaliem a memória de longo prazo, eles falham amplamente em avaliar a trajetória crítica de observações em fluxo (streaming) para a assistência futura. As avaliações atuais dependem tipicamente de diálogos roteirizados ou chats sintetizados, testando apenas a recuperação de diálogos ou melhoria isolada de tarefas. Essa abordagem evade o desafio central de identificar informações específicas do usuário relevantes a partir de fluxos egocêntricos contínuos e não estruturados e aplicá-las a tarefas futuras sem prompting explícito. Além disso, os benchmarks existentes frequentemente carecem de fundamentação verificável para o feedback do usuário, tornando difícil distinguir se o sucesso de um agente provém do uso de evidências genuínas ou apenas de uma geração plausível. Consequentemente, há uma lacuna na compreensão de se a memória armazenada realmente se traduz em comportamento confiável e orientado ao futuro.

Metodologia: StreamMemBench

Para abordar essas limitações, os autores introduzem o StreamMemBench, um benchmark de streaming projetado para avaliar se a memória de agentes pessoais suporta a assistência orientada ao futuro através de observações e interações egocêntricas. O benchmark é construído sobre o EgoLife, um conjunto de dados de gravações da vida cotidiana contínua de dispositivos vestíveis.

Construção do Benchmark

O processo de avaliação é ancorado em torno de âncoras de evidência extraídas do fluxo EgoLife. Para cada âncora, uma sequência de tarefas de dois passos é gerada:

1. Episódio de Tarefa Inicial: O agente recebe um pedido de assistência dependente de uma peça específica de evidência extraída do fluxo. A evidência nunca é explicitamente declarada na consulta. O agente responde, e um usuário simulado fornece feedback (confirmando a resposta ou corrigindo-a ao fornecer a evidência ausente).
2. Episódio de Tarefa de Seguimento: Um novo pedido, fundamentado na mesma âncora de evidência mas apresentando um cenário diferente, é emitido. Isso testa se o agente consolidou a interação inicial (incluindo o feedback) para lidar com a tarefa de seguimento.

Métricas de Avaliação

O benchmark diagnostica o desempenho do agente em quatro pontos distintos ao longo da trajetória:

• Fidelidade (Fidelity): Mede se a evidência alvo é retida no delta de memória do agente antes do início da sequência de tarefas.
• Uso de Evidência Inicial (Initial Evidence Use - IEU): Avalia se a resposta inicial do agente utiliza corretamente a evidência ancorada.
• Incorporação de Feedback (Feedback Incorporation - FI): Avalia se o agente incorpora o feedback corretivo em sua resposta imediata pós-feedback.
• Reuso de Seguimento (Follow-up Reuse - FUR): Determina se o agente reusa a evidência ou a experiência de interação corrigida na tarefa de seguimento.

A avaliação é conduzida de maneira de caixa preta contra as respostas de texto do agente, com uma verificação separada para a fidelidade da memória baseada no delta de memória exposto.

Principais Contribuições

1. Um Benchmark de Streaming: O StreamMemBench é o primeiro benchmark a avaliar a memória de agentes pessoais através de um fluxo contínuo de observações egocêntricas, indo além de históricos de diálogo estáticos.
2. Trajetória Ancorada em Evidência: Ao usar âncoras de evidência para ligar as tarefas iniciais e de seguimento, o benchmark isola modos de falha específicos, distinguindo entre falhas de retenção de evidência, uso inicial, incorporação de feedback e reuso de longo prazo.
3. Avaliação Abrangente: O framework avalia oito sistemas de memória diversos (incluindo baselines de recuperação e sistemas de memória agênticos) através de dois backbones de LLM diferentes, fornecendo um diagnóstico granular de onde a pipeline "memória-para-ação" falha.

Resultados Experimentais

Experimentos envolvendo sistemas como RAG (raw e extracted), Mem0, EverMemOS, A-Mem, MemOS, MemoryOS e MemSkill revelam limitações significativas nas arquiteturas atuais:

• Armazenamento $\neq$ Uso: Sistemas com alta Fidelidade (armazenamento bem-sucedido da evidência) frequentemente exibem baixo IEU e FUR. Por exemplo, o RAGraw alcança 100% de Fidelidade, mas apenas ~28-42% de IEU, indicando que a evidência armazenada não se traduz automaticamente em comportamento de tarefa.
• Feedback vs. Reuso: Existe uma lacuna notável entre Incorporação de Feedback (FI) e Reuso de Seguimento (FUR). Muitos sistemas conseguem corrigir seu comportamento imediatamente ao receber feedback (alto FI), mas falham em consolidar essa correção para tarefas futuras (baixo FUR). Por exemplo, o MemOS mostra alto FI (77%), mas um FUR extremamente baixo (4%).
• Deriva Temporal: O desempenho varia através do fluxo. O RAGraw mantém alta fidelidade, mas mostra um declínio constante no IEU conforme o fluxo cresce, sugerindo que os mecanismos de recuperação tornam-se menos confiáveis para o uso inicial ao longo do tempo. Inversamente, o MemSkill mostra melhoria no reuso, mas declínio na fidelidade.
• Modos de Falha: A análise categoriza as falhas em estágios do ciclo de vida: Falha de formação (evidência não armazenada), Falha de uso de evidência inicial, Falha de incorporação de feedback, Falha de consolidação de correção e Falha de persistência de uso de evidência. Os resultados indicam que diferentes mecanismos de memória falham em diferentes estágios; por exemplo, sistemas baseados em extração frequentemente falham na formação, enquanto sistemas baseados em consolidação frequentemente falham no reuso.

Significância e Alegações

O artigo argumenta que a premissa atual — de que armazenar ou gerenciar experiências passadas inerentemente melhora a assistência futura — não é garantida. O StreamMemBench demonstra que mesmo sistemas avançados lutam para transformar evidência observada em suporte de tarefa inicial ou para converter feedback de interação em um comportamento confiável e reutilizável.

Os autores alegam que a memória deve ser julgada não meramente pelo que é armazenado, mas por se ela suporta um comportamento útil no futuro. O benchmark fornece uma ferramenta de diagnóstico necessária para rastrear o caminho da evidência observada até o uso inicial, incorporação de feedback e reuso de seguimento, revelando que uma pontuação agregada única é insuficiente para capturar a deriva temporal e os pontos de falha específicos na memória de agentes pessoais. O trabalho destaca a necessidade de sistemas de memória que possam efetivamente preencher a lacuna entre o armazenamento passivo e a assistência ativa e orientada ao futuro.