Resumo Técnico: Avaliando a Estrutura de Memória em Agentes LLM

Declaração do Problema

Agentes modernos de Modelos de Linguagem de Grande Escala (LLM) e assistentes de chat dependem cada vez mais de frameworks de memória de longo prazo para armazenar conhecimento reutilizável, recordar preferências do usuário e aprimorar o raciocínio. No entanto, à medida que as arquiteturas de memória se tornam mais complexas, analisar suas capacidades e orientar projetos futuros tornou-se difícil. Benchmarks existentes, como LOCOMO e LongMemEval, focam principalmente na retenção simples de fatos, recuperação multi-hop e consultas baseadas em tempo. Estudos recentes indicam que essas tarefas podem ser frequentemente resolvidas por LLMs simples com recuperação aumentada, sem exigir hierarquias de memória complexas. Consequentemente, há uma lacuna na compreensão de quais problemas específicos necessitam de estruturas de memória complexas e quais capacidades tais estruturas fornecem além da recuperação básica.

O problema central abordado é a falta de frameworks de avaliação que testem a capacidade de um agente de organizar sua memória de longo prazo em estruturas específicas (por exemplo, livros-razão, árvores, máquinas de estado) em vez de apenas recuperar informações brutas. Os autores hipotetizam que, embora a recuperação simples falhe em escala para tarefas pesadas em organização, a memória flexível de agentes pode ter sucesso se o LLM controlador for capaz de estruturar o conhecimento adequadamente.

Metodologia: StructMemEval

Para preencher essa lacuna, os autores propõem o StructMemEval, um benchmark projetado para avaliar a capacidade de um agente de organizar a memória de longo prazo. O benchmark é agnóstico à implementação, avaliando respostas finais em vez de representações internas de memória, permitindo comparação entre diversos frameworks (de dicionários de pesquisa a bancos de dados de grafos).

O benchmark consiste em 207 cenários (com um conjunto principal de 51 problemas difíceis) categorizados em quatro tipos de padrões de organização de memória:

1. Problemas estruturados em árvore: Tarefas que exigem manutenção de conhecimento hierárquico, como árvores genealógicas ou hierarquias corporativas. Os agentes devem inferir relações implícitas (por exemplo, se A é enteada de B e C é esposa de B, deduzir que C é pai/mãe de A) e manter links bidirecionais.
2. Problemas de rastreamento de estado: Tarefas onde entidades mudam de estado ao longo do tempo (por exemplo, um usuário mudando de cidade). Os agentes devem atualizar conexões com base no contexto (por exemplo, vizinhos mudam quando a localização muda) e distinguir entre estados históricos e atuais.
3. Problemas baseados em contagem (Contabilidade): Tarefas envolvendo a reconciliação de totais, como calcular liquidações líquidas entre partes após compensar dívidas circulares. Estas exigem agregar transações ao longo de centenas de mensagens e filtrar ruído irrelevante.
4. Problemas de recomendação: Tarefas que exigem a agregação de preferências do usuário do histórico de eventos para responder a perguntas estatísticas (por exemplo, "O usuário prefere o gênero A ao B?") em vez de simples recordação.

Coleta de Dados: Os cenários foram gerados usando uma combinação de anotadores humanos e aumento por LLM (usando modelos como DeepSeek, Qwen e Claude) com verificação humana para garantir que as respostas de referência fossem válidas. O conjunto de dados inclui históricos de conversa variando de 10 a 500 mensagens.

Configuração Experimental:

• Baselines: O estudo compara sistemas de apenas recuperação (usando pesquisa baseada em embeddings padrão) contra agentes aumentados por memória (Mem0, Mem-agent e EMem/EMem-G).
• Backbones: As avaliações foram conduzidas usando vários controladores LLM, incluindo Gemini-2.5-pro, Gemini-3.1-pro, Gemini-3-flash, GPT-5.5 e variantes do DeepSeek-v4.
• Dicas de Organização de Memória: Uma característica única da avaliação é o uso de "dicas de organização de memória". Estas são prompts informais explicando como um humano estruturaria o conhecimento para uma tarefa específica. Essas dicas são usadas para diagnosticar se as falhas decorrem da incapacidade de organizar a memória ou da incapacidade de seguir uma estrutura dada.

Principais Resultados

1. Recuperação vs. Organização de Memória

• Limites de Escala: Agentes de apenas recuperação performam bem em tarefas pequenas, mas falham rapidamente à medida que a complexidade do problema aumenta (por exemplo, número de arestas em uma árvore ou transições de estado). Eles não conseguem resolver efetivamente tarefas que exigem agregação estrutural.
• Agentes de Memória: Sistemas de memória de agentes (Mem-agent, Mem0) escalam significativamente melhor do que as baselines de recuperação. No entanto, seu desempenho não é perfeito e varia conforme o modelo e o tipo de tarefa.
• Sensibilidade à Tarefa: Agentes de recuperação alcançaram precisão próxima de zero em tarefas baseadas em árvore e de rastreamento de estado no benchmark principal, enquanto agentes de memória alcançaram alta precisão (até 1,00 em alguns subconjuntos).

2. Impacto dos Backbones LLM

• Dependência do Modelo: Embora todos os modelos backbone testados pudessem superar as baselines de recuperação em algum grau, o desempenho de subconjuntos individuais variou significativamente. Por exemplo, modelos "flash" (Gemini-3.0-flash, DeepSeek-v4-flash) performaram mal em tarefas baseadas em contagem (contabilidade), frequentemente alcançando precisão zero mesmo com dicas.
• Sensibilidade à Alucinação: Tarefas baseadas em contagem provaram ser mais sensíveis a alucinações. Mesmo modelos de alta capacidade como Gemini-3.1-pro lutaram com tarefas de contabilidade, frequentemente pulando transações, duplicando registros ou inventando transações espúrias, levando a liquidações finais incorretas.

3. O Papel das Dicas de Organização

• Lacuna de Desempenho: Solicitar explicitamente aos agentes que organizem sua memória (usando dicas) melhorou significativamente o desempenho na maioria das tarefas e modelos.
• Diagnóstico: A lacuna entre o desempenho com e sem dicas foi frequentemente maior do que a diferença entre diferentes frameworks de memória (por exemplo, Mem0 vs. Mem-agent). Isso sugere que muitas falhas devem-se ao LLM não reconhecer a necessidade de uma estrutura específica, em vez de uma incapacidade de executar essa estrutura.
• Limitações: Mesmo com dicas, os agentes não alcançaram precisão perfeita. Especificamente, o DeepSeek-v4-flash falhou em resolver problemas baseados em contagem mesmo com instruções detalhadas, indicando limitações fundamentais no raciocínio ou execução para certas famílias de modelos.

4. Modos de Falha

Os autores identificaram modos de falha específicos em agentes de memória:

• Erros Estruturais: Falha em manter links bidirecionais em grafos ou falha em atualizar entidades relacionadas durante transições de estado (por exemplo, não remover um vizinho quando um usuário se muda).
• Alucinações: Criar links inexistentes, duplicar registros ou inventar transações não presentes no histórico de entrada.
• Erros de Execução: Falha em utilizar corretamente a estrutura de memória escolhida ao responder perguntas, mesmo que a estrutura tenha sido criada inicialmente.

Significado e Alegações

O artigo alega que a organização de memória é uma capacidade distinta e crítica para agentes LLM que os benchmarks atuais falham em medir efetivamente. Os autores argumentam que:

1. Necessidade de Complexidade: A recuperação simples é insuficiente para tarefas que exigem organização de conhecimento (grafos, livros-razão, rastreamento de estado) em escala.
2. Direção de Treinamento: LLMs modernos frequentemente falham em reconhecer a necessidade de estruturas de memória específicas sem prompts. Futuras melhorias no treinamento de LLMs devem focar na capacidade de identificar e adotar estruturas de conhecimento apropriadas para um dado problema.
3. Design de Framework: Frameworks de memória devem ser projetados para facilitar e impor esses padrões organizacionais, em vez de depender exclusivamente da capacidade implícita do LLM de estruturar dados.

Os autores lançam o StructMemEval (51 cenários principais e 207 tarefas estendidas) para ajudar a desacoplar a organização de memória de outras capacidades de LLM, visando informar o design de futuros LLMs e frameworks de memória. Eles mantêm uma postura modesta, observando que suas avaliações iniciais usam ajuste mínimo de hiperparâmetros e que modelos proprietários podem ser descontinuados, mas os resultados agregados fornecem evidências suficientes para tirar conclusões sobre o estado atual da organização de memória.