Resumo Técnico: MEME (Avaliação de Memória Multi-entidade e Evolutiva)

Declaração do Problema

À medida que os agentes de Modelos de Linguagem de Grande Escala (LLM) operam cada vez mais em ambientes persistentes e multi-sessão, eles devem armazenar, atualizar e raciocinar com precisão sobre informações que evoluem ao longo do tempo. Embora os benchmarks existentes avaliem sistemas de memória na retenção de fatos estáticos ou em atualizações independentes de entidades, eles falham em abordar o raciocínio de dependência. Em interações do mundo real, uma atualização em uma entidade frequentemente desencadeia um "efeito dominó", exigindo que o agente propague mudanças para fatos logicamente dependentes ou reconheça quando uma resposta anteriormente válida se tornou incerta devido à ausência de uma regra de atualização.

Os benchmarks atuais de memória (por exemplo, RULER, LoCoMo, MemBench) tratam atualizações como eventos isolados de entidade única. Eles não avaliam:

1. Cascata: Inferir que o valor de uma entidade dependente deve mudar com base em uma regra de dependência declarada e em uma atualização a montante.
2. Ausência: Reconhecer que o valor de uma entidade dependente está agora incerto quando uma entidade a montante muda, mas não existe uma regra de substituição.
3. Exclusão: Verificar que um fato removido não é mais relatado, em vez de persistir como um valor desatualizado.

Isso deixa uma lacuna crítica na avaliação de como os sistemas de memória lidam com conhecimento stateful e interdependente.

Metodologia

O Framework MEME

Os autores propõem uma taxonomia de avaliação principista organizada ao longo de duas dimensões ortogonais:

1. Escopo da Entidade: Entidade única vs. Multi-entidade.
2. Dinâmica Temporal: Estático vs. Evolutivo.

Este framework define seis tipos de tarefas distintas distribuídas pelos quadrantes resultantes:

• Recuperação (Estático, Único/Múltiplo): Recordação Exata (reprodução literal) e Agregação (combinação de fatos estáticos dispersos).
• Gerenciamento de Estado (Evolutivo, Único/Múltiplo): Rastreamento (reconstrução do histórico de revisões) e Exclusão (verificação da remoção).
• Raciocínio de Dependência (Evolutivo, Múltiplo): Cascata (propagação de mudanças via regras) e Ausência (identificação de incerteza).

Geração do Dataset

O dataset MEME consiste em 100 episódios controlados (50 por domínio: Vida Pessoal e Projeto de Software) gerados a partir de um grafo de conhecimento Directed Acyclic Graph (DAG).

• Estrutura: Cada domínio utiliza um DAG artesanal onde os nós são entidades e as arestas representam regras de dependência condicional (por exemplo, "Se o líder da equipe mudar, o revisor de código será X").
• Episódios: Cada episódio envolve uma sequência cronológica de conversas (~35K tokens) intercaladas com sessões de preenchimento para simular ruído realista.
• Verificabilidade: As respostas-ouro para tarefas de dependência são computadas algoritmicamente propagando atualizações através do DAG. Se uma regra existe, o novo valor é derivado; se não, a resposta é "Incerta".
• Validação: Uma linha de base em contexto (alimentando fatos-ouro diretamente ao LLM) confirma que as tarefas são solúveis em princípio (0,91 de precisão com Claude Opus 4.7).

Configuração Experimental

O estudo avalia seis sistemas de memória abrangendo três paradigmas arquitetônicos:

1. Recuperação Bruta: BM25 e text-embedding-3-small.
2. Memória Processada por LLM: Mem0 (extração de fatos) e Graphiti (grafo de conhecimento temporal).
3. Agentes Baseados em Arquivos: Karpathy Wiki e MD-flat (linha de base mínima de arquivo único).

Todos os sistemas utilizam gpt-4.1-mini como LLM interno (para planejamento de ingestão/recuperação) e o LLM de resposta, garantindo uma comparação justa das diferenças arquitetônicas. A avaliação emprega um filtro de "passagem trivial" para tarefas de dependência, exigindo que o sistema recorde corretamente o estado pré-mudança antes de lidar corretamente com o estado pós-mudança.

Principais Resultados

1. Falha Universal no Raciocínio de Dependência

Sob configurações padrão, todos os seis sistemas colapsam em tarefas de raciocínio de dependência:

• Precisão de Cascata: 3% em média.
• Precisão de Ausência: 1% em média.
• Precisão de Exclusão: 17% em média.

Em contraste, tarefas estáticas (Recordação Exata, Agregação) mostram desempenho significativamente superior. A falha é consistente em todos os três paradigmas arquitetônicos.

2. Diagnóstico dos Modos de Falha

Os autores rastreiam a falha às etapas de recuperação e resposta, não à codificação ou manutenção:

• Falha na Recuperação: Em sistemas de recuperação bruta e baseados em ferramentas, o "evento de mudança" (a atualização) é ou superado pelo valor pré-mudança (em recuperadores vetoriais) ou nunca é apresentado (em sistemas baseados em grafo/ferramentas).
• Falha na Resposta: Mesmo quando o evento de mudança é recuperado, o LLM de resposta frequentemente falha em propagar a dependência, recorrendo ao valor pré-mudança.
• Lacuna Estrutural: A lacuna não se deve à falta de instruções ou ruído; otimização de prompt (DSPy SIMBA), aumento da profundidade de recuperação (top-k) e redução de ruído falharam em fechá-la.

3. O Custo do Fechamento

A única configuração que parcialmente fecha a lacuna é MD-flat acoplado ao Claude Opus 4.7 como LLM interno.

• Mecanismo: O Opus 4.7 reestrutura ativamente o arquivo de memória durante a ingestão, escrevendo entradas explícitas de "Contingência". Quando ocorre uma mudança a montante, ele verifica essas contingências e escreve o valor propagado diretamente no armazenamento, permitindo que o recuperador apresente o valor correto imediatamente.
• Desempenho: A precisão de Cascata sobe para 32%, e a de Ausência para 59%.
• Custo: Esta configuração custa aproximadamente 70× o custo da linha de base (devido ao alto preço de tokens do Opus 4.7 e ao processamento complexo). Também degrada o desempenho em tarefas de Recordação Exata e Rastreamento.

Significado e Afirmativas

O artigo argumenta que os sistemas de memória atuais são insuficientes para aplicações agênicas do mundo real onde o conhecimento é interdependente. As principais contribuições são:

1. Um Novo Padrão de Avaliação: MEME introduz o primeiro benchmark para pontuar tarefas de Cascata, Ausência e Exclusão, expondo uma lacuna crítica na pesquisa atual de memória.
2. Evidência Empírica de uma Lacuna Estrutural: O estudo demonstra que o raciocínio de dependência não é meramente um problema de ruído de recuperação, mas uma limitação arquitetônica fundamental. Sistemas de custo prático (usando LLMs menores e mais baratos) falham em propagar atualizações ou reconhecer incerteza, independentemente de engenharia de prompt ou profundidade de recuperação.
3. Viabilidade vs. Praticidade: Embora o fechamento seja teoricamente possível (demonstrado pela configuração Opus 4.7), ele atualmente depende de configurações que não são práticas em escala devido a custos proibitivos e compensações de desempenho em outras tarefas.
4. Direção Futura: Os autores sugerem que o caminho a seguir reside em arquiteturas de memória que propagam nativamente atualizações através de fatos dependentes durante a fase de manutenção, em vez de depender de LLMs internos custosos para realizar esse raciocínio no momento da inferência.

O artigo conclui que, para cargas de trabalho intensivas em dependências, nenhuma opção de custo prático existe hoje, e os desenvolvedores devem confiar em um design cuidadoso a montante (por exemplo, regras de dependência explícitas em logs) como uma solução temporária de curto prazo.