EngramaBench: Evaluating Long-Term Conversational Memory with Structured Graph Retrieval

1. O Problema

Os assistentes baseados em Grandes Modelos de Linguagem (LLMs) estão cada vez mais sendo exigidos para reter e raciocinar sobre informações acumuladas ao longo de múltiplas sessões de conversação (memória de longo prazo).

• Abordagem Atual (Contexto Completo): A estratégia mais comum é fornecer todo o histórico de conversas ao modelo no momento da resposta (full-context prompting). Embora eficaz, essa abordagem escala mal em termos de custo computacional e trata a memória como uma simples inclusão de transcrição, sem organização estruturada.
• Abordagens de Recuperação: Sistemas de recuperação vetorial (como Mem0) tentam indexar e recuperar informações, mas muitas vezes falham na integração entre diferentes domínios da vida do usuário ou no raciocínio temporal complexo.
• ** lacuna de Avaliação:** Existem benchmarks existentes, mas eles frequentemente negligenciam a integração cruzada de espaços (conectar informações de domínios distintos), o raciocínio temporal, a capacidade de abstenção em perguntas adversariais (falsas) e a síntese emergente de informações dispersas. Além disso, muitos sistemas misturam a construção da memória, a recuperação e a geração de respostas, dificultando a análise isolada de cada componente.

2. Metodologia e Contribuições Principais

O artigo apresenta duas contribuições fundamentais:

A. EngramaBench (O Benchmark)

Um novo benchmark projetado especificamente para avaliar a memória conversacional de longo prazo sob interação multi-sessão.

• Estrutura: Baseado em 5 personas canônicas (ex: professor, fundador de startup, artista), 100 conversas multi-sessão e 150 consultas.
• Taxonomia de Consultas (5 Famílias):
  1. Recuperação Factual (Single Space): Fatos dentro de um único domínio semântico.
  2. Integração Cruzada (Cross-Space): Requer conectar informações de dois ou mais domínios distintos da vida do usuário.
  3. Raciocínio Temporal Cruzado: Raciocínio sobre informações distribuídas no tempo e em diferentes espaços.
  4. Abstenção Adversarial: Responder a perguntas com premissas falsas ou fabricadas (o sistema deve recusar responder).
  5. Síntese Emergente: Respostas que exigem combinar múltiplas evidências dispersas para formar uma conclusão de alto nível não explícita em nenhuma sessão única.
• Métrica de Pontuação: Uma pontuação composta ponderada que equilibra memória factual, abstenção e síntese.

B. Avaliação Comparativa Controlada

Os autores compararam três sistemas utilizando o mesmo modelo de resposta (GPT-4o) para isolar o efeito da arquitetura de memória:

1. GPT-4o Full-Context: O histórico completo injetado no prompt (sem compressão).
2. Mem0: Um sistema de código aberto baseado em recuperação vetorial (flat retrieval).
3. Engrama: O sistema proposto, que utiliza uma memória estruturada em grafos.

Arquitetura do Engrama:
Organiza o histórico de interações em um grafo estruturado em torno de quatro classes:

• Entidades: Continuidade de identidade.
• Espaços Semânticos: Domínios distintos da vida do usuário (ex: trabalho vs. família).
• Traços Temporais: Ordem e recência dos eventos.
• Links Associativos: Conexões cruzadas entre espaços.
  O sistema ativa sub-regiões relevantes do grafo com base na consulta, gera um resumo estruturado e responde, evitando a necessidade de replay de toda a transcrição.

3. Resultados Principais

Os resultados revelam um cenário matizado, onde nenhuma abordagem é perfeita em todos os aspectos:

Sistema	Pontuação Composta Global	Custo (por 150 consultas)	Destaque
GPT-4o Full-Context	0.6186 (Maior)	$3.33	Melhor em recuperação factual e síntese emergente.
Engrama	0.5367	$0.67	Melhor em Raciocínio Cruzado (0.6532).
Mem0	0.4809	$0.36	Mais barato, mas mais fraco em fatos e integração.

• Vantagem do Engrama: O Engrama foi o único sistema a superar o contexto completo na tarefa de Integração Cruzada (Cross-Space) (0.6532 vs. 0.6291 do GPT-4o). Isso demonstra que a estrutura de grafos é superior para conectar informações que não estão co-localizadas no texto bruto.
• Custo vs. Qualidade: O Engrama alcança cerca de 87% da pontuação composta do GPT-4o com apenas 20% do custo de inferência (em tempo de consulta).
• Desempenho do Mem0: Embora seja o mais barato, o Mem0 teve o desempenho mais baixo em famílias factuais, sugerindo que a recuperação vetorial plana é insuficiente para memória de longo prazo complexa sem uma estrutura de representação adequada.
• Desafios Comuns: O raciocínio temporal foi difícil para todos os sistemas, incluindo o GPT-4o com contexto completo (pontuação de ~0.39).

4. Análise de Ablação e Tensões de Design

Os autores realizaram ablações no Engrama removendo dois "alavancas" (levers) configuráveis:

• L1: Ativação baseada em entidades + planejador de consultas.
• L3: Camada de resposta tipada (converte evidência em formato específico).

Descoberta Crítica:
Existe uma tensão sistêmica entre a especialização em memória estruturada e a otimização agregada global.

• Remover L1 ou L3 aumentou a pontuação composta global (devido a melhorias em tarefas simples de recuperação factual), mas reduziu significativamente a pontuação de Integração Cruzada.
• Isso indica que os componentes que tornam o Engrama superior em raciocínio complexo (cruzamento de espaços) são os mesmos que introduzem "ruído" ou custos em tarefas mais simples, impedindo que ele supere o contexto completo na média global.

5. Significado e Conclusão

O artigo conclui que:

1. Memória Estruturada é Necessária para Raciocínio Complexo: Para tarefas que exigem integrar informações de diferentes domínios da vida do usuário, a recuperação baseada em grafos supera tanto a abordagem de "força bruta" (contexto completo) quanto a recuperação vetorial plana.
2. Trade-off Inerente: As arquiteturas de memória atuais enfrentam um problema de coordenação: mecanismos que otimizam o raciocínio cruzado não maximizam automaticamente a utilidade agregada em todas as tarefas.
3. Futuro: O próximo passo não é apenas adicionar mais estrutura, mas criar estruturas mais seletivas — fortes quando necessárias para raciocínio complexo e "silenciosas" para tarefas simples, equilibrando custo e precisão.
4. Limitações: O benchmark é baseado em conversas sintéticas (embora rigorosamente controladas), e a pontuação de "síntese emergente" usa métricas de F1 em tokens em vez de juízes humanos, o que requer cautela na interpretação.

Em resumo, o EngramaBench estabelece que a organização da memória (grafos vs. vetores vs. texto bruto) altera fundamentalmente o comportamento do sistema, oferecendo vantagens mensuráveis em cenários de raciocínio complexo, mesmo que ainda não supere o contexto completo em uma métrica global simples.