Mnemis: Dual-Route Retrieval on Hierarchical Graphs for Long-Term LLM Memory

Título: Mnemis: Recuperação de Dupla Rota em Grafos Hierárquicos para Memória de Longo Prazo em LLMs

1. O Problema

Com o avanço dos Grandes Modelos de Linguagem (LLMs) para agentes interativos persistentes, a capacidade de organizar e recuperar memórias históricas torna-se crucial. As abordagens atuais baseiam-se principalmente em:

• RAG (Retrieval-Augmented Generation): Recupera mensagens históricas (Episódios) baseando-se em similaridade semântica.
• Graph-RAG: Estrutura a memória em grafos (Entidades e Arestas) para melhorar o contexto semântico.

Limitações Atuais:
Embora eficientes, esses métodos operam predominantemente como um processo de Sistema 1 (rápido, intuitivo, baseado em similaridade). Eles falham em cenários que exigem:

1. Raciocínio Global: Perguntas que requerem uma visão abrangente de todas as informações relevantes, não apenas as mais próximas semanticamente.
2. Cobertura Completa: A recuperação baseada apenas em similaridade pode perder informações estruturalmente relevantes mas semanticamente distantes (ex: um evento mencionado em uma mensagem longa com pouca relação direta com a consulta).
3. Geração de Sub-consultas: Tentativas de iterar sub-consultas falham quando o modelo não possui uma visão global da memória para expandir a consulta de forma significativa.

2. Metodologia: A Arquitetura Mnemis

O Mnemis propõe um novo framework que integra dois mecanismos de recuperação, inspirados na teoria do processamento duplo de Kahneman (Sistema 1 e Sistema 2), organizando a memória em dois componentes de armazenamento e duas rotas de recuperação complementares.

A. Componentes de Armazenamento

1. Grafo Base (Base Graph):

   • Similar ao Graph-RAG tradicional.
   • Extrai Episódios (textos brutos), Entidades (pessoas, lugares, objetos), Arestas (relações/fatos) e Arestas Episódicas (ligação entre entidades e episódios).
   • Suporta a recuperação baseada em similaridade (Sistema 1).
   • Inclui um pipeline de extração refinado com deduplicação e reflexão para garantir qualidade.

2. Grafo Hierárquico (Hierarchical Graph):

   • Abstrai as Entidades (Camada 0) em Categorias de múltiplos níveis (Camadas superiores).
   • Permite uma navegação de cima para baixo (top-down) deliberada.
   • Princípios de Construção:
     • Abstração Mínima de Conceito: As categorias devem ser específicas o suficiente para serem informativas, mas gerais o suficiente para permitir abstração.
     • Mapeamento Muitos-para-Muitos: Uma entidade pode pertencer a múltiplas categorias, capturando diferentes facetas semânticas (diferente de árvores rígidas onde um nó tem apenas um pai).
     • Restrição de Eficiência de Compressão: Regras para garantir que as camadas superiores tenham menos nós que as inferiores, evitando grafos inflados.

B. Mecanismos de Recuperação (Dupla Rota)

1. Sistema 1: Recuperação por Similaridade (Similarity Search):

   • Realiza uma busca heurística rápida baseada em embeddings (cosine similarity) e busca de texto completo (BM25).
   • Recupera os top-k Episódios, Entidades e Arestas mais relevantes semanticamente.
   • Usa Reciprocal Rank Fusion (RRF) para reclassificar os resultados.

2. Sistema 2: Seleção Global (Global Selection):

   • Um processo deliberado e estruturado que navega pelo Grafo Hierárquico de cima para baixo.
   • O LLM seleciona categorias relevantes na camada superior e desce progressivamente até as entidades específicas.
   • Recupera todas as entidades, arestas e episódios conectados às entidades selecionadas.
   • Vantagem: Capaz de encontrar informações que não são semanticamente próximas à consulta, mas são estruturalmente relevantes (ex: encontrar "Detroit" ao navegar por "Geografia" -> "Locais Geográficos", mesmo que a consulta não mencione a cidade diretamente).

3. Fusão e Re-classificação:

   • Os resultados de ambas as rotas são unidos e re-classificados por um modelo de re-ranking (ex: Qwen3-Reranker) para gerar o contexto final para a resposta.

3. Principais Contribuições

• Framework Mnemis: Integração inovadora de busca por similaridade (Sistema 1) com seleção global deliberada (Sistema 2) para memória de longo prazo.
• Grafo Hierárquico Dinâmico: Construção de uma hierarquia semântica com mapeamento muitos-para-muitos, permitindo recuperação multi-perspectiva e evitando a rigidez de árvores tradicionais.
• Desempenho SOTA: Demonstra superioridade significativa em benchmarks de memória de longo prazo, superando métodos baseados apenas em RAG, Graph-RAG e contextos completos.
• Eficiência e Escalabilidade: Uso de early stopping na seleção global para reduzir custos de inferência e otimização de extração de dados.

4. Resultados Experimentais

O Mnemis foi avaliado em dois benchmarks principais: LoCoMo e LongMemEval-S, utilizando modelos de linguagem como GPT-4.1-mini e GPT-4o-mini.

• Desempenho no LoCoMo:
  • Pontuação geral: 93.9 (com GPT-4.1-mini), superando todos os baselines (o próximo melhor, EverMemOS, obteve 92.3).
  • Melhoria significativa em tarefas complexas de Multi-Hop (89.7 vs 74.7 do melhor baseline) e Raciocínio Temporal.
• Desempenho no LongMemEval-S:
  • Pontuação geral: 91.6 (com GPT-4.1-mini), superando o segundo melhor (EverMemOS com 82.0).
  • Destaque em raciocínio de múltiplas sessões e atualização de conhecimento.
• Análise de Ablação:
  • A combinação de Sistema 1 + Sistema 2 superou significativamente o uso isolado de qualquer um dos dois.
  • O Sistema 2 foi crucial para resolver problemas enumerativos e de descoberta de raízes causais que a similaridade pura falhava em capturar (ex: identificar que um problema de saúde era motivado por "peso" e não apenas por "gastrite").
  • O modelo é robusto a variações no parâmetro top-k, mantendo alta performance mesmo com orçamentos de contexto menores.

5. Significado e Impacto

O trabalho do Mnemis representa um avanço fundamental na arquitetura de memória para agentes de IA:

1. Superação da Limitação de Similaridade: Demonstra que a recuperação de memória não deve depender apenas de "o que soa parecido", mas também de "o que está estruturalmente conectado".
2. Analogia Cognitiva: A aplicação prática da distinção entre Sistema 1 (rápido) e Sistema 2 (lento/deliberado) em sistemas de IA oferece uma nova direção para o design de agentes autônomos.
3. Viabilidade para Longo Prazo: Oferece uma solução escalável para gerenciar anos de interações, onde o contexto completo não cabe na janela de atenção do modelo, garantindo que informações críticas não sejam perdidas devido à distância semântica.

Em resumo, o Mnemis estabelece um novo estado da arte ao provar que uma abordagem híbrida, combinando busca semântica rápida com navegação estruturada deliberada, é essencial para a verdadeira inteligência de longo prazo em LLMs.