MemX: A Local-First Long-Term Memory System for AI Assistants

O artigo apresenta o MemX, um sistema de memória de longo prazo "local-first" para assistentes de IA, desenvolvido em Rust com foco em estabilidade e explicabilidade, que utiliza uma pipeline de recuperação híbrida (vetorial, por palavras-chave e reclassificação) para alcançar alta precisão em benchmarks de recuperação e latência ultrabaixa, estabelecendo uma base reprodutível para implantação local.

O essencial

🧠 O MemX: A Memória de Longo Prazo do Seu Assistente de IA

Imagine que você tem um assistente pessoal superinteligente. Ele é ótimo em responder perguntas no momento, mas tem um defeito grave: ele tem amnésia. Assim que você fecha a conversa, ele esquece tudo o que você disse, suas preferências, os projetos em que vocês trabalharam ou as regras que você definiu.

O MemX é a solução para esse problema. É um sistema que dá ao assistente uma "memória de longo prazo" que fica guardada no seu próprio computador (não na nuvem de uma empresa), de forma segura e rápida.

Aqui está como ele funciona, dividido em partes simples:

1. O Guardião da Privacidade (Local-First)

A maioria dos assistentes hoje guarda suas memórias em servidores gigantes na internet. O MemX é diferente: ele guarda tudo em um único arquivo no seu computador.

• Analogia: É como ter um diário pessoal trancado no seu quarto, em vez de escrever num quadro branco na praça pública. Você é o único dono das chaves. Isso significa que, mesmo se a internet cair, seu assistente ainda lembra de tudo.

2. O Detetive de Memórias (Como ele busca informações)

Quando você faz uma pergunta, o MemX não apenas "chuta" a resposta. Ele age como um detetive experiente usando duas pistas ao mesmo tempo:

• Pista 1 (Significado): Ele entende o sentido da sua pergunta, mesmo que você use palavras diferentes. (Ex: "Qual o preço do café?" vs "Quanto custa o grão?").
• Pista 2 (Palavras-chave): Ele procura por palavras exatas que você usou, como um índice de livro.

O sistema combina essas duas pistas (uma técnica chamada Fusão de Rank Recíproco) para garantir que ele não perca nada importante. É como ter dois especialistas revisando o mesmo caso: um foca no contexto e o outro nas palavras exatas.

3. O Filtro de "Não Inventar Coisas" (Rejeição de Baixa Confiança)

Este é o ponto mais importante do MemX. Muitos assistentes de IA tendem a "alucinar" (inventar respostas) quando não sabem a verdade.

• O Problema: Se você perguntar algo que o assistente nunca aprendeu, ele pode tentar inventar uma resposta para parecer útil.
• A Solução do MemX: Ele tem um "guarda de segurança" rigoroso. Se a memória não tiver a resposta e a confiança na busca for baixa, o sistema diz: "Não sei, e não vou inventar nada."
• Analogia: Imagine um bibliotecário. Se você pede um livro que não existe na estante, um bibliotecário ruim inventa um título. O MemX é o bibliotecário honesto que diz: "Não temos esse livro aqui, não vou mentir para você."

4. A Regra do "Mais Recente e Mais Útil" (Reclassificação)

O sistema não mostra apenas o que ele acha que é relevante; ele organiza as memórias para mostrar as melhores primeiro. Ele usa quatro fatores para decidir o que é mais importante:

1. Semelhança: Quão parecido é com sua pergunta?
2. Recência: Quando foi a última vez que essa informação foi usada? (Memórias antigas e esquecidas perdem peso).
3. Frequência: Quantas vezes essa informação foi útil em buscas anteriores?
4. Importância: Você marcou algo como "muito importante"?

• Analogia: É como organizar sua mesa de trabalho. Você coloca os documentos que usa todo dia (e que são recentes) no topo da pilha, e os papéis velhos que ninguém toca vai para o fundo ou para o lixo.

5. O Teste de Fogo (Os Resultados)

Os criadores testaram o MemX em duas situações:

• Cenário Realista: Perguntas sobre preferências de café, regras de código e procedimentos de trabalho. O sistema acertou 91% a 100% das respostas corretas e, o mais importante, não inventou nada quando não sabia a resposta.
• Cenário de Grande Escala: Testaram com mais de 220.000 registros (como uma biblioteca gigante). Descobriram que, se você guardar as informações em "pedacinhos" menores e mais detalhados (fatos), a precisão dobra.

6. Velocidade Relâmpago

Um dos maiores desafios de ter uma memória gigante é a lentidão. O MemX usa uma tecnologia especial de indexação (FTS5) que torna a busca extremamente rápida.

• Analogia: Sem essa tecnologia, procurar um item em 100.000 registros seria como procurar uma agulha num palheiro procurando agulha por agulha (levaria horas). Com o MemX, é como usar um scanner de raio-x que encontra a agulha em milissegundos.

Resumo Final

O MemX é um sistema de memória para assistentes de IA que prioriza:

1. Privacidade: Tudo fica no seu computador.
2. Honestidade: Ele prefere dizer "não sei" a inventar uma mentira.
3. Precisão: Ele usa inteligência combinada (palavras + significado) para achar a resposta certa.
4. Velocidade: Funciona rápido mesmo com milhares de memórias.

É como dar ao seu assistente um cérebro que não esquece, mas que também tem o bom senso de não inventar histórias quando não tem a informação.

Resumo técnico

Resumo Técnico: MemX

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) atuais possuem forte compreensão em turnos únicos, mas são estadosis (stateless) entre sessões. Sem uma camada de memória persistente, assistentes de IA não conseguem reter preferências do usuário, convenções de projetos, procedimentos operacionais ou restrições específicas de domínio de forma confiável.
Embora a Geração Aumentada por Recuperação (RAG) seja o paradigma dominante para conectar LLMs a conhecimento externo, a maioria dos sistemas foca em corpora de documentos estáticos, não em memórias pessoais incrementais construídas durante interações diárias. Além disso, soluções existentes geralmente assumem implantação em nuvem, ignorando a necessidade de sistemas locais (local-first) que garantam privacidade total, operação offline e baixa latência, além de enfrentarem o desafio de equilibrar a recuperação de informações relevantes com a rejeição de resultados espúrios quando nenhuma memória pertinente existe.

2. Metodologia e Arquitetura do Sistema

O MemX é um sistema de memória de longo prazo implementado em Rust, utilizando libSQL (uma fork de SQLite) para armazenamento e uma API de embeddings compatível com OpenAI. O sistema segue quatro princípios de design: implantação local-first, simplicidade estrutural, avaliação com embeddings reais e foco na estabilidade em detrimento da recuperação máxima (recall).

Pipeline de Recuperação Híbrida:
O fluxo de busca segue um processo determinístico (Algoritmo 1):

1. Codificação: A consulta é codificada em vetores (usando o modelo Qwen3-Embedding-0.6B, 1024 dimensões).
2. Recuperação Paralela:
   • Caminho Vetorial: Busca por similaridade semântica (via extensão de vetores do libSQL/DiskANN).
   • Caminho de Palavras-Chave: Correspondência exata de termos usando FTS5 (Full-Text Search 5) do SQLite.
3. Fusão (RRF): Os dois conjuntos de candidatos são combinados usando Reciprocal Rank Fusion (RRF) para integrar sinais semânticos e lexicais.
4. Reclassificação (Re-ranking): Uma função de pontuação composta pondera quatro fatores:
   • Similaridade Semântica ($\alpha_s = 0.45$)
   • Recência ($\alpha_r = 0.25$): Baseada na última recuperação, não no acesso administrativo.
   • Frequência ($\alpha_f = 0.05$): Baseada no número de recuperações.
   • Importância ($\alpha_i = 0.10$): Anotação explícita.
   • Nota: Os scores são normalizados via Z-score e transformados por sigmoide.
5. Rejeição de Baixa Confiança: Se o conjunto de palavras-chave estiver vazio E a pontuação máxima de similaridade vetorial estiver abaixo de um limiar ($\tau = 0.50$), o sistema retorna um conjunto vazio. Isso evita alucinações em consultas sem resposta.
6. Deduplicação: Remove registros idênticos e aplica um filtro de "assinatura de tags" para garantir diversidade de tópicos nos resultados finais.

Separação de Acesso vs. Recuperação:
O sistema distingue explicitamente entre "Acesso" (leitura administrativa) e "Recuperação" (resultado de busca). Apenas as recuperações influenciam os sinais de recência e frequência, evitando que leituras administrativas inflacionem artificialmente a relevância de uma memória.

3. Principais Contribuições

1. Implementação Completa Local: Um sistema de memória de longo prazo totalmente local, com pipeline de recuperação híbrida e rastreamento explícito de acesso/recuperação.
2. Framework de Benchmark Reprodutível: Um framework que invoca funções de busca internas diretamente (sem HTTP), usa APIs de embeddings ao vivo e suporta varredura de limiares e relatórios estruturados em JSON.
3. Avaliação Empírica em Cenários Customizados: Análise de 43 consultas em cenários em chinês (padrão e alta confusão), validando a robustez do pipeline e a rejeição conservadora de consultas sem resposta.
4. Estudo de Granularidade de Armazenamento: Análise no benchmark LongMemEval (500 consultas, até 220k registros) demonstrando que a granularidade de "fatos" (atomicos) supera significativamente a granularidade de "sessão" ou "rodada".

4. Resultados Experimentais

Cenários Customizados (43 consultas, até 1.014 registros):

• Precisão: Hit@1 de 91,3% (cenário padrão) e 100% (cenário de alta confusão).
• Rejeição: O sistema consegue suprimir consultas sem resposta (miss queries) com uma taxa de rejeição estrita de 100% no cenário padrão, evitando alucinações.
• Latência: Com a indexação FTS5, a busca por palavras-chave em 100k registros leva apenas 2,9 ms, reduzindo a latência total em 1.100x comparado à busca LIKE tradicional. A latência total de busca permanece abaixo de 90 ms mesmo em 220k registros.

Benchmark LongMemEval (500 consultas, até 220.349 registros):

• Impacto da Granularidade: A granularidade em nível de fato (extração de fatos atômicos) dobrou a qualidade de recuperação em comparação com o nível de sessão.
  • Hit@5: Aumentou de 24,6% (sessão) para 51,6% (fatos).
  • MRR: Aumentou de 0,183 para 0.380.
• Limitações Atuais: O desempenho cai significativamente em raciocínio temporal e multi-sessão (Hit@5 $\le$ 43,6%), indicando que a recuperação vetorial simples não é suficiente para essas tarefas complexas.
• Ablação: A regra de rejeição foi o componente mais crítico para evitar falsos positivos. A deduplicação baseada em tags melhorou a diversidade em dados estruturados, mas reduziu o recall em dados atômicos sem tags.

5. Significado e Conclusão

O MemX estabelece uma linha de base sólida e reprodutível para assistentes de IA locais. O trabalho demonstra que:

1. Simplicidade Funciona: Um pipeline estruturalmente simples (Híbrido + RRF + Rejeição) é altamente eficaz para cenários de assistente pessoal local.
2. Granularidade é Crucial: Para memórias de grande escala, a qualidade da extração de fatos atômicos (granularidade) impacta mais a performance do que a complexidade do pipeline de recuperação.
3. Estabilidade sobre Recall Máximo: A introdução de regras de rejeição conservadoras e a separação de sinais de acesso/recuperação são essenciais para garantir que o assistente não "alucine" respostas quando a memória não contém a informação.
4. Viabilidade Técnica Local: É possível manter latências baixas (<90ms) e alta precisão em dispositivos locais com indexação adequada (FTS5 + DiskANN), sem depender de infraestrutura em nuvem.

O sistema identifica claramente os próximos passos para pesquisa: melhorar o raciocínio temporal e multi-sessão, implementar regras de rejeição mais sofisticadas (ex: cross-encoders) e adicionar atribuição de tarefas para aprendizado em loop fechado.