MemORAI: Memory Organization and Retrieval via Adaptive Graph Intelligence for LLM Conversational Agents

Resumo Técnico: MemORAI

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) atualmente carecem de capacidades de memória persistente necessárias para conversas personalizadas de longo prazo. Embora a Geração Aumentada por Recuperação (RAG) e os sistemas baseados em vetores tenham avançado na fundamentação factual, eles lutam com estruturas relacionais e temporais inerentes a diálogos de múltiplas sessões. Os sistemas de memória baseados em grafos existentes exibem limitações críticas: frequentemente sofrem de diluição de informações ao falharem em filtrar diálogos genéricos de conteúdo relevante para a persona do usuário; carecem de rastreamento granular de proveniência, dificultando a auditoria das origens factuais das informações recuperadas; e empregam mecanismos de recuperação uniformes (como o PageRank padrão) que ignoram o contexto da consulta, levando a um ranqueamento subótimo de nós semanticamente relevantes, mas estruturalmente esparsos.

Metodologia
O MemORAI (Organização e Recuperação de Memória via Inteligência Adaptativa de Grafos) aborda essas lacunas por meio de um pipeline de três fases projetado para integrar armazenamento seletivo, representação enriquecida e recuperação adaptativa.

1. Segmentação de Sessão e Compressão Seletiva:
   O sistema primeiro decompõe conversas brutas de múltiplas sessões em segmentos semanticamente coerentes. Um "portão de memória" aplica então filtragem seletiva, retendo apenas mensagens contendo conteúdo episódico específico do usuário (por exemplo, fatos pessoais, preferências, compromissos) enquanto descarta discursos genéricos. Para evitar a perda de contexto global, o sistema gera resumos em nível de segmento para o conteúdo descartado. Essa abordagem de dupla camada armazena conteúdo pessoal de granularidade fina ao lado de âncoras contextuais globais, reduzindo significativamente a sobrecarga de armazenamento e o ruído.

2. Construção de Grafo Enriquecido com Proveniência:
   A partir do conteúdo filtrado, o MemORAI constrói um grafo de conhecimento heterogêneo e multi-relacional ($G = (V, E)$). O grafo inclui três tipos de nós:

   • Nós de entidade: Armazenam nomes e descrições detalhadas em linguagem natural (por exemplo, "Alex — engenheiro de software...") vinculados a IDs específicos de turno.
   • Nós de turno: Armazenam o texto bruto do turno da conversa.
   • Nós de segmento: Armazenam os resumos em nível de segmento.
     As arestas conectam entidades às suas menções, turnos a segmentos e entidades a outras entidades por meio de relações tipadas. Crucialmente, cada tripla e nó inclui proveniência explícita em nível de turno, permitindo auditoria transparente das origens factuais.

3. Recuperação e Ranqueamento de Subgrafo Adaptativo à Consulta:
   Ao receber uma consulta do usuário, o sistema não percorre todo o grafo de memória. Em vez disso, realiza recuperação paralela de múltiplos aspectos para identificar os nós iniciais (segmentos, entidades e relações) top-$k$ com base na similaridade semântica. Em seguida, constrói um subgrafo esparsificado e focado na consulta expandindo um hop a partir desses sementes.
   O ranqueamento é realizado usando PageRank Ponderado Dinâmico (DW-PR). Diferentemente do PageRank tradicional ou de métodos de propagação uniformes, o DW-PR modula a propagação de pontuação com base em pesos de aresta condicionados à consulta. Os pesos das arestas são calculados como a similaridade de cosseno entre a consulta e a descrição do nó conectado ou da relação. Isso garante que evidências semanticamente alinhadas sejam priorizadas, mesmo que o nó esteja esparsamente conectado, impedindo que o viés estrutural ofusque a memória contextualmente crítica.

Principais Contribuições
O artigo identifica três inovações primárias:

• Filtragem Seletiva de Memória: Um mecanismo que retém apenas conteúdo relevante para a persona do usuário, preservando o contexto global por meio de resumos de segmento, melhorando tanto a eficiência de armazenamento quanto a precisão da recuperação.
• Grafo de Conhecimento Enriquecido com Proveniência: Uma arquitetura heterogênea com rastreamento explícito de proveniência em nível de turno, permitindo recuperação de granularidade fina e auditoria transparente das origens factuais.
• PageRank Ponderado Dinâmico: Um método de recuperação adaptativo à consulta que aplica ponderação de arestas condicionada à consulta durante a travessia, permitindo que o sistema priorize evidências semanticamente alinhadas sem travessia exaustiva do grafo.

Resultados Experimentais
O MemORAI foi avaliado nos benchmarks LongMemEval-s e LOCOMO-10, que visam memória conversacional de longo horizonte. O framework foi comparado a um conjunto diversificado de baselines, incluindo baselines de contexto completo, modelos de recuperação densa (por exemplo, Contriever, BGE-M3) e abordagens RAG estruturadas (por exemplo, HippoRAG 2, RAPTOR).

• Desempenho de Recuperação: O MemORAI alcançou desempenho de última geração tanto na recuperação em nível de sessão quanto em nível de turno. No LongMemEval-s, atingiu um Recall@3 em nível de sessão de 90,17% e um Recall@3 em nível de turno de 71,13%, superando baselines baseadas em grafos robustas como o HippoRAG 2 (75,53% sessão, 27,80% turno).
• Desempenho de Geração: Em termos de geração de respostas, o MemORAI alcançou as maiores pontuações do avaliador GPT-4o (75,55% no LongMemEval-s e 60,22% no LOCOMO-10) e métricas lexicais superiores (F1, BLEU, ROUGE) em comparação com todas as baselines.
• Estudos de Ablação: Experimentos controlados confirmaram que a segmentação de tópicos fornece o prior estrutural mais forte para a organização da memória, enquanto a ponderação dinâmica de arestas melhorou consistentemente a precisão da recuperação em relação à ponderação uniforme. O uso de subgrafos focados na consulta reduziu a latência sem sacrificar o recall.

Significado e Alegações
O artigo afirma que o MemORAI demonstra que armazenamento seletivo, representação enriquecida e recuperação adaptativa são essenciais para agentes LLM coerentes e personalizados. Ao integrar esses componentes, o framework preenche a lacuna entre a precisão da recuperação e a fidelidade da geração. Os autores afirmam que sua abordagem supera as limitações dos sistemas existentes ao filtrar a diluição de informações, rastrear a proveniência em nível de turno e adaptar os pesos de recuperação às semânticas da consulta.

O artigo reconhece limitações, observando que a dependência de proveniência em nível de turno e de vinculação de entidades estática pode limitar a adaptabilidade em contextos altamente dinâmicos onde a intenção do usuário muda abruptamente. Além disso, o sistema atualmente incorre em maior sobrecarga computacional durante a fase de indexação em comparação com pipelines leves baseados apenas em embeddings, embora isso seja desacoplado da latência de inferência em tempo real. Os autores sugerem que trabalhos futuros poderiam aproveitar a destilação de conhecimento para otimizar o framework para ambientes com recursos restritos.