HiGMem: A Hierarchical and LLM-Guided Memory System for Long-Term Conversational Agents

Título: HiGMem: Um Sistema de Memória Hierárquico e Guiado por LLM para Agentes Conversacionais de Longo Prazo

1. O Problema

Agentes conversacionais baseados em Grandes Modelos de Linguagem (LLMs) necessitam de sistemas de memória eficazes para recuperar evidências relevantes de interações históricas sem sobrecarregar a fase de geração de respostas com contexto irrelevante.

• Limitação Atual: Os sistemas existentes, incluindo os hierárquicos, dependem predominantemente da similaridade vetorial para recuperação.
• Consequências: Essa abordagem tende a produzir conjuntos de evidências "inchados" (bloated). Após recuperar as memórias mais relevantes, adicionar mais fragmentos superficialmente similares resulta em:
  • Ganhos decrescentes no recall (recuperação).
  • Erosão da precisão da recuperação.
  • Aumento excessivo do custo de contexto (tokens) na fase de resposta.
  • Dificuldade em inspecionar e gerenciar as evidências.
• Causa Raiz: A similaridade vetorial sozinha não possui mecanismos de raciocínio para avaliar, em diferentes níveis de abstração, se um detalhe granular específico contribui realmente para responder a uma consulta.

2. Metodologia: HiGMem

O HiGMem propõe um sistema de memória de dois níveis (Evento-Turno) que utiliza o LLM para guiar a recuperação, substituindo a recuperação passiva por uma ativa e baseada em raciocínio.

A. Arquitetura de Memória Hierárquica (Dois Níveis)
O sistema organiza a memória em duas camadas interligadas bidirecionalmente:

1. Camada de Turno (Turn Layer): A base da granularidade. Cada nó de "Turno" representa uma interação bruta enriquecida com metadados gerados por LLM (palavras-chave, tags, timestamp, contexto).
2. Camada de Evento (Event Layer): O nível superior de abstração. Agrupa nós de Turno relacionados em unidades narrativas coerentes. Cada nó de "Evento" contém:
   • Um resumo curto (semantic anchor).
   • Uma folha de fatos estruturada (fact sheet) que orquestra a linha do tempo e mantém links explícitos para os nós de Turno subjacentes.

B. Mecanismo de Construção de Memória

• Análise de Turno: Ao ingerir um novo turno de diálogo, um LLM analisa o contexto local (janela deslizante) para extrair metadados e criar um nó de Turno estruturado.
• Afiliação e Atualização de Eventos: O sistema calcula a similaridade vetorial entre o novo turno e os eventos existentes. Um LLM decide a qual evento(s) o novo turno deve ser afiliado.
  • Se o volume do evento for pequeno, o resumo e a folha de fatos são totalmente atualizados.
  • Se o volume for grande, apenas uma nova entrada é anexada.

C. Estratégia de Recuperação Guiada por LLM
Para responder a uma consulta $Q$:

1. Geração de Palavras-chave: O LLM analisa a consulta para gerar palavras-chave.
2. Recuperação Semântica Dupla: O sistema recupera candidatos tanto da camada de Turno ($T_{semantic}$) quanto da camada de Evento ($E_{semantic}$) usando similaridade vetorial.
3. Ancoragem Semântica e Predição: Os nós de Evento recuperados ($E_{semantic}$) atuam como âncoras semânticas. O LLM avalia os turnos vinculados a esses eventos e prediz quais turnos específicos valem a pena ler para responder à consulta, gerando um conjunto inferido ($T_{pred}$).
4. Filtragem Final: O sistema combina os turnos semânticos e os preditos, aplicando uma filtragem baseada em LLM para criar o conjunto final de evidências ($T_{final}$), que é compacto e preciso.

3. Contribuições Principais

1. Novo Paradigma de Recuperação: Combina abstração hierárquica com filtragem guiada por LLM. Permite que o sistema entregue conjuntos de evidências concisos e confiáveis através de raciocínio, evitando o custo proibitivo de aplicar raciocínio de LLM a todas as memórias armazenadas.
2. Implementação HiGMem: Um sistema de memória de código aberto avaliado no benchmark LoCoMo10.
3. Eficiência e Precisão: Demonstra que é possível recuperar evidências suficientes com uma ordem de magnitude menos de turnos recuperados em comparação com os baselines mais fortes, mantendo ou melhorando a precisão.

4. Resultados Experimentais

Os testes foram realizados no benchmark LoCoMo10 (10 conversas longas com média de 587 turnos), comparando com ReadAgent, MemoryBank, A-Mem e um baseline de contexto completo (GPT-4o-mini).

• Desempenho (F1 Score): O HiGMem alcançou o melhor F1 em 4 de 5 categorias de perguntas (Multi-hop, Open-Domain, Single-Hop e Adversarial).
  • Nota: Em perguntas temporais, o F1 foi ligeiramente inferior ao A-Mem, sugerindo que a abstração de eventos pode enfraquecer algumas pistas cronológicas finas.
• Qualidade da Recuperação:
  • Redução de Turnos: O HiGMem recuperou, em média, 8.09 turnos por pergunta, contra 99.84 turnos do A-Mem (uma redução de uma ordem de magnitude).
  • Precisão (Precision@K): Aumentou de 0.0101 (A-Mem) para 0.1909 (HiGMem).
  • Recall (Recall@K): Mantido comparável (0.7241 vs 0.7502), provando que menos contexto não significa necessariamente perder informações cruciais.
• Custo e Eficiência:
  • Embora o HiGMem use mais tokens na fase de construção e recuperação (devido às chamadas de LLM intermediárias), ele reduz drasticamente a entrada de tokens na fase de resposta (geração final).
  • Em uma configuração híbrida (usando GPT-4o-mini para memória e GPT-5 para resposta), o custo total estimado caiu de $17.43 para $6.43 (redução de ~2.7x).
• Estudos de Ablação: A remoção da camada de eventos (degradando para um sistema de camada única) resultou em queda tanto no F1 quanto no Recall, confirmando que os resumos de eventos atuam como âncoras semânticas essenciais para reduzir o espaço de busca.

5. Significado e Conclusão

O HiGMem demonstra que a recuperação guiada por raciocínio é uma direção eficaz para sistemas de memória de longo prazo. Ao utilizar resumos de eventos como âncoras semânticas, o sistema consegue prever quais detalhes granulares são relevantes, evitando o "inchaço" de contexto típico da recuperação puramente vetorial.

• Vantagem Prática: É particularmente benéfico em cenários onde um modelo leve gerencia a memória e um modelo mais caro (e lento) gera a resposta final, permitindo economias significativas de custo e latência na fase de inferência final.
• Limitações e Futuro: O sistema ainda depende da capacidade do LLM de julgar relevância a partir de resumos e pode não estar totalmente otimizado para diálogos multi-partes (como demonstrado em testes preliminares no dataset DialSim). Trabalhos futuros focarão em otimizar a estrutura para cenários multi-partes e reduzir a sobrecarga das chamadas intermediárias de LLM.

Em suma, o HiGMem oferece uma base reprodutível e eficiente para a próxima geração de agentes conversacionais autônomos, equilibrando a necessidade de contexto histórico com a eficiência computacional.