TiMem: Temporal-Hierarchical Memory Consolidation for Long-Horizon Conversational Agents

1. Declaração do Problema

Agentes conversacionais de longo horizonte enfrentam um gargalo crítico: os históricos de interação crescem sem limites, excedendo rapidamente as janelas de contexto finitas dos Modelos de Linguagem de Grande Escala (LLMs). As estruturas de memória existentes frequentemente falham em abordar dois problemas-chave:

• Falta de Estrutura Temporal: A maioria dos sistemas depende da similaridade semântica para recuperação, tratando o tempo como metadado auxiliar. Isso leva a memórias fragmentadas, onde evidências de períodos diferentes são agregadas sem limites temporais claros, causando personalização instável.
• Consolidação Ineficiente: Os métodos atuais ou armazenam o contexto bruto (ineficiente) ou utilizam abordagens paramétricas (limitadas pela arquitetura do modelo) sem transformar explicitamente detalhes episódicos em representações de persona estáveis e abstraídas.

O desafio central é transformar experiências de longo prazo e dinâmicas em representações compactas e fundamentadas temporalmente que suportem tanto a precisão factual quanto a modelagem de persona estável.

2. Metodologia: A Estrutura TiMem

O TiMem introduz uma estrutura de Memória Temporal-Hierárquica que trata a continuidade temporal como um princípio organizador de primeira classe. Opera sem exigir ajuste fino adicional do LLM subjacente. A estrutura consiste em três componentes principais:

A. Árvore de Memória Temporal (TMT)

A TMT é uma estrutura hierárquica que organiza memórias através de cinco níveis de abstração, impondo contenção temporal explícita (intervalos pais cobrem intervalos filhos):

1. Segmentos (L1): Resumos factuais de alta granularidade de turnos individuais de diálogo.
2. Sessões (L2): Resumos de eventos mesclados e não redundantes para uma sessão de conversa específica.
3. Diário (L3): Captura contextos rotineiros e interesses recorrentes dentro de um dia.
4. Semanal (L4): Integra características comportamentais em evolução e padrões de preferência.
5. Perfil (L5): Uma representação de persona estável e refinada incrementalmente (atualizada mensalmente) que captura valores centrais, personalidade e preferências de longo prazo.

B. Consolidação de Memória

Este módulo converte diálogos brutos em memórias estruturadas usando prompting guiado por instruções em vez de ajuste fino.

• Processo: Um "Consolidador de Memória" recebe memórias filhas (do nível abaixo), contexto histórico (uma janela deslizante de memórias do mesmo nível) e prompts de instrução específicos do nível para gerar o próximo nível de abstração.
• Agendamento:
  • Online: Segmentos L1 são gerados imediatamente após cada troca usuário-assistente.
  • Agendado: Níveis superiores (L2–L5) são gerados automaticamente quando suas janelas temporais (por exemplo, fim do dia, semana, mês) se encerram.

C. Recuperação de Memória Consciente de Complexidade

Em vez de recuperar todas as memórias, o TiMem adapta o escopo de recuperação com base na complexidade da consulta:

1. Planejador de Recuperação: Um LLM analisa a consulta do usuário para classificá-la como Simples (factual), Híbrida (integração de múltiplos fatos) ou Complexa (raciocínio/previsão). Ele determina quais níveis da TMT pesquisar (por exemplo, consultas simples pulam camadas intermediárias e vão direto para fatos e perfis; consultas complexas percorrem toda a hierarquia).
2. Recuperação Hierárquica:
   • Seleção de Folhas: Usa pontuação de canal duplo (similaridade semântica + correspondência lexical) para selecionar segmentos L1 relevantes.
   • Propagação: Coleta os ancestrais das folhas selecionadas até os níveis especificados pelo planejador.
3. Portão de Recuperação: Uma etapa final de filtragem onde um LLM decide quais memórias candidatas reter com base na consulta e complexidade, removendo redundância e ruído irrelevante antes de alimentar o contexto para o gerador de respostas.

3. Contribuições Principais

1. Árvore de Memória Temporal (TMT): Uma estrutura inovadora que impõe contenção temporal explícita e granularidade, organizando memórias desde segmentos brutos até perfis abstratos.
2. Consolidação Guiada por Instruções: Uma estrutura plug-and-play que abstrai progressivamente diálogos brutos em padrões e personas usando engenharia de prompts, sem exigir ajuste fino do modelo.
3. Recuperação Adaptativa à Complexidade: Um mecanismo de recuperação dinâmico que equilibra precisão e eficiência ajustando o escopo de busca e a profundidade de filtragem com base na complexidade da consulta.
4. Avaliação Abrangente: Demonstra desempenho de última geração com ganhos significativos de eficiência, apoiado por análise de variedade mostrando melhor separação de persona e supressão de ruído.

4. Resultados Experimentais

O TiMem foi avaliado em dois benchmarks conversacionais de longo prazo: LoCoMo e LongMemEval-S.

• Precisão:
  • LoCoMo: Alcançou 75,30% de precisão (LLM como Juiz), superando a melhor linha de base (MemOS com 69,24%).
  • LongMemEval-S: Alcançou 76,88% de precisão, superando todas as linhas de base.
• Eficiência:
  • O TiMem reduziu o comprimento da memória recuperada em 52,20% no LoCoMo em comparação com as linhas de base (511 tokens vs. ~1070 tokens para o Mem0), reduzindo significativamente os custos de inferência e a latência.
• Análise de Variedade:
  • No LoCoMo, a consolidação hierárquica melhorou a separação de usuários (qualidade de agrupamento aumentou 6,2×), destilando efetivamente características únicas de persona.
  • No LongMemEval-S, a consolidação reduziu a dispersão espacial em 50%, suprimindo ruído enquanto retinha atributos centrais.
• Estudos de Ablação: Confirmaram que a hierarquia completa (L1–L5) combinada com o planejador adaptativo e o portão produz os melhores resultados. A remoção da hierarquia ou do mecanismo de portão levou a quedas significativas de desempenho ou aumento do comprimento do contexto.

5. Significado

O TiMem representa uma mudança de paradigma no design de memória para agentes de longo horizonte:

• Continuidade Temporal como Restrição: Ao priorizar o tempo sobre a similaridade semântica pura, o TiMem constrói cadeias de evidência coerentes essenciais para raciocínio contrafactual e personalização estável.
• Escalabilidade: A capacidade de comprimir diálogos brutos em perfis de alto nível permite que agentes mantenham contexto de longo prazo sem aumentar linearmente o uso de tokens.
• Interpretabilidade: A estrutura hierárquica fornece um rastro claro desde fatos brutos até traços abstratos, tornando a "memória" do agente mais transparente e depurável.
• Praticidade: A estrutura é agnóstica ao modelo e não requer ajuste fino, tornando-a imediatamente aplicável a backends de LLM existentes para construir companheiros personalizados robustos e de longo prazo.