MemWeaver: A Hierarchical Memory from Textual Interactive Behaviors for Personalized Generation

Resumo Técnico: MemWeaver

Declaração do Problema

O cenário do engajamento entre usuário e internet está mudando da dependência de sinais de feedback implícitos (ex: cliques, navegação) para a utilização de comportamentos interativos textuais explícitos e ricos. Embora essa mudança forneça uma narrativa de alta fidelidade dos interesses do usuário, as abordagens de personalização predominantes permanecem limitadas. Métodos tradicionais, enraizados em filtragem colaborativa baseada em ID, falham em interpretar o conteúdo semântico da linguagem. Por outro lado, as atuais abordagens de Geração Aumentada por Recuperação (RAG) frequentemente tratam o histórico do usuário como uma lista plana e não estruturada de fragmentos de texto. Esses métodos geralmente dependem de heurísticas de recuperação simplistas (ex: recência ou similaridade) e falham em modelar a evolução temporal intrincada dos interesses do usuário e as conexões semânticas latentes entre tópicos díspares. Consequentemente, os sistemas existentes têm dificuldade em alcançar uma personalização profunda que se alinhe com as preferências dinâmicas e sutis do usuário.

Metodologia: MemWeaver

Para enfrentar essas limitações, os autores propõem o MemWeaver, um framework que tece todo o histórico textual de um usuário em uma memória hierárquica composta por dois componentes complementares: Memória Comportamental e Memória Cognitiva.

1. Construção da Memória

O framework transforma o histórico bruto e cronologicamente ordenado do usuário ($H_u$) em um sistema de memória dupla estruturada:

• Memória Comportamental (Contexto Concreto):

  • Construção do Grafo: Os comportamentos do usuário são representados como nós em um grafo. As arestas são estabelecidas via elos temporais (conectando comportamentos consecutivos) e elos semânticos (conectando comportamentos dentro do mesmo cluster temático, identificado via agrupamento K-means em embeddings).
  • Extração: Para recuperar o contexto relevante para uma consulta específica, o sistema emprega uma caminhada aleatória consciente do contexto (context-aware random walk). Este processo simula a recuperação associativa humana, transitando entre nós com base em uma pontuação que equilibra a relevância semântica à consulta com vieses temporais (recência e continuidade). Isso gera um subconjunto dinâmico do histórico fundamentado em ações específicas e relevantes para a consulta.

• Memória Cognitiva (Preferências Abstratas):

  • Abstração Hierárquica: O histórico do usuário é primeiro particionado em fases temporalmente coerentes com base em pontos de ruptura semânticos.
  • Sumarização: Um processo de LLM em duas etapas sintetiza essas fases. Primeiro, resumos locais são gerados para cada segmento temporal. Segundo, esses resumos são integrados em uma narrativa global única que abstrai as preferências de longo prazo e os traços centrais em evolução do usuário.

2. Geração Aumentada por Memória

O processo de geração final condiciona o Modelo de Linguagem Grande (LLM) em três entradas: a consulta do usuário, a Memória Comportamental extraída e a Memória Cognitiva abstraída.

• A Memória Comportamental fornece exemplos concretos de contexto para fundamentar a resposta em ações específicas do usuário.
• A Memória Cognitiva oferece orientação de alto nível em relação às preferências de longo prazo para garantir a consistência global.
• Esse condicionamento conjunto permite que o modelo equilibre a relevância de curto prazo com o alinhamento de longo prazo do usuário.

3. Atualização Incremental

Para garantir a escalabilidade, o MemWeaver emprega mecanismos de atualização incremental leves. Novos comportamentos são integrados ao grafo sem reconstrução total, e a memória cognitiva é atualizada sintetizando novos resumos locais com os existentes. Esta abordagem limita os custos de tokens e permite a adaptação em tempo real aos interesses em evolução.

Principais Contribuições

1. Framework Inovador: A proposta do MemWeaver, que vai além de logs planos para construir uma memória hierárquica a partir de históricos de interação textual.
2. Metodologia de Memória Dupla: A introdução de uma arquitetura específica apresentando uma Memória Comportamental extraída para contexto concreto e uma Memória Cognitiva abstraída para preferências em evolução.
3. Validação Empírica: Experimentos extensos no benchmark LaMP (Language Model Personalization) em seis conjuntos de dados (cobrindo tarefas de classificação e geração de texto) demonstram desempenho de estado da arte.
4. Análise de Sinergia: Análise aprofundada confirmando que a sinergia entre o embasamento comportamental concreto e a orientação cognitiva abstrata é essencial para a personalização profunda.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark LaMP utilizando Qwen3-8B e Llama-3.1-8B como LLMs de base. O MemWeaver superou baselines fortes, incluindo Vanilla (sem histórico), Random, Recency, BM25, BGE e métodos de recuperação avançados (ROPG, CFRAG).

• Desempenho: O MemWeaver garantiu o topo do desempenho em todas as doze métricas de avaliação (Accuracy, F1, MAE, RMSE, ROUGE-1, ROUGE-L) nos seis conjuntos de dados.
• Estudos de Ablação:
  • A remoção de qualquer uma das memórias, Behavioral ou Cognitive, degradou significativamente o desempenho, confirmando seus papéis indispensáveis e sinérgicos.
  • Dentro da Memória Comportamental, as arestas semânticas mostraram-se mais críticas que as arestas temporais para o desempenho, embora ambas sejam necessárias. O mecanismo de ponderação de arestas foi identificado como o componente mais crítico.
  • Dentro da Memória Cognitiva, a segmentação hierárquica e as etapas de resumo global foram provadas essenciais para capturar a evolução dos interesses e traços centrais.
• Eficiência: A estratégia de atualização incremental alcançou desempenho comparável à reconstrução total da memória com uma fração do custo computacional, validando sua adequação para implantação contínua.

Significância e Alegações

O artigo afirma que o MemWeaver aborda uma lacuna crítica na personalização: a falta de um framework capaz de derivar memória hierárquica a partir de históricos de interação textual. Ao modelar explicitamente tanto a evolução temporal dos interesses quanto as relações semânticas entre atividades, o framework permite que os LLMs raciocinem sobre comportamentos concretos e traços cognitivos abstratos.

Os autores afirmam que esta abordagem de memória dupla leva a uma geração de conteúdo profundamente alinhada com as preferências latentes do usuário, indo além das limitações dos modelos baseados em ID e da recuperação de texto plano. O trabalho demonstra que uma representação abrangente do usuário requer a modelagem conjunta de correlações temporais e relações semânticas, com a memória comportamental fundamentando o modelo na realidade e a memória cognitiva fornecendo a orientação de alto nível necessária para saídas personalizadas e coerentes.