Resumo Técnico: Personalizar-antes-de-Armazenar: Avaliação e Aprendizado de Memória Personalizada para Agentes de Longo Horizonte

Declaração do Problema

Os sistemas de memória existentes para Agentes de Modelos de Linguagem de Grande Escala (LLM) dependem predominantemente de políticas universais e estáticas para determinar quais informações armazenar. Essas abordagens "tamanho único" ignoram uma realidade fundamental: os contextos que valem a pena armazenar variam significativamente entre diferentes usuários e seus padrões específicos de interação.

Os sistemas atuais frequentemente desperdiçam orçamentos de memória limitados em interações transitórias e únicas, enquanto falham em preservar contextos críticos para tarefas de longo horizonte. Por exemplo, um usuário que busca "Conselhos de Receita" para um empreendimento comercial de longo prazo requer memória persistente do progresso do projeto, ao passo que outro usuário buscando o mesmo conselho para uma única refeição tem uma necessidade transitória. Políticas universais não conseguem distinguir esses casos de uso heterogêneos, levando à remoção de contextos essenciais específicos do usuário e à retenção de ruído irrelevante. O artigo postula que um sistema de memória ideal deve inferir contextos "que valem a pena armazenar" específicos do usuário e armazená-los seletivamente, contornando operações desnecessárias para sessões transitórias.

Metodologia

1. PerMem-Bench: Um Benchmark para Memória Personalizada

Para avaliar rigorosamente a personalização de memória, os autores introduzem o PerMem-Bench, o primeiro benchmark projetado especificamente para este propósito. Ele apresenta históricos de interação de múltiplos anos e múltiplos domínios através de 20 personas de usuários diversas. O conjunto de dados é construído por meio de um pipeline totalmente automatizado de três etapas:

• Perfil de Uso Específico do Usuário: O sistema define um perfil de usuário como uma configuração conjunta de participação no domínio e necessidade de memória. Usando o conjunto de dados Nemotron-Persona-USA, o pipeline atribui atributos específicos (participação, frequência e necessidade de memória) a cada um dos 20 domínios (por exemplo, Viagem, Programação, Conselhos de Receita) para cada persona. Crucialmente, a necessidade de memória é determinada pela intenção do usuário (por exemplo, projeto de longo prazo vs. consulta única) e não por propriedades inerentes do domínio.
• Construção do Esqueleto de Vida e Linha do Tempo: Para domínios que requerem memória, o sistema gera um "esqueleto de vida" estruturado, compreendendo projetos e eventos interconectados (sessões de diálogo). Cada evento inclui "memórias de referência" (fatos de verdade absoluta, como estados do usuário ou marcos do projeto) que o sistema de memória é esperado reter. Para domínios transitórios, eventos independentes e autossuficientes são gerados sem dependências de projeto. Estes são organizados em uma linha do tempo coerente de múltiplos anos.
• Geração de Diálogo: Um framework de simulador dual sintetiza diálogos realistas. Um simulador de usuário gera enunciados orientados por contexto com base no esqueleto de vida, enquanto um simulador de agente responde apenas à entrada do usuário e à sua memória interna, sem acesso ao esqueleto de verdade absoluta.

O benchmark também inclui o PerMem-Benchd, uma variante dinâmica que simula mudanças de perfil (por exemplo, o término de um projeto de longo prazo ou o início de um novo hobby) para testar a adaptabilidade do sistema.

2. Controle de Armazenamento em Nível de Sessão

Os autores propõem o controle de armazenamento em nível de sessão como um framework de personalização leve. Em vez de modificar o sistema de memória subjacente, um módulo de controle inspeciona cada sessão (e opcionalmente o contexto anterior) para prever se ela faz parte de uma tarefa de longo horizonte ou de uma interação transitória. Se classificada como transitória, as operações de memória (armazenamento, atualização, exclusão) são totalmente ignoradas, conservando o orçamento de memória para sessões de alto valor.

Três métodos de controle são avaliados como baselines:

• Ganancioso (Greedy): Prevê com base exclusivamente no diálogo da sessão atual.
• Consciente de Contexto: Usa uma janela deslizante de resumos de sessões recentes para capturar padrões sequenciais.
• Consciente de Estrutura: Modela explicitamente a estrutura relacional das sessões, agrupando-as em projetos ou interações isoladas para inferir padrões de uso em nível de domínio.

3. Protocolo de Avaliação

O desempenho é medido usando a Taxa de Retenção de Memória (RR), que quantifica quão consistentemente as unidades de memória de referência são preservadas no banco de memória ao longo de sua vida útil necessária. A avaliação compara os métodos de controle contra:

• Universal: Sem controle (baseline padrão).
• Oráculo: Conhecimento perfeito de quais sessões valem a pena armazenar (limite superior).

Os experimentos utilizam três sistemas de memória existentes (Mem0, Memory-R1, RMM) e dois LLMs base (Qwen3-14B, gpt-5-mini).

Resultados Principais

1. Potencial da Personalização: Sob condições de "Oráculo" (controle perfeito), sistemas de memória personalizados produzem ganhos substanciais de retenção sobre políticas universais. Esses ganhos são mais pronunciados sob orçamentos de memória mais restritos (por exemplo, 100–200 entradas), onde evitar armazenamento desperdiçado em sessões transitórias é crítico.
2. Limitações dos Controles Atuais: Embora o método Consciente de Estrutura mostre promessa na recuperação de padrões de uso em nível de domínio (atingindo até 0,844 F1 em dados estáticos), os métodos de controle atuais ainda não são precisos o suficiente para realizar plenamente os benefícios da personalização.
   • Os métodos Ganancioso e Consciente de Contexto frequentemente têm desempenho inferior à baseline Universal devido a altas taxas de falsos negativos (perder sessões que valem a pena armazenar).
   • Os métodos Consciente de Estrutura alcançam maior precisão, mas ainda produzem apenas melhorias marginais sobre o Universal na prática.
3. Sensibilidade a Mudanças de Perfil: Os métodos Consciente de Estrutura lutam significativamente quando os perfis de usuário mudam (por exemplo, o término de um projeto de longo prazo). Eles tendem a depender excessivamente de estruturas de projeto estabelecidas, continuando a classificar sessões como "que valem a pena armazenar" mesmo após o padrão de uso ter mudado fundamentalmente. Em contraste, os métodos em nível de sessão (como o Ganancioso) permanecem mais robustos a tais mudanças, mas carecem da capacidade de inferir estruturas de longo prazo complexas.

Significado e Contribuições

O artigo faz três contribuições principais:

1. Formalização da Necessidade: Identifica e formaliza a lacuna crítica nos sistemas de memória atuais: a falha em considerar padrões heterogêneos específicos do usuário, levando a má alocação de recursos.
2. PerMem-Bench: Apresenta o primeiro benchmark projetado especificamente para avaliar a personalização de memória, com personas diversas e diálogos de múltiplos anos e múltiplos domínios gerados por meio de um pipeline validado e automatizado.
3. Estudo Empírico sobre Personalização: Fornece o primeiro estudo empírico sobre personalização de memória, propondo o controle de armazenamento em nível de sessão como um paradigma novo. O estudo estabelece que, embora a personalização ofereça ganhos teóricos significativos, o principal desafio reside no desenvolvimento de mecanismos de controle precisos que possam inferir dinamicamente a intenção do usuário e adaptar-se a perfis em mudança.

Os autores concluem que, embora o potencial para memória personalizada seja substancial, o campo deve focar em melhorar a precisão do controle em nível de sessão para fechar a lacuna entre as baselines atuais e o limite superior teórico do Oráculo.