Resumo Técnico: SaliMory: Orquestrando a Memória Cognitiva para Agentes Conversacionais

1. Definição do Problema

Agentes conversacionais projetados como companheiros de vida longa requerem memória persistente para manter o contexto entre as interações. No entanto, as abordagens atuais enfrentam duas limitações primárias:

• Ruído de Geração Aumentada por Recuperação (RAG): Simplesmente expandir janelas de contexto ou recuperar históricos de interação brutos frequentemente leva a dados ruidosos, repetitivos e irrelevantes que degradam a qualidade do raciocínio.
• Gargalos de Atribuição de Crédito: Treinar agentes de memória via Aprendizado por Reforço (RL) padrão usando apenas recompensas de resultado final cria um severo problema de atribuição de crédito. Em pipelines de múltiplos estágios, é difícil determinar se uma falha na resposta final decorre de uma má formação de memória, de uma recuperação ineficaz ou de erros de geração.

A análise de erro no benchmark LoCoMo revela que erros de memória (perda ou distorção de informações salientes) representam até 52% das falhas nas baselines de estado da arte, superando significativamente os erros em geração de perfil ou geração de resposta.

2. Metodologia: O Framework SaliMory

O SaliMory é um framework de gerenciamento de memória agêntico que treina um único modelo de linguagem para gerenciar um sistema de memória cognitivamente estruturado de ponta a ponta. Ele é inspirado na ciência cognitiva humana, especificamente na distinção entre memória de trabalho, conhecimento factual de longo prazo e preferências subjetivas.

2.1 Arquitetura de Memória Cognitiva

Em vez de um buffer plano, o SaliMory mantém um banco de memória estruturado $M = (\bar{F}, \bar{P}, \bar{W})$ consistindo em três depósitos dedicados:

1. Banco Factual ($\bar{F}$): Afirmações objetivas e verificáveis sobre o usuário (ex: "intolerante à lactose").
2. Banco de Preferências ($\bar{P}$): Gostos subjetivos e inclinações que atuam como critérios suaves para personalização estilística (ex: "prefere leite de aveia").
3. Memória de Trabalho ($\bar{W}$): Turnos recentes e salientes que o usuário provavelmente ainda tem em mente.

2.2 Política Unificada e Papéis

Um único modelo de política $\pi_\theta$ é treinado via RL para desempenhar três papéis complementares, condicionados a prompts de instrução distintos:

• Filtro de Saliência: Decide quais turnos de conversa contêm informações salientes que valem a pena ser registradas.
• Impulsionador de Memória (Memory Booster): Atualiza e consolida os bancos fatuais e de preferências, e gerencia a janela deslizante da memória de trabalho.
• Utilizador de Memória (Memory Utilizer): Recupera e sintetiza entradas relevantes dos três depósitos em um perfil adaptado à consulta para o gerador downstream.

A arquitetura separa o estágio de gerenciamento de memória offline do estágio de geração em tempo de execução. Um modelo de linguagem grande e congelado ($\pi_{gen}$) gera a resposta final com base no perfil sintetizado, garantindo que o gerenciador de memória seja otimizado especificamente para a curadoria de contexto.

2.3 Treinamento: Recompensas de Processo por Estágio e Refinamento Contrastivo

Para resolver o problema de atribuição de crédito, o SaliMory introduz dois mecanismos inovadores:

A. Sistema de Recompensa de Processo por Estágio
Em vez de depender apenas de uma recompensa de resultado final, o SaliMory decompõe o sinal de aprendizado em três recompensas ortogonais:

1. Qualidade da Resposta ($R_1$): Um portão multiplicativo que avalia a precisão da resposta final e a personalização. A personalização só é recompensada se a resposta for factualmente correta.
2. Qualidade da Memória ($R_2$): Uma penalidade assimétrica que avalia a fidelidade factual e a vagueza do próprio banco de memória, independentemente da resposta final. Isso encoraja o booster a omitir memórias marginais em vez de codificar memórias vagas.
3. Qualidade de Utilização e Filtro ($R_3$): Avalia a eficácia do perfil adaptado (capturando restrições sem distratores) e a precisão das decisões de portão do filtro de saliência.

B. Refinamento Contrastivo Decomposto por Recompensa
A otimização padrão de política relativa de grupo (GRPO) atribui um escalar de vantagem único a todos os traços, o que pode levar a gradientes não merecidos para módulos upstream. O SaliMory constrói pares de preferência contrastiva específicos para cada papel:

• Pares de Booster: Selecionados estritamente com base no score de qualidade de memória ($R_2$), ignorando a recompensa total do episódio.
• Pares de Utilizador: Selecionados com base nos scores de utilização ($R_3$), mas formados apenas se os bancos de memória das rollouts comparadas forem altamente similares (via similaridade de Jaccard). Este portão causal garante que o utilizador seja recompensado apenas por sua habilidade de síntese, e não por receber melhores memórias upstream por acaso.

3. Principais Contribuições

1. Arquitetura Inspirada Cognitivamente: A separação de instantâneos fatuais, preferências subjetivas e memória de curto prazo, gerenciada por um agente unificado realizando funções distintas (filtro, booster, utilizador).
2. RL Ancorado em Memória: Um novo paradigma de treinamento que combina recompensas de processo hierárquicas por estágio com refinamento contrastivo decomposto por recompensa para fornecer atribuição de crédito refinada para sistemas de memória de múltiplos estágios.
3. Novo Benchmark e Protocolo: A introdução do LoCoMo-P13n, uma extensão do benchmark LoCoMo com consultas personalizáveis (recomendação e personalização implícita), e um protocolo de avaliação de múltiplos passos que avalia conjuntamente a recuperação precisa de memória e a qualidade da personalização.

4. Resultados Experimentais

Avaliado nos benchmarks LoCoMo e LoCoMo-P13n usando um modelo de 9 bilhões de parâmetros (Qwen3.5-9B-Instruct) como política:

• Desempenho End-to-End: O SaliMory alcança 72,9% de precisão end-to-end, superando o estado da arte (SOTA) em mais de 10%.
• Personalização: Entrega uma taxa de "Boa Personalização" de 39,8%, mais que dobrando o desempenho da segunda melhor baseline (Mem-R1 com 16,3%) e superando significativamente métodos agênticos zero-shot alimentados por modelos muito maiores (ex: Gemini-3-Flash).
• Redução de Erros: O SaliMory reduz as falhas atribuídas à memória em um terço em comparação com as baselines. Ele quase erradica a "Má Personalização" (respostas alucinadas ou intrusivas) para 1,4%.
• Qualidade da Memória: O sistema reduz as entradas de memória vagas para 19,6% (vs. 35,7% para Mem-R1) e aumenta a fidelidade factual para 93,9%.
• Eficiência: O SaliMory alcança uma aceleração de 76x na latência de formação de memória (0,5s vs. 38s para zero-shot) e uma redução de 5x na latência de inferência ao sintetizar um perfil compacto em vez de processar chunks de recuperação brutos.
• Generalização: Em dados reais de tráfego de Chat AI, o SaliMory mais que triplica a taxa de Boa Personalização (1,7% para 5,5%) e melhora significativamente a factualidade da memória.

5. Significância e Alegações

O artigo afirma que o desafio fundamental na memória conversacional não é o armazenamento, mas o gerenciamento. O SaliMory demonstra que, ao fundamentar a arquitetura de memória em princípios cognitivos (separando fatos, preferências e memória de trabalho) e resolver o problema de atribuição de crédito através de recompensas decompostas e refinamento contrastivo, é possível treinar modelos compactos para superar modelos massivos zero-shot.

Os autores asseguram que sua abordagem fornece a "supervisão isolada" necessária para operações de memória distintas, permitindo que agentes capturem de forma confiável as preferências do usuário enquanto preservam detalhes salientes. Este framework é apresentado como um passo crítico para construir companheiros digitais de vida longa eficazes que possam manter um contexto persistente e de alta qualidade sem serem sobrecarregados pelo histórico de interação.