The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory

Resumo Técnico: Janus – Um Controlador de Plug-in para Atualizações Seletivas em Memória de LLM Evoluindo Sequencialmente

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como agentes sequenciais que aprendem com interações passadas por meio de memória externa. Nesse cenário, os agentes recuperam memória, resolvem tarefas, recebem feedback e atualizam sua memória para uso futuro. Embora este ciclo "recuperar–resolver–atualizar" seja intuitivo, os sistemas de memória sequencial existentes sofrem de uma limitação fundamental: eles tipicamente implantam cada atualização de memória gerada localmente sem verificar sua utilidade global.

O artigo identifica que atualizações otimizadas para a tarefa imediata podem ser prejudiciais ao estado final da memória. Especificamente, elas podem:

• Sobrescrever conhecimento previamente útil.
• Introduzir regras ruidosas e excessivamente específicas.
• Enviesar a memória em direção a exemplos recentes, degradando o desempenho em tarefas futuras não vistas.

Isso cria um problema de validação de memória: determinar quando comparar uma memória candidata contra a atual e quais tarefas usar para essa comparação, sem incorrer no custo computacional proibitivo de reproduzir todo o histórico de tarefas.

2. Metodologia: Janus

Os autores propõem o Janus, um controlador de memória agnóstico a método, do tipo plug-in, que envolve atualizadores de memória existentes. O Janus não altera as regras de atualização subjacentes; em vez disso, ele atua como um porteiro, decidindo se aceita uma atualização de memória candidata ($\hat{M}_t$) ou se retém a memória anterior ($M_{t-1}$).

O Janus aborda o problema da validação através de dois mecanismos principais:

A. Gatilho de Momento de Memória (MMT - Memory Momentum Trigger)
Para evitar a alta latência de comparar memórias após cada tarefa, o Janus trata as atualizações de memória como uma trajetória. Ele utiliza um codificador de texto $\phi(\cdot)$ para mapear estados de memória em um espaço vetorial.

• Direção da Atualização: A direção de uma atualização candidata é definida como $z_t = \phi(\hat{M}_t) - \phi(M_{t-1})$.
• Rastreamento de Momento: O Janus mantém uma média móvel exponencial das direções de atualização anteriores: $m_t = \beta m_{t-1} + (1-\beta)z_t$.
• Condição de Gatilho: Uma comparação é disparada apenas quando a atualização candidata desvia significativamente da trajetória de momento recente, indicado por $\cos(z_t, m_{t-1}) < \tau$.
• Racional: Atualizações pequenas e incrementais alinhadas com o momento são aceitas diretamente. Desvios bruscos, que podem indicar tanto um novo conhecimento valioso quanto uma distorção prejudicial, disparam uma etapa de validação explícita.

B. Conjunto de Avaliação Híbrido de Tempo de Gatilho (Hybrid Trigger-Time Evaluation Set)
Quando um gatilho é acionado, o Janus avalia tanto $M_{t-1}$ quanto $\hat{M}_t$ em um conjunto híbrido compacto $E_t$, em vez de todo o histórico. Este conjunto consiste em três componentes:

1. Conjunto de Cobertura ($S^{cov}_t$): Um cluster de tarefas representativas que resume a distribuição global de todas as tarefas observadas.
2. Conjunto de Fronteira ($S^{bdry}_t$): Uma coleção de tarefas de "mudança" (flip tasks) onde a escolha do estado de memória anteriormente alterou a correção do agente (ou seja, tarefas onde $1_{corr}(x; M_{t-1}) \neq 1_{corr}(x; \hat{M}_t)$). Estas são altamente sensíveis a mudanças de memória.
3. Conjunto Fresco ($F_t$): Uma amostra de tarefas encontradas desde o último gatilho para evitar o sobreajuste a um conjunto de suporte estático e para testar o desempenho em regiões recém-exploradas.

A memória final $M_t$ é selecionada como aquela que produz maior desempenho em $E_t$.

3. Principais Contribuições

• Identificação de um Desafio de Implantação: O artigo destaca que os sistemas de memória sequencial frequentemente falham porque as atualizações geradas localmente não são globalmente úteis. Aceitar atualizações cegamente pode levar a memórias finais enviesadas para informações ruidosas e específicas de tarefas.
• Controle de Plug-in Eficiente: O Janus é um controlador agnóstico a método que envolve os atualizadores existentes. Ele combina o Gatilho de Momento de Memória com um conjunto de avaliação híbrido compacto, permitindo a implantação seletiva sem modificar o atualizador base ou reproduzir todo o histórico.
• Validação Empírica: A abordagem é validada em seis conjuntos de dados, dois modelos de backbone e duas arquiteturas distintas de atualizador de memória.

4. Resultados Experimentais

Os autores avaliaram o Janus em seis conjuntos de dados cobrindo raciocínio matemático (MATH500), raciocínio científico (GPQA), STEM profissional (MMLU-Pro), geração de código (HumanEval) e uso de ferramentas (APIBench). Os experimentos utilizaram Qwen3-8B e DeepSeek-V4-Flash como backbones, pareados com atualizadores base como DC-RS e ExpeL.

• Ganhos de Desempenho: O Janus melhorou consistentemente a precisão média sobre os atualizadores base em +2,7 a +4,6 pontos percentuais.
  • No Qwen3-8B, o DC-RS + Janus melhorou de 79,5% para 8 de 83,2% de precisão média.
  • No DeepSeek-V4-Flash, o ExpeL + Janus melhorou de 79,6% para 82,3% de precisão média.
• Estudos de Ablação:
  • Tempo de Gatilho: O gatilho MMT superou as estratégias de disparo aleatório e periódico, alcançando precisão comparável ou superior com significativamente menos comparações do que uma política de "sempre disparar".
  • Composição do Conjunto de Avaliação: Remover qualquer componente do conjunto híbrido (Cobertura, Fronteira ou Fresco) degradou o desempenho. O conjunto "Fresco" foi particularmente crítico para evitar comparações obsoletas e de auto-reforço.
  • Decisões de Implantação: Checkpoints intermediários de memória mostraram que o Janus mantém uma tendência de ascensão estável na precisão, enquanto os atualizadores base frequentemente estagnam ou degradam conforme o fluxo de tarefas progride, confirmando que memórias mais novas nem sempre são melhores.

5. Significância e Alegações

O artigo afirma que o principal gargalo na memória de LLM sequencial não é apenas como gerar atualizações, mas se deve implantá-las. O Janus demonstra que tratar a atualização de memória como uma decisão de implantação — filtrando atualizações otimizadas localmente que podem prejudicar a generalização global — aumenta significativamente a utilidade da memória final.

Os autores posicionam o Janus como uma solução leve e eficiente que pode ser integrada em estruturas de memória sequencial existentes sem retreinar o modelo base ou alterar a lógica central de atualização. Os resultados sugerem que, para assistentes de raciocínio e sistemas de tomada de decisão interativos, manter uma memória curada e validada é mais eficaz do que acumular todas as experiências geradas.