$\delta$-mem: Efficient Online Memory for Large Language Models

Resumo Técnico de $\delta$-mem: Memória Online Eficiente para Modelos de Linguagem de Grande Escala

1. Declaração do Problema

À medida que Modelos de Linguagem de Grande Escala (LLMs) são implantados em assistentes de longo prazo e sistemas de agentes, eles enfrentam um desafio crítico: a necessidade de acumular, atualizar e reutilizar informações históricas ao longo de interações prolongadas. Estratégias atuais frequentemente dependem simplesmente da expansão da janela de contexto de entrada. No entanto, essa abordagem é computacionalmente cara devido ao custo quadrático da atenção padrão em relação ao comprimento do contexto. Além disso, simplesmente aumentar o tamanho da janela não garante utilização eficaz; os modelos frequentemente sofrem com "degradação de contexto" ou "apodrecimento de contexto" ao lidar com sequências muito longas, sugerindo que janelas de milhões de tokens não resolvem fundamentalmente o problema de memória.

Os mecanismos de memória existentes se enquadram em três paradigmas, cada um com limitações:

• Mecanismos de Memória Textual (TMMs): Armazenam memória como texto injetado no contexto de entrada. Embora flexíveis, sofrem com limites de janela de contexto, ruído de recuperação e perda de compactação.
• Mecanismos de Memória de Canal Externo (OMMs): Mantêm a memória em módulos externos acessados via recuperação. Isso introduz sobrecarga, complexidade de integração e possível desalinhamento com o núcleo (backbone).
• Mecanismos de Memória Paramétrica (PMMs): Codificam a memória em prefixos ou adaptadores. Embora eficientes para núcleos congelados, sua natureza estática limita a adaptação a informações dinamicamente evolutivas.

Há uma necessidade de um mecanismo que mantenha um estado de memória compacto e dinamicamente evolutivo e oriente o núcleo por meio de um caminho estritamente alinhado com seu cálculo de atenção interno, sem exigir ajuste fino completo ou extensão explícita de contexto.

2. Metodologia: $\delta$-mem

Os autores propõem $\delta$-mem, um mecanismo de memória leve que amplia um núcleo de atenção total congelado com um Estado Online de Memória Associativa (OSAM) compacto. O design central segue um ciclo "Ler-Orientar-Escrever" em cada posição, deixando os parâmetros do núcleo congelados.

A. Estado Online de Memória Associativa (OSAM)
Em vez de armazenar todos os tokens históricos, $\delta$-mem comprime informações passadas em uma matriz de estado de tamanho fixo $S \in \mathbb{R}^{r \times r}$ (especificamente uma matriz $8 \times 8$ nos experimentos). Esse estado armazena associações chave-valor ($k \to v$) do contexto histórico.

• Regra de Atualização: O estado é atualizado sequencialmente usando uma abordagem de aprendizado por regra delta inspirada em regressão online. Dada uma chave de memória $k_t$ e um valor $v_t$, o estado prevê $\hat{v}_t = S_{t-1}k_t$. A atualização minimiza o erro residual:
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  Aqui, $\lambda_t$ (porta de esquecimento) controla a retenção da memória anterior, e $\beta_t$ (porta de escrita) controla a força da atualização residual. Isso permite que o estado corrija discrepâncias preditivas dinamicamente, mantendo informações históricas estáveis.

B. Projeções de Memória
O estado oculto $x_t$ do núcleo congelado é projetado em um espaço de memória de baixa dimensão ($r$ dimensões) para gerar vetores de consulta ($q^m_t$), chave ($k^m_t$) e valor ($v^m_t$) para o estado de memória. A normalização é aplicada a $q^m_t$ e $k^m_t$ para reduzir a instabilidade durante a recorrência de sequências longas.

C. Orientação via Correções de Baixo Rango
Durante a geração, $\delta$-mem lê do estado anterior $S_{t-1}$ usando a consulta atual $q^m_t$ para produzir um vetor de leitura $r_t = S_{t-1}q^m_t$. Esse vetor fornece sinais relevantes ao contexto que orientam a atenção do núcleo sem recuperar tokens de texto.

• O sinal de leitura é transformado em correções de baixo rango para os lados de consulta ($\Delta q_t$) e saída ($\Delta o_t$) do mecanismo de atenção:
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  onde $q^0_t$ é a consulta original e $a_t$ é a saída padrão de atenção. Essas correções permitem que a memória associativa participe diretamente do cálculo forward.

D. Estratégias de Granularidade de Escrita
O artigo investiga três estratégias para atualizar o estado:

1. Escrita Token-Estado (TSW): Atualiza o estado em cada token. Preserva detalhes de alta granularidade, mas é sensível a ruídos.
2. Escrita Sequência-Estado (SSW): Média os estados ocultos dentro de uma mensagem/segmento antes de atualizar. Reduz redundância e suaviza a evolução.
3. Escrita Multi-Estado (MSW): Mantém múltiplos sub-estados paralelos (por exemplo, para fatos, preferências, progresso da tarefa) para reduzir interferência, agregando suas leituras.

E. Treinamento
$\delta$-mem é treinado usando perda padrão de Ajuste Fino Supervisionado (SFT). Os tokens de contexto são escritos no estado online, mas o estado em si (não os tokens de contexto brutos) orienta o núcleo congelado durante a previsão da resposta.

3. Contribuições Principais

1. Mecanismo Inovador: Propõe $\delta$-mem, que acopla um estado online compacto e dinamicamente atualizado diretamente ao cálculo de atenção de um núcleo congelado, evitando ajuste fino completo ou substituição do núcleo.
2. Eficiência Compacta: Demonstra que um estado de memória extremamente pequeno (matriz $8 \times 8$) é suficiente para reter sinais históricos úteis e recuperar informações relevantes ao contexto, mesmo quando o histórico explícito é removido.
3. Ganhos de Desempenho: Mostra melhorias significativas em benchmarks pesados em memória, preservando capacidades gerais, sem depender da extensão de contexto explícito ou de módulos pesados de recuperação externa.

4. Resultados Experimentais

O método foi avaliado em benchmarks de capacidade geral (IFEval, GPQA-Diamond, HotpotQA) e benchmarks pesados em memória (LoCoMo, MemoryAgentBench) usando os núcleos Qwen3-4B-Instruct, Qwen3-8B e SmolLM3-3B.

• Desempenho Geral: $\delta$-mem melhorou a pontuação média em 1,10$\times$ sobre o núcleo congelado e 1,15$\times$ sobre a melhor linha de base de memória não-$\delta$-mem (Context2LoRA).
• Tarefas Pesadas em Memória:
  • MemoryAgentBench: Alcançou uma melhoria de 1,31$\times$ (de 29,54% para 38,85% em média).
  • LoCoMo: Alcançou uma melhoria de 1,20$\times$ (de 40,79% para 49,12% em média).
  • Subtarefa TTL: A pontuação quase dobrou, de 26,14 para 50,50.
• Variações do Núcleo:
  • No Qwen3-4B, a variante TSW alcançou a melhor média (51,66%).
  • No Qwen3-8B, a SSW performou melhor (50,86%), sugerindo que a escrita em nível de segmento mitiga ruídos para modelos mais fortes.
  • No SmolLM3-3B, a MSW impulsionou um salto substancial (de 26,08% para 36,96%), indicando que modelos menores se beneficiam da separação de tipos de memória para minimizar interferência.
• Recuperação de Contexto: Em configurações "Sem Contexto" (onde o histórico explícito é removido), $\delta$-mem recuperou desempenho significativo, aumentando a EM do HotpotQA de 0,08% para 6,48% e a média do LoCoMo de 3,49% para 8,05%, provando que o estado armazena sinais reutilizáveis.
• Estudos de Ablação:
  • Cabeças: Injetar correções em ambos os ramos de consulta e saída ($qo$) forneceu o melhor equilíbrio entre desempenho e parâmetros.
  • Profundidade: Aplicar correções em todas as camadas produziu os melhores resultados, indicando que sinais de memória beneficiam toda a hierarquia de representação.

5. Significado e Alegações

O artigo afirma que memória eficaz para LLMs pode ser realizada através de um estado online compacto acoplado diretamente ao cálculo de atenção. O significado de $\delta$-mem reside em sua capacidade de:

• Desacoplar a manutenção de memória da reinserção de prompt: Diferente da memória textual, não roteia o histórico comprimido de volta através do espaço de tokens, evitando limites de janela de contexto e ruído de recuperação.
• Permitir evolução dinâmica: Diferente da memória paramétrica, o estado evolui continuamente com a sequência via aprendizado por regra delta, adaptando-se a novas interações sem etapas de edição discretas.
• Manter eficiência: Alcança esses ganhos com um tamanho de estado fixo e minúsculo ($8 \times 8$) e sem modificar a arquitetura do núcleo, oferecendo uma interface escalável para memória em tempo de teste em Transformers congelados.

Os autores concluem que essa abordagem oferece uma alternativa robusta à expansão de contexto, permitindo que os modelos aproveitem informações históricas de forma eficaz sem o ônus computacional do processamento de contexto longo ou a complexidade de sistemas de recuperação externos.