🤖 machine learning

Improving Sparse Memory Finetuning

Este trabalho apresenta um pipeline de código aberto que adapta modelos pré-treinados com módulos de memória esparsa e um mecanismo de seleção de slots baseado em divergência KL, permitindo o aprendizado contínuo de novos conhecimentos em hardware de consumo com esquecimento catastrófico mínimo.

Autores originais: Satyam Goyal, Anirudh Kanchi, Garv Shah, Prakhar Gupta

Publicado 2026-04-08

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Satyam Goyal, Anirudh Kanchi, Garv Shah, Prakhar Gupta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro digital (um Modelo de Linguagem Grande, ou LLM) que foi treinado com milhões de livros, notícias e conversas. Esse cérebro é muito inteligente, mas tem um problema: ele é como um livro de receitas estático. Se você quiser ensinar a ele uma nova receita (um novo fato ou habilidade), você precisa reescrever as páginas.

O problema é que, ao reescrever uma página para adicionar a nova receita, você acidentalmente apaga ou estraga as receitas antigas. Isso é chamado de "esquecimento catastrófico". O modelo aprende o novo, mas esquece o que já sabia.

Os autores deste artigo propuseram uma solução genial chamada Ajuste Fino de Memória Esparsa (SMF). Vamos explicar como funciona usando analogias do dia a dia:

1. O Problema: Pintar a Parede Inteira vs. Colar um Post-it

O jeito antigo (Ajuste Fino Densa): Imagine que, para ensinar algo novo ao cérebro, você precisa pintar toda a parede de uma cor nova. Se você pintar a parede para adicionar uma informação sobre "gatos", você pode acabar cobrindo informações importantes sobre "cachorros" que estavam pintadas ali antes. É caro, demorado e destrói o que já existia.
O jeito novo (Memória Esparsa): Em vez de pintar a parede inteira, o modelo usa quadros de avisos (memória) espalhados pela sala. Quando chega uma informação nova, você só escreve em um pequeno post-it e cola no quadro certo. O resto da parede (o conhecimento antigo) fica intacto e seguro.

2. A Solução: O "Sistema de Quadros"

Os pesquisadores pegaram um modelo pequeno e popular (Qwen-2.5) e fizeram uma "cirurgia" nele:

Eles removeram algumas partes densas do cérebro (que processam tudo de uma vez) e as substituíram por camadas de memória esparsa.
Pense nisso como trocar uma sala de aula onde todos os alunos gritam ao mesmo tempo por uma sala com caixas de correio individuais.

3. Como o Modelo Decide Onde Escrever? (A Grande Inovação)

Aqui está a parte mais inteligente do artigo. Quando uma nova informação chega, o modelo precisa decidir: "Em qual post-it eu devo escrever isso?".

O Jeito Antigo (TF-IDF): Era como escolher o post-it baseado em palavras que aparecem pouco. Funcionava, mas era meio "tolo".
O Jeito Novo (Divergência KL - A "Surpresa"): Os autores criaram um novo método baseado em surpresa.
- Imagine que o modelo tem uma "opinião" sobre o que é comum no mundo (a distribuição de fundo).
- Quando chega uma informação nova, o modelo pergunta: "Isso é algo que eu já esperava ver, ou é algo surpreendente?"
- Se a informação for surpreendente (muito diferente do que ele já conhece), ele a coloca em um post-it novo e exclusivo.
- Se for algo comum, ele não gasta espaço novo.
- Analogia: É como um bibliotecário. Se você traz um livro sobre "como fazer pão" (algo comum), ele não precisa criar uma nova prateleira. Mas se você traz um livro sobre "como falar com alienígenas" (algo surpreendente), ele cria uma prateleira especial só para isso, sem mexer nas prateleiras de história ou ciência.

4. O Processo de "Cicatrização" (Healing)

Quando você faz essa cirurgia no cérebro do modelo, ele fica um pouco tonto no início (perde a capacidade de falar bem).

Passo 1: Eles trocam as peças.
Passo 2 (Cicatrização): Eles ensinam o modelo a usar os novos quadros de avisos com textos genéricos, para que ele volte a falar normalmente antes de aprender coisas novas.
Passo 3: Agora, eles ensinam a nova tarefa (como responder perguntas de trivia) escrevendo apenas nos quadros de avisos, deixando o resto do cérebro congelado e seguro.

5. O Resultado: O Que Aconteceu?

Os testes mostraram que:

Aprendizado Rápido: O modelo aprendeu novas informações (fatos triviais) muito rápido, porque só precisou preencher alguns post-its.
Sem Esquecimento: Ao contrário do método antigo, onde o modelo esquecia como fazer matemática básica (GSM8K) ao aprender fatos novos, o modelo com "quadros de avisos" esqueceu muito pouco. Ele manteve suas habilidades antigas intactas.
O Poder da Surpresa: O método de escolher post-its baseado em "surpresa" (KL-divergência) funcionou melhor em alguns casos, garantindo que o modelo não ficasse confuso com informações que já sabia.

Resumo em Uma Frase

Em vez de reescrever todo o cérebro de um robô para ensinar algo novo (o que faz ele esquecer o que já sabia), os autores criaram um sistema de anotações inteligentes e esparsas que permitem ao robô aprender fatos novos sem apagar seus conhecimentos antigos, usando a "surpresa" para decidir onde escrever.

É como ter um caderno de anotações infinito onde você só escreve o que é realmente novo e importante, deixando o resto do livro de história da sua vida perfeitamente preservado.

Visão Geral

O artigo propõe uma abordagem inovadora para o Aprendizado Contínuo em Grandes Modelos de Linguagem (LLMs), visando superar o problema do "esquecimento catastrófico". Os autores desenvolvem um pipeline de código aberto para adaptar modelos pré-treinados existentes (especificamente o Qwen-2.5-0.5B) com módulos de memória esparsa, permitindo que o modelo aprenda novos fatos sem degradar suas capacidades originais, tudo isso rodando em hardware de consumo.

1. O Problema

Natureza Estática vs. Dinâmica: LLMs modernos são treinados uma vez e implantados como artefatos estáticos. No entanto, o conhecimento do mundo real é dinâmico (novos eventos, políticas, fatos).
Esquecimento Catastrófico: Tentativas de atualizar modelos com novos dados (via finetuning completo ou métodos eficientes como LoRA) frequentemente levam ao esquecimento catastrófico. Isso ocorre porque as atualizações de gradiente em representações densas compartilhadas causam interferência entre tarefas antigas e novas.
Limitações das Soluções Atuais:
- Replay (Buffer de memória): Ineficiente em dados e levanta questões de privacidade.
- PEFT (ex: LoRA): Embora eficiente em parâmetros, as atualizações de baixo posto ainda afetam globalmente os estados ocultos, não resolvendo fundamentalmente o problema de interferência.
- RAG (Geração Aumentada por Recuperação): Introduz latência e complexidade, dependendo da qualidade de um recuperador fixo.

2. Metodologia

A proposta central é o Sparse Memory Finetuning (SMF), que substitui as Redes Feed-Forward (FFN) densas por camadas de memória esparsas (chave-valor).

Arquitetura e Pipeline de 3 Estágios

O pipeline retropõe um modelo pré-treinado denso para um modelo com memória esparsa:

Retrofitagem (Substituição): Substitui um subconjunto de camadas FFN (especificamente as camadas 8, 12 e 16 no Qwen-2.5-0.5B) por camadas de memória. Isso envolve descartar os pesos densos originais e inicializar novos módulos de memória (Chaves $K$ e Valores $V$ ).
Recuperação ("Healing"): Como a substituição degrada a perplexidade inicial, o modelo é finetuned apenas nos novos parâmetros de memória usando um dataset de instruções geral (OpenAssistant/oasst1) para restaurar a coerência do texto antes de aprender novas tarefas.
Finetuning Específico da Tarefa: O modelo é ajustado para uma tarefa alvo (ex: TriviaQA) usando atualizações esparsas, mantendo o modelo base congelado.

Mecanismo de Atualização Esparsa

Durante a propagação direta, apenas os $k$ melhores slots (baseados no produto interno da consulta com as chaves) são ativados.
Mascaramento de Gradiente: Apenas as linhas da tabela de memória correspondentes aos slots acessados recebem gradientes não nulos. Os slots não acessados permanecem congelados, preservando o conhecimento neles armazenado.

Seleção de Slots (Contribuição Teórica)

Um dos pontos focais do trabalho é a melhoria na seleção de quais slots atualizar. Os autores comparam duas estratégias:

TF-IDF (Baseline): Usa heurísticas baseadas na frequência de termos para selecionar slots.
Divergência de Kullback-Leibler (KL) (Novo): Propõe um critério baseado em teoria da informação.
- Calcula a distribuição de uso dos slots no batch atual ( $p_{batch}$ ) e compara com uma distribuição de fundo ( $p_{bg}$ ) obtida de dados genéricos.
- Prioriza slots onde a divergência KL é alta, ou seja, slots que são "surpreendentes" ou informativos em relação ao uso padrão. Isso visa atualizar apenas a memória para informações que representam uma mudança de distribuição significativa, minimizando interferência em conhecimento comum.

3. Contribuições Principais

Pipeline de Retrofitagem Open-Source: Uma metodologia reprodutível para injetar módulos de memória esparsa em modelos Transformer padrão (Qwen-2.5-0.5B) e recuperá-los para uso geral.
Seleção de Slots Teoricamente Fundamentada: Introdução de um mecanismo de pontuação baseado em Divergência KL para selecionar slots de memória, superando as heurísticas rígidas de TF-IDF e fornecendo um sinal mais principiado para a esparsidade.
Validação Empírica do Trade-off Plasticidade-Estabilidade: Demonstração de que modelos retrofitados podem adquirir novos fatos com esquecimento mínimo, validando a hipótese de que atualizações esparsas reduzem a interferência.

4. Resultados Experimentais

Os experimentos foram conduzidos treinando em TriviaQA e SimpleQA, avaliando a retenção em Natural Questions e GSM8K (raciocínio matemático).

Plasticidade (Aprendizado da Nova Tarefa):
- O finetuning com memória esparsa permitiu adaptação rápida ao novo tarefa, alcançando bons scores de F1 em poucas centenas de passos.
- O finetuning denso completo mostrou melhoria limitada na mesma janela de tempo, sugerindo que atualizar o backbone denso requer mais dados/etapas.
Estabilidade (Esquecimento):
- GSM8K: O finetuning denso degradou consistentemente o desempenho no GSM8K (aumento da perda), indicando esquecimento catastrófico das capacidades de raciocínio.
- Memória Esparsa: Preservou significativamente melhor as capacidades de raciocínio e conhecimento geral.
Impacto da Seleção de Slots (KL vs. TF-IDF):
- Em TriviaQA, a seleção TF-IDF preservou melhor o desempenho em Natural Questions do que a versão KL (que mostrou ligeiro esquecimento devido ao conflito entre o sinal forte da tarefa e a restrição KL).
- Em SimpleQA, a regularização KL provou ser essencial para estabilizar o aprendizado e prevenir desvios excessivos causados por atualizações ruidosas.
- Conclusão: A estratégia de seleção de slots baseada em KL apresenta um trade-off dependente da tarefa, melhorando a retenção quando os sinais de adaptação são fracos.

5. Significado e Conclusão

O trabalho valida que a atualização esparsa de camadas de memória é uma abordagem viável e eficaz para o aprendizado contínuo em LLMs.

Eficiência: Permite aprender novos fatos sem reescrever todo o modelo, reduzindo o custo computacional e o risco de interferência.
Generalização: O pipeline não é limitado a arquiteturas proprietárias, podendo ser aplicado a modelos de pesos abertos.
Avanço Teórico: A introdução da seleção de slots baseada em Divergência KL oferece uma nova direção para controlar a plasticidade e a estabilidade em sistemas de memória paramétrica, superando limitações de heurísticas anteriores.

Em suma, o artigo demonstra que é possível criar modelos que evoluem com o tempo, mantendo suas capacidades originais intactas, através de uma arquitetura híbrida que combina a eficiência do frozen backbone com a flexibilidade de módulos de memória esparsa e seletivos.