🤖 AI

Learning to Remember, Learn, and Forget in Attention-Based Models

O artigo apresenta o Palimpsa, um modelo de autoatenção que enquadra o aprendizado em contexto como um problema de aprendizado contínuo usando metaplasticidade bayesiana para equilibrar dinamicamente estabilidade e plasticidade, superando assim as limitações de capacidade fixa e interferência dos modelos de atenção linear com portões e melhorando significativamente o desempenho em tarefas de raciocínio e recuperação de sequências longas.

Autores originais: Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando aprender um novo idioma lendo uma longa história. Enquanto lê, você precisa se lembrar dos nomes dos personagens e dos pontos da trama para entender o que acontecerá a seguir.

O Problema: O "Arquivo de Pastas" que fica cheio
Os modelos de IA atuais (como os que alimentam os chatbots) são ótimos nisso, mas têm uma falha. Para lembrar da história, eles geralmente guardam um "arquivo de pastas" gigante com cada palavra que leram até agora. Quanto mais longa a história, maior o arquivo fica. Eventualmente, isso se torna pesado e lento demais para carregar, especialmente em dispositivos menores.

Para corrigir isso, cientistas criaram modelos "lineares". Esses modelos usam um caderno de tamanho fixo em vez de um arquivo de pastas gigante. Eles escrevem novas notas no caderno, mas, se o caderno estiver cheio, precisam rabiscar sobre as notas antigas para abrir espaço. Isso causa um problema chamado esquecimento catastrófico: o modelo apaga acidentalmente detalhes importantes do início (como o nome do personagem principal) apenas para escrever a frase mais recente.

A Solução: Um Caderno Inteligente Chamado "Palimpsa"
Os autores deste artigo propõem um novo modelo chamado Palimpsa. Eles tratam a memória do modelo como um palimpsesto — um pergaminho antigo onde os escribas raspavam a escrita antiga para reutilizar o papel. Mas, em vez de apenas raspar tudo, o Palimpsa é inteligente sobre o que ele raspa.

Veja como funciona, usando analogias simples:

1. O Sistema de "Etiqueta de Importância"

Imagine que seu caderno tem uma etiqueta especial em cada página que diz: "O quão importante é isso?".

Modelos Lineares Antigos: Eles tratam todas as páginas da mesma forma. Se precisarem de espaço, simplesmente apagam a página mais antiga, mesmo que ela contenha a reviravolta mais crucial da trama.
Palimpsa: Ele usa um sistema chamado Metaplasticidade. Isso é como uma "taxa de aprendizado" para cada peça de informação individual.
- Se um fato é importante (como o nome do vilão), o modelo coloca um adesivo de "Não Apagar" nele. Torna-se muito difícil mudar ou sobrescrever essa informação.
- Se um fato é obsoleto ou sem importância (como uma descrição aleatória de uma árvore que apareceu 1.000 palavras atrás), o modelo decide que é aceitável deixar essa informação desaparecer.

2. Aprender, Lembrar e Esquecer

O artigo descreve o Palimpsa como um modelo que aprendeu três habilidades distintas:

Aprender: Ele consegue absorver novas informações rapidamente quando elas chegam.
Lembrar: Ele protege a informação "importante" para que não seja sobrescrita por novos dados menos relevantes.
Esquecer: Ele descarta ativamente informações "obsoletas". Isso é crucial. Se o modelo nunca esquecesse, acabaria ficando cheio de dados antigos e inúteis, a ponto de não conseguir aprender nada novo. Isso é chamado de "lembrança catastrófica". O Palimpsa evita isso ao deixar ir as coisas velhas para abrir espaço para as novas.

3. A Conexão com o "Mamba"

O artigo faz uma descoberta fascinante sobre um modelo popular chamado Mamba2.

Pense no Mamba2 como um corredor muito rápido e eficiente, que é ótimo em corridas de curta distância, mas tende a derrubar as coisas se a corrida ficar muito longa.
Os autores mostram que o Mamba2 é, na verdade, um "caso especial" do Palimpsa onde o interruptor de "esquecimento" está ligado no máximo. Ele esquece de forma tão agressiva que não aprende realmente a proteger memórias importantes.
O Upgrade: Os autores descobriram como pegar um modelo Mamba2 pré-treinado e substituir "cirurgicamente" suas partes cerebrais por partes do Palimpsa. Isso transforma o corredor rápido em um maratonista que consegue se lembrar do início da corrida mesmo após 32.000 passos.

O Que Eles Provaram?

Os pesquisadores testaram isso de três maneiras:

O "Jogo da Memória" (MQAR): Eles deram ao modelo pares (como "Chave A = Valor 1") e pediram que ele recordasse esses pares mais tarde. O Palimpsa foi muito melhor em lembrar das respostas certas, especialmente quando a lista ficava muito longa, porque não sobrescreveu acidentalmente as chaves importantes.
Senso Comum: Eles testaram o modelo em tarefas que exigem lógica e conhecimento geral (como "Se eu colocar uma xícara sobre uma mesa, onde está a xícara?"). As versões do Palimpsa do modelo pontuaram mais alto do que as versões padrão, mostrando que conseguem manter o contexto necessário para responder corretamente.
Histórias Longas: Ao ler textos muito longos, o Palimpsa não perdeu sua capacidade de entender a história tão rapidamente quanto os outros modelos. Ele consegue "retroceder" mais profundamente no texto para encontrar a resposta certa.

A Conclusão

O Palimpsa é uma nova maneira de a IA gerenciar sua memória. Em vez de apenas encher um balde até que ele transborde, o Palimpsa age como um bibliotecário inteligente. Ele sabe quais livros deve manter na estante para sempre, quais deve guardar por um tempo e quais deve descartar para abrir espaço para as novas chegadas. Isso permite que a IA lide com tarefas mais longas e complexas sem ficar confusa ou esquecer o início da história.

Resumo Técnico: Aprender a Lembrar, Aprender e Esquecer em Modelos Baseados em Atenção

Definição do Problema
O Aprendizado em Contexto (ICL) em transformers funciona como uma memória associativa online, permitindo alto desempenho em tarefas de sequências complexas. No entanto, modelos de atenção linear com portão (gated) e modelos de espaço de estados (SSMs) tipicamente dependem de estados de memória de tamanho fixo para enfrentar os gargalos computacionais e de memória dos Transformers padrão (que exigem escalonamento linear e quadrático para caches de KV). Essa capacidade fixa cria um "dilema estabilidade-plasticidade": o modelo deve aprender novas informações sem sobrescrever o conhecimento prévio crítico (esquecimento catastrófico) ou, inversamente, tornar-se incapaz de integrar novas informações devido à retenção excessiva de dados obsoletos (lembrança catastrófica). Métodos de metaplasticidade existentes da neurociência são frequentemente inadequados para transformers porque dependem de fronteiras de tarefas distintas, crescimento de memória ou carecem de diferenciabilidade. Além disso, os modelos de atenção linear atuais frequentemente sofrem com capacidade de memória limitada e interferência à medida que os comprimentos de sequência aumentam.

Metodologia: Palimpsa
Os autores propõem o Palimpsa, um modelo de autoatenção que reformula o ICL como um problema de aprendizado contínuo solucionável através de metaplasticidade Bayesiana. O insight central é que a plasticidade de cada estado de atenção deve ser ajustada dinamicamente com base em um "estado de importância" fundamentado em uma distribuição a priori que captura o conhecimento acumulado.

Formulação Bayesiana: A cabeça de atenção é modelada como um problema de inferência Bayesiana onde o objetivo é minimizar um objetivo de energia livre variacional. A distribuição a posteriori sobre o estado de memória $S$ é atualizada recursivamente. Para evitar a lembrança catastrófica (onde a a priori torna-se excessivamente concentrada), os autores introduzem uma a posteriori ponderada que efetivamente trunca a janela de memória. Isso é alcançado descartando uma fração do peso a priori acumulado em cada etapa, controlado por um portão de esquecimento $\alpha_t = \exp(-A d_t)$ .
Regra de Atualização Metaplástica: Ao aplicar Inferência Variacional (VI) com uma aproximação diagonal da matriz de covariância, os autores derivam uma regra de atualização de forma fechada. O estado de memória $\mu_t$ $μ_{t}$ e uma matriz de importância $I_t$ $I_{t}$ (representando a inversa da variância ou precisão de cada estado) são atualizados simultaneamente:
- $I_t = \alpha_t I_{t-1} + (1 - \alpha_t)I_{prior} + \beta_t \otimes k_t^2$
- $\mu_t = \alpha_t \frac{I_{t-1}}{I_t} \odot \mu_{t-1} + \frac{1}{I_t} \odot [(\beta_t \odot v_t) \otimes k_t]$
  Aqui, $\beta_t$ atua como um fator de importância dependente da entrada, e $I_t$ escala dinamicamente a taxa de aprendizado para cada estado. Alta importância (baixa variância) leva à estabilidade (baixa plasticidade), enquanto baixa importância permite um aprendizado mais rápido.
Variantes Arquiteturais: Os autores implementam duas variantes:
- Palimpsa-D: Uma substituição direta para modelos de Regra Delta com portão (Deltanets), adicionando uma projeção para $\beta_t$ e um termo residual.
- Palimpsa-M: Construído sobre o Mamba2, onde o portão de entrada $d_t$ serve um papel duplo como tanto o portão de esquecimento quanto o portão de entrada.
Unificação Teórica: O artigo demonstra que vários modelos de atenção linear com portão (Longhorn, Deltanets, Mesanet) emergem como escolhas arquiteturais específicas ou aproximações a posteriori dentro deste quadro Bayesiano comum. Notavelmente, o Mamba2 é mostrado como um caso especial do Palimpsa onde a taxa de esquecimento é tão alta que a matriz de importância permanece constante ( $I_t \approx I_{prior}$ ), desativando efetivamente a metaplasticidade.

Principais Contribuições

Metaplasticidade no ICL: A introdução da metaplasticidade Bayesiana para mitigar o esquecimento e a lembrança catastrófica em contexto, ajustando dinamicamente a plasticidade do estado com base na incerteza.
Modelo Palimpsa: Um bloco de atenção escalável que evita a lembrança catastrófica ao liberar gradualmente o conhecimento desatualizado, implementado com kernels customizados para treinamento eficiente em GPU.
Estrutura Unificada: Uma derivação matemática mostrando que modelos existentes de atenção linear com portão e modelos de espaço de estados são casos específicos de um quadro Bayesiano comum, revelando o Mamba2 como um limite de esquecimento dominante do Palimpsa.
Pipeline de Transformação: Um método para transformar modelos não-metaplásticos (como o Mamba2 pré-treinado) em modelos metaplásticos via fine-tuning, aproveitando a velocidade dos kernels não-metaplásticos para o pré-treinamento e a capacidade de memória da metaplasticidade para o ajuste fino.

Resultados Experimentais
Os autores avaliam o Palimpsa em benchmarks sintéticos, de raciocínio de senso comum e de contexto longo usando modelos de 170M, 760M e 2.7B de parâmetros.

Sintético (MQAR): No benchmark de Memória Associativa de Múltiplas Consultas (Multi-Query Associative Recall), o Palimpsa supera consistentemente os baselines não-metaplásticos (incluindo Gated Deltanet e Mamba2). A lacuna de desempenho aumenta conforme o comprimento da sequência cresce, demonstrando que a metaplasticidade mitiga efetivamente a sobrescrita em tarefas de memorização complexas.
Modelagem de Linguagem e Raciocínio de Senso Comum: No dataset FineWeb-Edu, as variantes metaplásticas (Palimpsa-D e Palimpsa-M) alcançam perplexidade e acurácia superiores em tarefas como LAMBADA, PIQA e WinoGrande comparadas aos seus equivalentes não-metaplásticos e ao Transformer padrão. Especificamente, na escala de 760M, o Palimpsa-D ajustado supera o baseline Gated Deltanet em aproximadamente 0.8 pontos em acurácia média.
Desempenho de Longo Contexto: Em experimentos com um modelo de 2.7B de parâmetros, substituir cirurgicamente as 8 camadas do Mamba2 com o menor esquecimento (maior janela de memória efetiva) por blocos Palimpsa resultou em uma melhoria de +0.84 ponto em raciocínio de senso comum e de +1.1 ponto no benchmark LongBench. Embora o modelo metaplástico tenha tido um desempenho ligeiramente inferior em tarefas de recuperação de contexto curto, ele demonstrou uma degradação significativamente mais lenta conforme o comprimento do contexto aumentava, superando o baseline aos 32k tokens.
Dinâmica de Aprendizado: A análise mostra que a razão de metaplasticidade (diferenciação entre sinapses plásticas e consolidadas) aumenta durante o treinamento, permitindo que o modelo estabilize informações importantes enquanto permanece plástico para novos dados.

Significância e Alegações
O artigo afirma que o Palimpsa fornece uma solução fundamentada para o dilema estabilidade-plasticidade em modelos de memória de tamanho fixo, integrando conceitos da neurociência (metaplasticidade) e inferência Bayesiana. A significância reside em:

Insight Teórico: Unificar diversas arquiteturas de atenção linear sob um único quadro Bayesiano e identificar o Mamba2 como um limite específico de domínio de esquecimento.
Escalabilidade Prática: Permitir o uso de modelos metaplásticos em escala ao desacoplar o pré-treinamento (usando kernels rápidos, não-metaplásticos) do ajuste fino (usando kernels metaplásticos para expandir a capacidade de memória).
Desempenho: Demonstrar que a metaplasticidade melhora consistentemente a retenção de memória e as capacidades de raciocínio em cenários de contexto longo sem exigir os custos de memória quadrática dos Transformers padrão.

Os autores concluem que esta abordagem apoia a implantação de modelagem de sequência de alto desempenho em sistemas com recursos limitados (dispositivos de borda/edge) ao otimizar como a informação é aprendida, lembrada e esquecida dentro de limites estritos de memória.