🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

Este artigo demonstra que a exclusão exata da memória de um modelo de linguagem é fundamentalmente determinada pela representação da memória, onde registros endereçáveis podem ser removidos via subtração algébrica, enquanto escritas emaranhadas exigem uma reconstrução baseada em replay para alcançar a restauração de estado bit a bit.

Autores originais: Vishwajith Ramesh

Publicado 2026-07-31

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vishwajith Ramesh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um assistente digital superinteligente que nunca esquece nada. Você conta um segredo a ele, e ele armazena esse segredo em uma biblioteca gigante e invisível dentro de seu cérebro. Mais tarde, você pode pedir que ele escreva uma história ou dê um conselho, e ele retira esse segredo para ajudar. Mas e se você mudar de ideia? E se você disser ao assistente: "Na verdade, eu nunca disse isso" ou "Isso foi um erro, por favor, apague"? No mundo real, se você queima uma carta, as palavras desaparecem. Mas em um computador, simplesmente dizer para ele "esquecer" é complicado. O computador pode apenas esconder o segredo bem no fundo, ou pode já ter usado esse segredo para construir outras partes de seu cérebro, tornando impossível apenas "deletar" sem quebrar todo o resto. Este é o problema do "desaprendizado de máquina" (machine unlearning). Cientistas estão tentando descobrir como fazer uma IA esquecer de verdade coisas específicas sob comando, não apenas fingir que esqueceu. É algo enorme para a privacidade, como ter um "Direito ao Esquecimento" para sua vida digital, garantindo que, se você pedir a um robô para deletar uma memória, ele realmente o faça, não deixando rastros fantasmagóricos para trás.

Este artigo, intitulado "Subtract or Replay?" (Subtrair ou Repetir?), aborda este problema ao fazer uma pergunta simples: Como a memória é armazenada? Os autores, Vishwajith Ramesh e colegas, descobriram que a resposta depende inteiramente dos "móveis" dentro da sala de memória da IA. Eles descobriram que existem duas maneiras muito diferentes de deletar uma memória, e você tem que escolher a ferramenta certa para o trabalho, ou falhará.

As Duas Maneiras de Deletar uma Memória

O artigo testa essa ideia em dois tipos diferentes de modelos de IA, que agem como dois tipos diferentes de bibliotecas.

1. A Biblioteca "Endereçável" (O Modelo Gemma)
Imagine uma biblioteca onde cada livro tem um número de prateleira específico e único. Se você quiser remover um livro, basta ir até aquela prateleira e tirá-lo de lá. Você não precisa reconstruir a biblioteca inteira.
Os autores testaram isso em um modelo chamado Gemma. Eles substituíram algumas de suas partes de memória padrão por um sistema especial que age como esta biblioteca endereçável. Neste sistema, cada pedaço de informação tem um "coeficiente" (pense nele como um botão de volume) que controla o quanto ele influencia as respostas da IA.

O Truque de Mágica: Para deletar uma memória, eles simplesmente giraram o botão de volume para o zero. Isso é chamado de "decremento algébrico".
O Resultado: Funcionou perfeitamente. Quando eles baixaram o volume, a saída da IA tornou-se matematicamente idêntica ao que teria sido se a memória nunca tivesse estado lá. A diferença foi tão minúscula que era quase zero (um número chamado divergência KL de 5,4 × 10⁻¹⁵).
A Ressalva: Isso só funciona bem em modelos menores (1 bilhão de parâmetros). À medida que o modelo fica maior (4 bilhões e 12 bilhões), este método torna-se confuso e caro, diminuindo o desempenho da IA em 11,2% e 44,3%, respectivamente. Portanto, embora o truque de "girar o botão" seja perfeito para bibliotecas menores, não é uma solução única para todas as gigantes.

2. A Biblioteca "Tecida" (O Modelo Kimi)
Agora, imagine uma biblioteca diferente onde os livros não estão em prateleiras. Em vez disso, as páginas de cada livro estão tecidas juntas em uma tapeçaria gigante e única. Se você puxar um fio (uma memória), toda a tapeçaria se desloca e o padrão muda de formas imprevisíveis.
Os autores testaram isso em um modelo chamado Kimi, que usa um "estado recorrente" (uma memória tipo tapeçaria). Aqui, cada nova peça de informação altera todo o estado da memória.

O Problema: Eles tentaram apenas "subtrair" a memória como fizeram com o Gemma. Falhou. Como a memória é tecida, remover um fio não deixa apenas um buraco; deixa um padrão distorcido. A matemática mostrou que de 12% a 49% da influência da memória mudou dependendo do que veio depois da parte deletada. Você não pode simplesmente subtrair; o "recibo" da exclusão não é mais válido.
A Solução: Como você não pode subtrair um fio de uma tapeçaria tecida sem arruinar o padrão, você tem que reconstruir a história. Os autores usaram um método de "checkpoint e replay" (ponto de verificação e repetição). Eles salvaram um instantâneo da tapeçaria antes do fio indesejado ser tecido nela. Então, eles rebobinaram a IA para aquele instantâneo e repetiram tudo o que aconteceu depois da má memória, mas desta vez, eles pularam o fio ruim.
O Resultado: Isso funcionou perfeitamente. A memória da IA após a repetição foi bit a bit idêntica a uma memória que nunca viu o fio ruim. Eles testaram isso em notas clínicas reais de até 18.842 tokens de comprimento, e funcionou todas as vezes. Também permitiu que eles "emendassem" um registro perfeitamente, trocando o fio ruim por um bom antes de repetir.

O Que Isso Significa Para Você

A principal conclusão do artigo é que a "exclusão exata" não é um único botão mágico. É uma propriedade de como a memória é construída.

Se a memória mantém um endereço claro para cada registro (como a configuração especial do Gemma), você pode subtrair rapidamente e perfeitamente.
Se a memória tece tudo junto (como a tapeçaria do Kimi), você não pode subtrair. Você deve reconstruir a história a partir de um ponto de verificação salvo, pulando a parte ruim.

Os autores são muito claros sobre o que eles não encontraram: eles provaram que simplesmente tentar "mascarar" ou "suprimir" uma memória (dizer à IA para ignorá-la) não é suficiente. A IA ainda pode "lembrar" dela de formas ocultas, e atacantes podem frequentemente extraí-la novamente. A exclusão verdadeira requer ou uma subtração perfeita ou uma reconstrução perfeita.

Em resumo, se você quer que uma IA esqueça de verdade, primeiro você tem que verificar a sala de memória dela. É uma biblioteca com prateleiras? Gire o botão. É uma tapeçaria tecida? Rebobine e repita. Não há atalhos, mas agora sabemos exatamente qual ferramenta usar para cada trabalho.

Resumo Técnico: Exclusão Exata da Memória de Modelos de Linguagem

1. Definição do Problema

O artigo aborda o desafio da exclusão exata da memória persistente de modelos de linguagem autorregressivos (LLMs) implantados. Diferente do desaprendizado (unlearning) no espaço de pesos, que tenta modificar os parâmetros do modelo para "esquecer" dados, este trabalho foca na memória em contexto: registros que já foram ingeridos no estado persistente do modelo (caches de atenção ou estados recorrentes) e que estão moldando as saídas subsequentes.

O problema central é que anexar uma correção a um prompt não remove a influência do registro errôneo original do estado interno do modelo. Os autores definem a exclusão exata através de um padrão contrafactual: a saída do modelo após a exclusão deve coincidir com a saída de um estado de memória construído como se o registro nunca tivesse sido ingerido.
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
O artigo argumenta que a possibilidade de atingir essa igualdade sem o retreinamento total depende inteiramente da representação da memória. Se a influência de um registro retém um "endereço" específico (um coeficiente reversível ou entrada de cache), ela pode ser subtraída. Se a influência do registro é tecida em um estado recorrente compartilhado por escritas posteriores, a subtração falha e a reconstrução torna-se necessária.

2. Metodologia

Os autores operacionalizam essa distinção testando duas arquiteturas de memória e estratégias de exclusão distintas:

A. Memória Endereçável: Suporte de Vetor de Grafo (Gemma 3)

Para modelos onde a influência é endereçável, os autores propõem um decremento algébrico.

Arquitetura: Eles substituem as camadas de atenção global do Gemma 3 (1B, 4B e 12B parâmetros) por uma camada de Memória de Vetor de Suporte (SVM). Esta camada trata as chaves de contexto como entradas para um SVM de uma classe, onde os pesos de atenção são coeficientes ( $\alpha$ ) do ajuste.
Mecanismo: Usando o algoritmo incremental de Cauwenberghs & Poggio (2000) de forma reversa, o sistema pode matematicamente "decrementar" o coeficiente de um token específico. Se um token é um token de "reserva" (coeficiente = 0), ele não contribui com nada. Deletar um token envolve reverter a resolução para retornar o sistema ao estado que ele teria sem esse token.
Recuperação: Para manter a qualidade da linguagem após o enxerto (grafting), os autores congelam o modelo base e treinam adaptadores LoRA de Rank-8 (0,149% dos parâmetros) para recuperar a perplexidade.
Auditoria: A exclusão é auditada comparando o estado decrementado contra um reajuste de chave retida (retained-key refit) — resolvendo novamente o SVM com o token removido, mas mantendo as outras chaves fixas.

B. Memória Não Endereçável: Replay (Kimi Linear Hybrid)

Para modelos onde escritas posteriores transformam a contribuição de um registro (tornando-o não endereçável), os autores propõem o rewind-and-replay com checkpoint (checkpointed rewind-and-replay).

Arquitetura: Eles analisam um modelo híbrido linear Kimi de 48B, que intercala camadas de Atenção de Cabeça Múltipla (MLA) global com 20 camadas recorrentes KDA (Gated DeltaNet).
Falha da Subtração: Os autores demonstram que a regra delta do KDA (que lê o estado antes de atualizá-lo) destrói a separabilidade por registro. A contribuição de um registro para o estado depende do sufixo que o segue (12–49% de variância), o que significa que um "recibo" fixo para exclusão não pode funcionar, mesmo com correções de decaimento.
Mecanismo: O sistema salva checkpoints do estado recorrente nos limites dos registros. Para deletar um registro, o sistema restaura o estado antes do registro ser ingerido e reproduz (replays) apenas o sufixo.
Auditoria: O resultado é auditado contra um padrão de igualdade bit a bit: os logits e todos os estados recorrentes devem ser idênticos a uma execução onde o registro nunca foi ingerido.

3. Principais Contribuições

Critério de Nível de Representação: O artigo estabelece que a exclusão exata é uma propriedade da representação da memória. Ele distingue entre influência endereçável (subtraível via decremento algébrico) e influência transformada (exigindo reconstrução de estado).
Exclusão Endereçável em LLMs: Os autores inserem com sucesso uma camada de memória SVM no Gemma 3. Na escala de 1B, o decremento algébrico coincide com o reajuste de chave retida com uma divergência KL mediana de $5.4 \times 10^{-15}$ . Testes comportamentais mostram que o proxy de reajuste mascarado é estatisticamente indistinguível de uma linha de base de "nunca ingerido" sob ataques de elicitação, relearning e LiRA.
Exclusão Exata via Replay: Para o Kimi híbrido, onde a subtração falha, os autores demonstram que o replay com checkpoint alcança igualdade bit a bit (nos logits e em todos os 20 estados recorrentes) para contextos de até 18.842 tokens. Este método também suporta alterações exatas (reproduzindo com um registro corrigido).
Análise de Escala: O artigo fornece uma visão matizada dos custos de utilidade. Embora o enxerto de 1B do Gemma incorra em apenas +2,0% de sobrecarga de perplexidade, esse custo cresce para 11,2% em 4B e 44,3% em 12B, indicando que o enxerto não é um substituto geral para a atenção em escalas maiores.

4. Resultados

Gemma 3 (1B):
- Exatidão: O decremento e o reajuste concordam com KL mediana de $5.4 \times 10^{-15}$ sobre 31 deleções de tokens de suporte.
- Utilidade: +2,0% de sobrecarga de perplexidade em comparação a um controle correspondente.
- Comportamento: O reajuste mascarado é indistinguível do piso de "nunca ingerido"; a edição no espaço de pesos (ascensão de gradiente) é reversível e deixa resíduos.
Gemma 3 (Escala):
- Em 4B e 12B, o custo de utilidade sobe drasticamente (11,2% e 44,3%, respectivamente). A execução enxertada de 12B com rank-16 diverge, sugerindo que o método é viável primariamente na escala de 1B.
Kimi Linear (48B):
- Falha da Regra Delta: 12–49% da contribuição de estado de um registro muda com o sufixo, invalidando recibos fixos.
- Sucesso do Replay: O replay alcança igualdade bit a bit com o estado de "nunca ingerido" para registros clínicos reais (MIMIC-IV) até 18.842 tokens.
- Custo: A latência é proporcional apenas ao comprimento do sufixo (média de 3,49s vs. 6,77s para reconstrução total), com custos de armazenamento de ~41,4 MiB por limite de checkpoint.

5. Significância e Alegações

O artigo afirma que a exclusão exata é um contrato com a representação da memória, não uma correção algorítmica universal.

Princípio de Design: Se uma representação preserva um endereço para a influência de um registro, a exclusão pode ser uma operação algébrica barata. Se a representação tece os registros em um estado compartilhado via atualizações não aditivas (como a regra delta), a exclusão exata exige a reconstrução do sufixo.
Auditabilidade: O trabalho fornece uma estrutura para auditar a exclusão. Ele distingue entre "supressão" (onde a resposta é escondida, mas o estado está corrompido) e "exclusão exata" (onde o estado coincide com a referência contrafactual).
Limitações: Os autores são modestos quanto ao escopo. Eles não alegam deletar de pesos pré-treinados ou de saídas geradas antes do evento de exclusão. Eles reconhecem que o custo de utilidade do enxerto do Gemma escala mal, e que o método de replay do Kimi depende de implementações determinísticas e sobrecarga de checkpoint.
Contexto Ético: O trabalho apoia requisitos regulatórios (ex: Artigo 17 do GDPR) e a retirada de consentimento clínico, fornecendo um mecanismo para verificar que um registro específico foi removido do estado de memória ativa do modelo, em vez de apenas suprimir sua saída.

O artigo conclui que o campo deve passar do "desaprendizado aproximado" (que deixa resíduos recuperáveis) para a exclusão consciente da representação, testando se a influência permanece endereçável antes de escolher entre subtração ou reconstrução.