🤖 machine learning

Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning

Este artigo introduz o Support Vector Attention (SV-Attention), um mecanismo de memória treinável que aproveita os princípios de SVM de uma classe para fornecer expulsão de tokens certificada e capacidades de desaprendizado exato, demonstrando uma recuperação de itens raros e desempenho de exclusão de dados superiores, ao mesmo tempo em que alcança resultados competitivos de modelagem de linguagem em conjuntos de dados do mundo real.

Autores originais: Vishwajith Ramesh

Publicado 2026-07-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vishwajith Ramesh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando uma biblioteca superinteligente onde um robô bibliotecário lê uma história massiva e infinita para responder às suas perguntas. Normalmente, este bibliotecário mantém cada palavra da história em sua cabeça, mas conforme a história fica mais longa, ele começa a esquecer as partes importantes ou se confunde com as partes chatas e repetitivas.

A maioria das bibliotecas de IA modernas tenta resolver isso apenas "esquecendo" palavras antigas lentamente, como deixar um castelo de areia sofrer a erosão da maré. Elas podem diminuir a memória de uma palavra até que ela fique minúscula, mas o artigo diz que isso é bagunçado. A areia ainda está lá, apenas menor, e você não pode ter 100% de certeza de que ela sumiu.

Os autores deste artigo, Vishwajith Ramesh e equipe, construíram um novo tipo de bibliotecário chamado SV-Attention. Em vez de um castelo de areia, eles construíram um segurança rigoroso com um livro de regras especial.

O Livro de Regras do Segurança: "Zero ou Total"

Este bibliotecário não apenas diminui memórias; ele decide se uma palavra é importante o suficiente para ser mantida de qualquer forma. Ele usa um truque matemático inteligente (uma Máquina de Vetores de Suporte de uma classe) para olhar as palavras da história e dividi-las em dois montes:

Os VIPs: Palavras que são únicas ou importantes. Estas recebem uma voz cheia e alta.
Os Fantasmas: Palavras que são chatas, repetidas ou apenas ruído. Estas recebem um zero perfeito.

Aqui está a mágica: Se uma palavra recebe um zero, ela não é apenas "silenciosa". Ela é matematicamente invisível. O artigo prova que, se você jogar fora uma palavra "Fantasma", a resposta do bibliotecário à sua pergunta permanece exatamente a mesma como se a palavra nunca tivesse estado lá. É como se você apagasse uma página de um livro, e a história não mudasse nada porque aquela página era apenas uma cópia em branco da anterior.

O "Apagador Perfeito"

O artigo mostra que este bibliotecário pode deletar uma palavra específica e ter 100% de certeza de que ela se foi.

O Teste: Eles tentaram deletar uma palavra "secreta" de uma história. O método antigo (diminuir a memória) ainda permitia que o segredo aparecesse em 80% das vezes, mesmo quando tentavam torná-lo minúsculo.
O Jeito SV-Attention: Quando eles deletaram o segredo, ele desapareceu completamente. A resposta do bibliotecário mudou menos de um bilionésimo de percentual (cerca de $10^{-9}$ ), o que é basicamente zero.
A Garantia: Eles chamam isso de "desaprendizado exato". Não é um palpite. É um certificado. Se você pedir ao bibliotecário para esquecer o registro de um paciente específico (como em um hospital), ele pode provar que deletou esse registro sem deixar um único rastro, enquanto mantém todos os outros registros de pacientes seguros.

O "Segurança" vs. O "Garoto Popular"

O artigo também testou o quão bom este bibliotecário é em escolher as palavras certas quando a história está cheia de duplicatas.

O Jeito Antigo (Heavy-Hitter): Imagine um segurança que só deixa entrar os "garotos populares" — as palavras que aparecem mais vezes. Se uma história tem 100 cópias da palavra "o" e apenas uma cópia de uma palavra rara e importante como "explosão", o segurança antigo expulsa a "explosão" porque "o" é mais popular.
O Jeito SV-Attention: Este segurança procura pelo que é único. Em testes com itens raros, o jeito antigo os manteve apenas 32% das vezes. O novo segurança os manteve 86% das vezes. É como ter um segurança que ignora a multidão e só deixa entrar a única pessoa usando um chapéu neon.

O Problema: É um Pouco Lento

Aqui está a parte em que o artigo diz: "Não fique tão animado ainda".
Embora este bibliotecário seja superinteligente e perfeito para deletar coisas, ele é lento.

Em um chip de computador padrão, ele é cerca de 36 vezes mais lento do que a maneira mais rápida e padrão de fazer atenção.
Funciona melhor em problemas pequenos ou tarefas específicas (como registros médicos ou encontrar fatos raros), mas o artigo admite que não está pronto para substituir a atenção super-rápida usada em grandes chatbots ainda.
Os autores testaram em um modelo de linguagem pequeno (3,22 milhões de parâmetros) e descobriram que ele era ligeiramente melhor em prever a próxima palavra, mas quando tentaram em um modelo maior (10 milhões de parâmetros), a vantagem desapareceu. Eles sugerem que isso ocorre porque o "segurança" leva muito tempo para aprender quando a história fica enorme.

O Que NÃO É

O artigo é muito claro sobre o que esta tecnologia não faz:

Não torna a IA magicamente mais rápida. Na verdade, é mais lenta.
Não funciona para todo tipo de memória. Se uma história não tem palavras repetidas e nenhuma parte chata, o segurança não ajuda muito.
Não garante privacidade no sentido jurídico (como provar que ninguém pode adivinhar quem estava nos dados). Você ainda precisaria de outros testes para provar que é seguro para as leis de privacidade. Ele apenas garante que o resultado da IA não muda se você deletar uma palavra.

O Veredito Final

O artigo introduz uma nova maneira para a IA lembrar das coisas que é matematicamente perfeita em esquecer. Se você precisa deletar uma peça específica de informação e ter certeza absoluta de que ela se foi — como apagar o registro de um paciente ou corrigir um fato errado — este "segurança" é a primeira ferramenta que pode te dar um certificado dizendo: "Eu prometo, foi apagado".

É uma ferramenta poderosa para trabalhos específicos onde ser correto sobre a deleção importa mais do que ser rápido, mas por enquanto, é um dispositivo especializado, não um substituto para toda a biblioteca.

Resumo Técnico: Atenção Esquecível: Uma Memória de Vetores de Suporte Treinável com Seleção Certificada e Desaprendizado Exato

Declaração do Problema

Os atuais mecanismos de atenção de aprendizado em tempo de teste (TTL), como DeltaNet, atenção linear e modelos de espaço de estados seletivos, operam mantendo estados de memória densos e não restritos (tipicamente de mínimos quadrados ou recorrentes). Nestes sistemas, cada token retém um peso não nulo, e o único mecanismo para remover tokens é o decaimento exponencial. Esta abordagem apresenta duas limitações fundamentais:

Falta de Seleção Certificada: Não há uma forma fundamentada de determinar quais tokens de contexto podem ser descartados sem alterar a saída do modelo. Heurísticas de poda existentes (ex: H2O, SnapKV) baseiam-se em métricas de pontuação sem garantias de que a evasão preserva a leitura (readout).
Desaprendizado Imperfeito: Requisitos regulatórios (ex: direito ao esquecimento do GDPR) e necessidades clínicas exigem a capacidade de deletar a influência de um token específico de forma direta. Métodos de desaprendizado baseados em gradiente (ex: ascensão de gradiente, escalonamento de coeficientes) deixam influências residuais que são difíceis de limitar e defender perante auditores.

Metodologia

O artigo introduz a Atenção de Vetor de Suporte (SV-Attention), uma camada de memória de margem máxima restrita, que reformula a atenção como um problema de Descrição de Dados de Vetor de Suporte de Classe Única (SVDD) ajustado online aos keys de contexto.

Mecanismo Central

Dados os context keys $x_i$ e values $v_i$ , a SV-Attention computa uma média ponderada onde os pesos são os coeficientes de suporte $\alpha$ de um SVM de classe única:
$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$
Os coeficientes $\alpha$ resolvem um programa quadrático convexo com um parâmetro de caixa $C$ fixo:
$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{sujeito a} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$
onde $K$ é a matriz Gram de chaves.

A Partição do Conjunto Ativo

A solução particiona os tokens em três conjuntos baseados nas condições de Karush–Kuhn–Tucker (KKT):

Conjunto de Margem ( $S$ ): $0 < \alpha_i < C$ . Estes tokens carregam a leitura (readout).
Conjunto de Erro ( $E$ ): $\alpha_i = C$ . Chaves de fronteira ou outliers.
Conjunto de Reserva ( $R$ ): $\alpha_i = 0$ . Tokens no interior da descrição.

Seleção Certificada: Pela complementaridade de slack, os tokens no Conjunto de Reserva ( $R$ ) têm exatamente peso zero. Removê-los é comprovadamente preservador da saída.
Esquecimento Exato: O sistema utiliza um solver incremental (Cauwenberghs & Poggio, 2000) que mantém a inversa da matriz KKT fronteirada. Isso permite:

Adição Incremental: Adicionar um token preservando as condições KKT.
Remoção Decremental: Reverter o processo para remover um token, retornando o solver ao estado exato em que ele estaria se o token nunca tivesse sido visto (sob o mesmo $C$ fixo).

Treinamento e Implementação

O artigo emprega dois caminhos numéricos distintos:

Caminho Mantido Exato (fp64): Usado para inferência e verificação de certificado. Ele mantém a inversa KKT, permitindo um backward pass customizado que reutiliza esta inversa (sem necessidade de uma segunda resolução) e suporta a deleção decremental exata.
Caminho Estabilizado em Lote (Treinamento): Para permitir o treinamento em GPUs, os autores utilizam uma aproximação separada. Este caminho emprega um solver FISTA em lote para estimar máscaras de conjunto ativo, seguido por um torch.linalg.solve regularizado por ridge ( $10^{-3}$ ) para os coeficientes. Este caminho é diferenciável via autograd, mas não fornece certificados de deleção exata ou reutiliza a inversa KKT.

Uma camada híbrida combina estes elementos: uma memória global de longo alcance (resolvida pelo caminho exato ou sua aproximação) lida com o prefixo, enquanto um caminho local denso (softmax padrão) lida com o chunk atual.

Principais Contribuições

Esquecimento Exato: O solver fp64 mantido exato alcança o "esquecimento perfeito", definido como equivalência ao retreinar do zero sem os dados. Experimentos mostram que a remoção decremental recupera a partição do conjunto ativo e a função de decisão idênticas (desvio mediano $\sim 10^{-9}$ a $10^{-13}$ ) em comparação com um modelo retreinado, desde que o ótimo seja único.
Seleção Certificada: A partição do conjunto ativo serve como um certificado matemático em vez de uma pontuação heurística. Evictar tokens de reserva é garantidamente preservador da saída.
Memória de Margem Máxima Treinável: Os autores demonstram uma camada treinável usando um backward pass customizado que reutiliza a inversa KKT mantida no forward, evitando o custo computacional de uma segunda resolução do sistema para o caminho exato.
Capacidades do Mundo Real: O sistema demonstra esquecimento cirúrgico de fatos, edição de conhecimento exata e deleção de registros de pacientes para o "direito ao esquecimento" em fluxos reais de UTI MIMIC-IV com zero vazamento.

Resultados Experimentais

Verificação de Esquecimento Exato

Correspondência de Partição: Em chaves Gaussianas, MIMIC-IV reais e de modelos treinados, o caminho decremental recuperou a partição do conjunto ativo idêntica à de um modelo retreinado em 98–100% dos testes (ótimos únicos).
Desvio da Função de Decisão: O desvio mediano entre a solução decremental e a solução retreinada foi de $\sim 10^{-9}$ (Gaussiano/ICU) e $10^{-13}$ (chaves aprendidas). O pior caso de desvio ( $1.1 \times 10^{-2}$ ) ocorreu apenas em fluxos de duplicatas próximas mal condicionadas.
Comparação com Decaimento: O decaimento de coeficientes (o baseline padrão) mostrou desvios ordens de magnitude maiores ( $10^{-2}$ a $10^{-1}$ ) porque nunca resolve novamente os tokens restantes.

Desempenho de Seleção Certificada

Recall de Itens Raros: Sob redundância enviesada, a seleção certificada reteve itens raros com 0.86 de recall, comparado a 0.32 para a evasão de heavy-hitter do tipo H2O (mesmo quando o H2O tinha acesso ao oráculo de consultas).
Estado Adaptativo: Em tarefas de cópia seletiva com preenchimento crescente, a SV-Attention manteve $\sim 0.99$ de recall enquanto o tamanho do conjunto de suporte permaneceu limitado (11–14 tokens, enquanto baselines de estado fixo, como DeltaNet e linear, colapsaram para o acaso.
Fluxos de UTI: Nos dados do MIMIC-IV, a seleção certificada reteve 0.80 das horas de deterioração crítica com um orçamento correspondente, contra 0.05 para a evasão de heavy-hitter.

Desempenho de Modelagem de Linguagem

Escala Pequena (3.22M params): No enwik8, a SV-Attention híbrida alcançou 2.178 BPC comparado a 2.383 BPC de um Transformer de janela deslizante com estado correspondente (melhoria de 8.6%, $p=0.001$ ).
Escalabilidade: Com 10M de parâmetros, a vantagem desapareceu (empate), atribuída ao fato de o portão (gate) congelado por chunk convergir de forma mais lenta e menos estável que o softmax em escalas maiores. O artigo nota que a otimização estável e escalável do portão permanece um problema em aberto.
Throughput: O caminho de treinamento híbrido atinge 9.125 tokens/s em um modelo de 3.22M, o que é 35.8× mais lento que uma referência de softmax MPS padrão.

Significância e Alegações

O artigo posiciona a SV-Attention não como um substituto de propósito geral para a atenção que domine em throughput bruto ou perplexidade em todas as escalas, mas como um mecanismo especializado para cenários que exigem garantias auditáveis.

Valor Regulatório e Clínico: A principal significância reside em fornecer um mecanismo onde a remoção de tokens é provável em vez de aproximada. Para aplicações sujeitas ao "direito de ser esquecido" ou retirada de consentimento clínico, a capacidade de demonstrar que a saída de um modelo é matematicamente equivalente a uma que nunca viu os dados é um diferencializador crítico em relação ao desaprendizado baseado em gradiente.
Vantagem Estrutural: O artigo argumenta que a restrição de margem máxima introduz um "conjunto ativo" estrutural que as memórias densas de mínimos quadrados carecem. Essa estrutura permite a seleção certificada de outliers e o esquecimento exato, o que é particularmente valioso em fluxos redundantes e orientados por anomalias (ex: sinais vitais médicos, documentos padrão).
Limitações: Os autores afirmam explicitamente que o certificado de deleção exata aplica-se apenas à memória global de longo alcance resolvida pelo caminho exato fp64. O caminho do chunk local e a aproximação de treinamento em lote não carregam este certificado. Além disso, a vantagem de desempenho está atualmente confinada à modelagem de linguagem de pequena escala, e o sistema é significamente mais lento que as implementações de atenção padrão.

Em resumo, a SV-Attention troca o throughput bruto e a dominância de perplexidade em larga escala por propriedades certificáveis: a capacidade de provar que tokens específicos são ignorados (seleção) e que foram completamente apagados (desaprendizado).