🤖 machine learning

Inference-Time Machine Unlearning via Gated Activation Redirection

GUARD-IT é um método inovador de desaprendizado de máquina sem treinamento que emprega redirecionamento de ativação com portões dependentes da entrada no momento da inferência para remover efetivamente dados memorizados, preservando a utilidade e a robustez do modelo em cenários de quantização e aprendizado contínuo, superando abordagens tradicionais baseadas em gradiente.

Autores originais: Vinícius Conte Turani, Otávio Parraga, João Vitor Boer Abitante, Kristen K. Arguello, Joana Pasquali, Ramiro N. Barros, Flavio du Pin Calmon, Christian Mattjie, Rodrigo C. Barros, Lucas S. Kupssinskü

Publicado 2026-05-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Vinícius Conte Turani, Otávio Parraga, João Vitor Boer Abitante, Kristen K. Arguello, Joana Pasquali, Ramiro N. Barros, Flavio du Pin Calmon, Christian Mattjie, Rodrigo C. Barros, Lucas S. Kupssinskü

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário muito inteligente e bem lido (o modelo de IA) que memorizou milhões de livros. Às vezes, você precisa pedir a esse bibliotecário para "desaprender" histórias específicas — talvez porque contenham informações privadas, material protegido por direitos autorais ou apenas fatos que você deseja remover.

A maneira tradicional de fazer isso é como pegar o cérebro inteiro do bibliotecário, realizar uma cirurgia de coração aberto e tentar remover cirurgicamente os neurônios específicos que guardam essas memórias. Isso é arriscado, caro e frequentemente deixa o bibliotecário confuso, incapaz de lembrar de nada mais, ou falando em algarismos sem sentido.

Este artigo apresenta um novo método chamado GUARD-IT. Em vez de cortar partes do cérebro, ele atua como um diretor de tráfego inteligente na mesa do bibliotecário.

Veja como funciona, usando analogias simples:

1. O Problema da Direção "Global"

Tentativas anteriores de "engenharia de ativação" (alterar como a IA pensa sem re treiná-la) eram como colocar um letreiro "Não Fale" na mesa do bibliotecário que se aplicava a todos. Se você dissesse ao bibliotecário: "Não fale sobre o Autor X", ele pararia de falar sobre o Autor X, mas também poderia parar acidentalmente de falar sobre qualquer pessoa que soasse até um pouco como o Autor X. Eles também poderiam começar a falar de maneira estranha e robótica porque o letreiro "Não Fale" era muito pesado.

2. A Solução GUARD-IT: O "Portão Inteligente"

O GUARD-IT é diferente porque não usa um único letreiro gigante para todos. Em vez disso, ele usa um Portão Inteligente (o "Gateway de Similaridade").

Etapa 1: Agrupamento das Memórias (Fase Offline)
Antes do bibliotecário começar a trabalhar, a equipe pega todos os livros que deseja remover e os organiza em pilhas diferentes com base em seus tópicos (por exemplo, "Pilha A: Poetas Franceses", "Pilha B: Biografias do Século XIX"). Eles criam uma instrução específica de "anti-memória" para cada pilha. Pense nelas como cartões específicos de "Não Fale Sobre" para cada tópico.
Etapa 2: A Verificação de Tráfego (Fase Online)
Quando um usuário faz uma pergunta, o Portão Inteligente verifica a pergunta primeiro.
- Se a pergunta for sobre um tópico aleatório (como "Qual é o tempo?"), o portão diz: "Sem correspondência", e o bibliotecário responde normalmente. Os cartões "Não Fale" nunca são tocados.
- Se a pergunta for sobre um tópico específico (como "Conte-me sobre o Autor X"), o portão reconhece o tópico, pega o cartão específico de "Não Fale" para aquela pilha e o aplica.

3. O "Giro Mágico" (Rotação Preservadora de Norma)

Uma vez que o portão seleciona o cartão "Não Fale" correto, o GUARD-IT não apenas empurra o cérebro do bibliotecário em uma nova direção. Em vez disso, ele realiza um giro perfeito.

Imagine que os pensamentos do bibliotecário são um pião girando.

Os métodos antigos tentavam derrubar o pião, o que frequentemente fazia ele oscilar e cair (fazendo a IA produzir nonsense ou "algarismos sem sentido").
O GUARD-IT gira suavemente o pião para que ele aponte em uma nova direção, mas mantém a velocidade de giro exatamente a mesma. Isso garante que o bibliotecário permaneça equilibrado e fluente, apenas falando sobre coisas diferentes.

4. Por Que Isso é Importante

O artigo afirma que o GUARD-IT resolve três grandes dores de cabeça que outros métodos têm:

Nenhuma "Cirurgia Cerebral" Necessária: Não requer o re-treinamento do modelo ou a alteração de seus pesos permanentes. É como dar ao bibliotecário um conjunto temporário de instruções em vez de reconfigurar seu cérebro.
Sobrevive à "Compressão": No mundo real, os modelos de IA são frequentemente reduzidos (quantizados) para rodar mais rápido em celulares ou servidores mais baratos. Os métodos tradicionais frequentemente quebram quando o modelo é reduzido, como uma escultura delicada desmoronando quando embalada apertada. O GUARD-IT funciona perfeitamente mesmo quando o modelo é comprimido porque opera no fluxo de informações, não nos pesos estáticos e pesados.
Lida com Solicitações "Contínuas": Se você precisar remover um novo livro na próxima semana, não precisa refazer toda a cirurgia. Você apenas adiciona um novo cartão "Não Fale" à pilha. O bibliotecário pode lidar com um fluxo interminável de solicitações de remoção sem ficar confuso ou esquecer fatos não relacionados.

Resumo

Em resumo, o GUARD-IT é uma maneira livre de treinamento e livre de gradiente de fazer uma IA "esquecer" coisas específicas. Ele faz isso:

Classificando as coisas a serem esquecidas em categorias.
Verificando se a pergunta de um usuário corresponde a uma categoria.
Se corresponder, aplicando um "giro" suave e preciso aos pensamentos da IA para desviá-la do tópico proibido.
Se não corresponder, permitindo que a IA responda normalmente.

Isso mantém a IA inteligente, fluente e segura, sem o risco de quebrar seu cérebro ou precisar de re-treinamento caro.

Resumo Técnico: Esquecimento de Máquina em Tempo de Inferência via Redirecionamento de Ativação Portada (GUARD-IT)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente memorizam dados de treinamento, criando riscos significativos relacionados à privacidade, violação de direitos autorais e segurança. O Esquecimento de Máquina (MU) visa remover a influência de um conjunto específico de "esquecimento" ( $D_f$ ) enquanto preserva o desempenho em um conjunto de "retenção" ( $D_r$ ), idealmente aproximando-se de um modelo re-treinado do zero sem $D_f$ .

As abordagens existentes de MU dependem principalmente de atualizações de parâmetros baseadas em gradiente, computacionalmente caras. Esses métodos enfrentam várias limitações críticas:

Custo Computacional: Exigem acesso ao pipeline completo de ajuste fino e recursos significativos.
Irreversibilidade e Instabilidade: As atualizações de pesos são irreversíveis e podem levar a um "colapso catastrófico", onde o modelo perde a generalização e produz saídas incoerentes.
Fragilidade à Quantização: Os efeitos do esquecimento são frequentemente comprometidos ou desfeitos quando os modelos são quantizados para implantação, pois o arredondamento de baixa precisão apaga os ajustes de peso de alta granularidade.
Problemas de Esquecimento Contínuo: Em cenários com solicitações de esquecimento sequenciais, atualizações de parâmetros repetidas acumulam interferência, degradando conhecimentos não relacionados ao longo do tempo.
Limitações de Direcionamento de Ativação Ingênuo: Embora a engenharia de ativação ofereça uma alternativa sem treinamento, a aplicação de um único vetor de direcionamento global a todas as entradas falha quando o corpus de esquecimento abrange direções semânticas conflitantes, levando a mudanças de comportamento indesejadas em entradas não relacionadas.

Metodologia: GUARD-IT

O artigo apresenta o GUARD-IT (Esquecimento em Tempo de Inferência via Redirecionamento de Ativação Portada), um método sem treinamento e sem gradiente que realiza o esquecimento inteiramente no espaço de ativação durante a inferência. O método opera sob a hipótese de representação linear, tratando o esquecimento como uma transformação geométrica controlada de estados ocultos.

Componentes Principais

Agrupamento Semântico (Fase Offline):
- O corpus de esquecimento $D_f$ é incorporado usando um Sentence-Transformer e particionado em agrupamentos semânticos usando K-Means. O número de agrupamentos ( $k$ ) é selecionado automaticamente maximizando a pontuação de silhueta.
- Para cada agrupamento, um Vetor de Direcionamento de Protótipo (PSV) é computado pela média das ativações do estado oculto em uma camada alvo específica $\ell$ (tipicamente o primeiro quartil da pilha do transformador).
- Um vetor de referência $\bar{h}_r$ é computado a partir do corpus de retenção para garantir que o direcionamento não interfira no conhecimento retido.
Porta de Similaridade (Fase Online):
- No momento da inferência, uma consulta do usuário $x$ é incorporada e comparada aos centróides dos agrupamentos de esquecimento.
- Uma Porta de Similaridade (SG) seleciona apenas os agrupamentos cujos centróides excedem um limiar de similaridade $T$ . Isso garante que o direcionamento seja aplicado apenas a entradas semanticamente relacionadas ao conjunto de esquecimento, preservando a utilidade para consultas não relacionadas.
Rotação Preservadora de Norma:
- Os PSVs ativos são agregados em uma direção de esquecimento dependente da entrada $p(x)$ .
- Essa direção é projetada ortogonalmente ao vetor de referência de retenção $\bar{h}_r$ para remover componentes compartilhados.
- O vetor de direcionamento resultante é reescalado para corresponder à norma média de ativação dos estados ocultos.
- Finalmente, a intervenção é aplicada como uma rotação pura no fluxo residual: o estado oculto é rotacionado para longe da direção de esquecimento, preservando estritamente sua norma original. Isso previne a desestabilização da normalização de camada e da escala de atenção.

Contribuições Principais

Formulação Sem Treinamento e Sem Gradiente: O artigo reformula o esquecimento como um problema de direcionamento dependente da entrada no espaço de ativação, eliminando a necessidade de atualizações de parâmetros, re-treinamento ou acesso ao pipeline de treinamento.
Direcionamento Dependente da Entrada via Agrupamento: Ao particionar o corpus de esquecimento e usar uma porta de similaridade, o GUARD-IT permite um esquecimento localizado e composicional. Ele evita os modos de falha do direcionamento global ingênuo ao adaptar a intervenção ao conteúdo semântico de cada consulta.
Robustez à Quantização e Esquecimento Contínuo: O método suporta naturalmente o esquecimento contínuo (ao anexar novos PSVs sem modificar os existentes) e permanece eficaz sob quantização de modelos (4 bits e 8 bits), um cenário onde métodos baseados em gradiente tipicamente se degradam ou falham.

Resultados Experimentais

Os autores avaliaram o GUARD-IT nos benchmarks TOFU e MUSE em três escalas de modelo (Llama-3.2-1B, 3B e Llama-3.1-8B).

Desempenho vs. Baselines: O GUARD-IT iguala ou supera 12 baselines baseadas em gradiente em todas as escalas de modelo. Ele alcança as pontuações médias mais altas (média harmônica de utilidade e supressão de memorização) nas divisões TOFU forget01 e forget05.
Evitação de Colapso Catastrófico: Ao contrário de muitos métodos baseados em gradiente (por exemplo, PDU, RMU) que sofrem de colapso catastrófico (baixa utilidade e altas taxas de nonsense) à medida que a força de esquecimento aumenta, o GUARD-IT mantém alta coerência (taxas de nonsense > 0,80) enquanto suprime efetivamente a memorização.
Robustez à Quantização: Em experimentos com quantização de 4 bits e 8 bits, o GUARD-IT mantém seu perfil de desempenho. Em contraste, métodos baseados em gradiente mostram degradação significativa na utilidade e na supressão de memorização quando quantizados, pois as perturbações de peso de alta granularidade são perdidas.
Esquecimento Contínuo: Em cenários de esquecimento sequencial, o GUARD-IT mantém consistentemente o compromisso entre utilidade e memorização, enquanto métodos baseados em gradiente sofrem com interferência entre atualizações sucessivas, levando à degradação progressiva do modelo.

Significado e Alegações

O artigo alega que o GUARD-IT aborda limitações estruturais inerentes aos métodos de atualização de parâmetros. Ao codificar o esquecimento como um conjunto externo e versionável de vetores de direcionamento, em vez de reescritas destrutivas de pesos, o método oferece:

Flexibilidade de Implantação: A força de esquecimento torna-se um controle contínuo em tempo de inferência (controlado pelo coeficiente de direcionamento $\alpha$ ), em vez de um compromisso fixo no momento do treinamento.
Auditabilidade e Reversibilidade: Solicitações de esquecimento podem ser inspecionadas, atualizadas ou revertidas modificando o armazenamento de vetores sem re-treinar o modelo.
Estabilidade: A rotação preservadora de norma garante que a intervenção não perturbe os mecanismos de normalização interna do modelo, prevenindo as saídas incoerentes comuns em direcionamento de ativação agressivo.

Os autores concluem que essa abordagem reestrutura a remoção de $D_f$ como um problema de roteamento sobre uma biblioteca pré-computada de direções de ativação, oferecendo uma solução prática para conformidade de privacidade (por exemplo, GDPR, Lei de IA da UE) em LLMs implantados, particularmente em ambientes com recursos limitados ou quantizados.

Limitações

O artigo reconhece que o método depende da hipótese de representação linear, assumindo que conceitos de esquecimento são codificados ao longo de direções aproximadamente lineares no fluxo residual. Isso pode não valer para conceitos codificados de forma não linear ou distribuídos por muitas direções de baixa magnitude. Além disso, a avaliação está atualmente focada em associações factuais de nível de entidade (TOFU, MUSE), e a transferibilidade para conhecimento procedimental, cadeias de raciocínio ou conjuntos criados adversarialmente permanece uma questão em aberto.