💬 NLP

Quantization-Robust LLM Unlearning via Low-Rank Adaptation

Este artigo propõe um método de esquecimento de modelos de linguagem robusto à quantização, utilizando adaptação de baixo rank (LoRA) para preservar as atualizações de esquecimento em modelos quantizados para 4 bits, melhorando significativamente a utilidade e reduzindo o vazamento de privacidade sem comprometer o esquecimento efetivo.

Autores originais: João Vitor Boer Abitante, Joana Meneguzzo Pasquali, Luan Fonseca Garcia, Ewerton de Oliveira, Thomas da Silva Paula, Rodrigo C. Barros, Lucas S. Kupssinskü

Publicado 2026-03-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: João Vitor Boer Abitante, Joana Meneguzzo Pasquali, Luan Fonseca Garcia, Ewerton de Oliveira, Thomas da Silva Paula, Rodrigo C. Barros, Lucas S. Kupssinskü

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um livro de receitas gigante e muito famoso (o Modelo de Linguagem, ou LLM). Esse livro contém milhares de receitas, mas algumas delas foram escritas por pessoas que não querem mais que elas sejam públicas (dados privados, textos com direitos autorais, ou informações sensíveis).

O objetivo do "Desaprendizado de Máquina" (Machine Unlearning) é pegar esse livro e apagar especificamente essas receitas proibidas, sem estragar o resto do livro. Você quer que o livro continue servindo para cozinhar pratos comuns, mas que não consiga mais reproduzir as receitas que você pediu para esquecer.

O Problema: O "Apagão" da Compactação

Aqui está o dilema: para que esse livro de receitas seja usado em celulares ou computadores mais simples, precisamos compactá-lo (reduzir seu tamanho). Isso é chamado de "Quantização".

Pense na quantização como transformar um livro de alta definição em um livro de desenhos simples.

No livro original (alta precisão), você pode fazer um risco de caneta muito fino para apagar uma palavra.
No livro de desenhos simples (baixa precisão, como 4 bits), as "linhas" são grossas e grossas.

O artigo descobre que, quando tentamos apagar as receitas proibidas no livro original e depois o transformamos em livro de desenhos, o apagamento some!
Por que? Porque a "caneta" usada para apagar foi muito fina. Quando o livro foi compactado, a linha grossa do novo formato cobriu o risco fino do apagamento. O livro compactado voltou a ter a receita proibida, como se nada tivesse acontecido. É como tentar apagar uma mancha de tinta com um borrachão gigante: a mancha fica lá, escondida pela borracha.

A Solução: O "Adaptador" Inteligente (LoRA)

Os autores propõem uma solução inteligente chamada LoRA (Adaptação de Baixo Rango). Em vez de tentar apagar as receitas riscando o papel inteiro do livro (o que exige riscos muito finos e delicados), eles propõem uma abordagem diferente:

Congelar o Livro Original: Eles não tocam no livro de receitas original. Ele fica intacto e seguro.
Colar um "Post-it" Inteligente: Em vez de riscar o papel, eles colam um pequeno Post-it (o adaptador LoRA) em cima da receita proibida.
Escrever com Caneta Grossa: No Post-it, eles escrevem uma mensagem muito forte e clara: "NÃO USE ESTA RECEITA!". Como o Post-it é pequeno e dedicado apenas a isso, eles podem usar uma caneta bem grossa (taxa de aprendizado alta) para garantir que a mensagem seja legível.
Compactar o Conjunto: Quando eles compactam o livro (quantização), a mensagem no Post-it é tão grande e clara que sobrevive à transformação em livro de desenhos. O risco fino do método antigo desapareceu, mas a mensagem grossa no Post-it continua visível.

O Resultado na Prática

Os pesquisadores testaram isso em um modelo chamado Llama-2-7B com dois tipos de dados: livros (Harry Potter) e notícias.

Sem LoRA (Método Antigo): Ao compactar para 4 bits, o modelo "esqueceu" que tinha esquecido. Ele voltou a recitar as frases proibidas.
Com LoRA (Método Novo): O modelo compactado manteve o esquecimento. Ele não consegue mais recitar as frases proibidas, mas continua cozinhando bem (mantendo a utilidade) com as outras receitas.

A Analogia Final:
Imagine que você quer esconder um segredo em uma sala cheia de móveis (o modelo).

Método Antigo: Você tenta mover um móvel milimetro para a esquerda para esconder o segredo. Se alguém olhar de longe (quantização), não vê a diferença e o segredo fica exposto.
Método LoRA: Você coloca uma grande placa de "PROIBIDO ENTRAR" na porta. Mesmo que a sala seja vista de longe ou desenhada de forma simplificada, a placa continua lá, clara e visível, garantindo que o segredo permaneça escondido.

Resumo Simples

O papel mostra que tentar apagar informações de uma Inteligência Artificial e depois compactá-la para economizar espaço geralmente falha, porque o "apagão" é muito fraco para a compactação. A solução é usar um "adendo" (LoRA) onde a mudança é feita de forma concentrada e forte, garantindo que o segredo continue apagado, mesmo quando o modelo é comprimido para rodar em dispositivos menores.

1. O Problema: Falha do Desaprendizado (Unlearning) sob Quantização Pós-Treinamento

O artigo aborda um desafio crítico na implantação de Grandes Modelos de Linguagem (LLMs): a incompatibilidade entre Desaprendizado de Máquina (Machine Unlearning) e a Quantização Pós-Treinamento (PTQ) agressiva.

Contexto: O desaprendizado é necessário para remover dados sensíveis, privados ou com direitos autorais dos modelos. No entanto, para implantação eficiente em recursos limitados, os modelos frequentemente passam por PTQ (ex: redução para 4 bits).
A Falha: O estudo demonstra que métodos de desaprendizado padrão (como Full-Parameter Fine-Tuning - Full-FT) falham sob quantização de 4 bits.
- Mecanismo da Falha: Os algoritmos de desaprendizado padrão operam com taxas de aprendizado baixas para preservar a utilidade geral, gerando atualizações de pesos ( $\Delta W$ ) muito pequenas e difusas.
- Mascaramento pela Quantização: Em quantização de 4 bits, o tamanho do passo de discretização (step size) é grande. Se a atualização $\Delta W$ for menor que esse passo, o peso quantizado permanece no mesmo "bin" (intervalo) que o peso original. Consequentemente, o modelo quantizado reverte ao estado pré-desaprendizado, recuperando o conhecimento que deveria ter sido esquecido.

2. Metodologia: Desaprendizado Robusto via LoRA

Os autores propõem uma nova abordagem: Desaprendizado Robusto à Quantização via Adaptação de Baixo Rango (LoRA).

Ideia Central: Em vez de atualizar todos os parâmetros do modelo (o que dilui a mudança), o método congela os pesos pré-treinados ( $W_0$ ) e concentra o sinal de desaprendizado em adaptadores de baixo rango ( $\Delta W = BA$ ).
Mecanismos de Robustez:
1. Dinâmica de Otimização: Ao restringir a otimização a um subespaço de baixo rango, o risco de destruir a utilidade geral do modelo é reduzido. Isso permite o uso de taxas de aprendizado significativamente maiores (ex: $10^{-4}$ vs $10^{-7}$ no Full-FT).
2. Controle de Magnitude: As taxas de aprendizado maiores, combinadas com o fator de escala ( $\alpha$ ) do LoRA, geram atualizações de pesos efetivas ( $\Delta W$ ) com magnitude suficiente para cruzar as fronteiras dos bins de quantização, garantindo que a mudança persista após a compressão.
3. Seleção de Camadas: O método permite focar o desaprendizado em módulos específicos (ex: camadas MLP ou projeções de atenção), concentrando o "orçamento" de atualização onde o conhecimento está localizado, em vez de diluí-lo por toda a rede.
Fluxo de Trabalho: Os adaptadores LoRA são treinados, fundidos explicitamente nos pesos base do modelo e após isso, o modelo resultante é submetido à quantização PTQ.

3. Contribuições Principais

Análise Teórica e Empírica: Identificação e explicação do conflito entre as atualizações mínimas de peso típicas do desaprendizado e a resolução limitada da quantização de baixa precisão (especialmente 4 bits).
Novo Framework: Proposta de um framework de desaprendizado que utiliza restrições de rank e fatores de escala para gerar atualizações estruturais robustas ao ruído de quantização.
Validação Empírica: Demonstração de que o método LoRA supera o Full-FT na preservação do efeito de desaprendizado após PTQ de 4 bits, mantendo a utilidade do modelo.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark MUSE utilizando o modelo Llama-2-7B em dois conjuntos de dados: Books (Harry Potter) e News (BBC). Foram testados métodos como Gradient Ascent (GA) e Negative Preference Optimization (NPO), com regularização (GDR e KLR).

Desempenho em 4 bits (Int4):
- Full-FT: A maioria dos métodos sofreu degradação severa. O desaprendizado foi "apagado" pela quantização, recuperando o conhecimento esquecido (ex: VerMem e KnowMem aumentaram, indicando falha).
- LoRA: Mostrou robustez superior.
  - Books (NPO+GDR): A utilidade em 4 bits melhorou de 50.17 (Full-FT) para 58.10 (LoRA).
  - News (GA+GDR): A utilidade em 4 bits aumentou de 40.06 para 44.82.
  - Privacidade: O vazamento de privacidade (PrivLeak) foi drasticamente reduzido. Para GA+KLR em Books, o PrivLeak melhorou de -25.68 (Full-FT) para -5.86 (LoRA), aproximando-se do ideal (0), indicando que o modelo quantizado não revela mais informações do que um modelo que nunca viu os dados.
Estabilidade: O LoRA manteve métricas de esquecimento (VerMem e KnowMem próximas de 0) e utilidade estáveis entre a precisão completa (BF16) e a quantização de 4 bits, algo que o Full-FT não conseguiu fazer.

5. Significado e Conclusão

O trabalho estabelece que o desaprendizado de LLMs em cenários de implantação real (que exigem quantização agressiva para eficiência) não pode depender apenas de ajustes finos tradicionais de parâmetros completos.

A principal conclusão é que atualizações estruturadas e eficientes em parâmetros (como LoRA) oferecem um caminho viável para o desaprendizado em regimes de baixa precisão. Ao concentrar o sinal de aprendizado e permitir passos de otimização maiores sem comprometer a utilidade geral, o LoRA garante que as alterações de privacidade e segurança persistam mesmo após a compressão do modelo. Isso é crucial para a conformidade com regulamentações de dados (como GDPR) em aplicações de LLMs implantadas em dispositivos com recursos limitados.