MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

O artigo propõe o MPU, um framework de desaprendizado de conhecimento para grandes modelos de linguagem que preserva a privacidade ao permitir que clientes realizem o processo localmente em suas próprias cópias perturbadas do modelo, sem revelar seus dados de esquecimento ou os parâmetros exatos do servidor, enquanto o servidor agrega as atualizações com um mecanismo de redução de ruído para manter a eficácia do desaprendizado.

O essencial

Imagine que você tem um chef de cozinha famoso (o Servidor) que criou uma receita secreta incrível (o Modelo de Inteligência Artificial). Mas, por algum motivo, uma pessoa específica (o Cliente) diz: "Ei, essa receita usa um ingrediente que eu comprei, e eu quero que você esqueça que esse ingrediente existe, porque é meu segredo".

O problema é que o Chef não pode revelar a receita completa para o Cliente (para proteger seus segredos), e o Cliente não pode entregar o ingrediente bruto para o Chef (para proteger a privacidade dele). Como fazer o Chef "esquecer" o ingrediente sem que eles precisem se mostrar as mãos?

Aqui entra o MPU, a solução proposta neste artigo. Pense nele como um truque de mágica com cópias distorcidas.

O Problema: O Dilema do Segredo

Normalmente, para apagar algo de uma IA, você precisa mostrar a ela os dados que quer apagar. Mas, em um cenário seguro:

1. O Cliente não quer mostrar os dados (são privados).
2. O Servidor não quer mostrar o modelo exato (é propriedade intelectual).

Se o Servidor mandar o modelo "limpo", o Cliente pode tentar deduzir como ele funciona. Se o Servidor mandar os dados, o Cliente perde a privacidade. É um impasse.

A Solução: O Truque das Cópias Distorcidas (MPU)

O MPU resolve isso com três passos mágicos:

1. O Servidor Cria "Espelhos Distorcidos" (Pré-Processo)

Em vez de enviar o modelo original, o Servidor cria várias cópias dele. Mas essas cópias não são iguais.

• Ruído (Distorção): O Servidor adiciona um pouco de "neve" ou "fumaça" aleatória a cada cópia. É como se ele olhasse para o modelo através de óculos escuros diferentes em cada cópia. Isso impede que o Cliente veja a imagem real.
• Reencanamento (Reparametrização): O Servidor também "reorganiza" a cozinha. Ele troca a posição das panelas e dos temperos de uma forma que, matematicamente, a comida sai com o mesmo gosto, mas a estrutura interna parece totalmente diferente. É como se ele girasse o modelo em um espelho.

O Cliente recebe essas cópias estranhas e distorcidas.

2. O Cliente Faz a "Cirúrgia" Localmente (Unlearning)

O Cliente pega cada cópia distorcida e tenta "apagar" o ingrediente proibido (o conjunto de dados de esquecimento) usando suas próprias ferramentas.

• Como o Cliente não tem o modelo original, ele trabalha apenas com a cópia distorcida.
• Ele calcula o que precisa mudar para apagar o segredo e devolve essa "dica de mudança" para o Servidor.

3. O Servidor Faz a "Limpeza Mágica" (Pós-Processo)

Aqui está a parte genial. O Servidor recebe várias "dicas de mudança" de cópias diferentes.

• Desfazendo o Espelho: O Servidor sabe exatamente como girou o modelo (o reencanamento), então ele "desfaz" a rotação nas dicas recebidas.
• O Cancelamento do Ruído: Como as cópias tinham "neve" (ruído) em direções diferentes e opostas, quando o Servidor junta todas as dicas usando uma fórmula matemática especial (chamada de agregação harmônica), o ruído se cancela!
  • Analogia: Imagine que você tem 3 pessoas tentando empurrar um carro. Uma empurra para a esquerda, outra para a direita, e a terceira para cima. Se você somar a força delas de um jeito inteligente, os empurrões errados se anulam, e sobra apenas o empurrão que realmente move o carro para frente.

O resultado é que o Servidor atualiza o modelo original como se tivesse recebido uma instrução perfeita, sem nunca ter visto os dados do Cliente e sem ter revelado o modelo exato.

Por que isso é incrível?

• Privacidade Total: O Cliente nunca vê o modelo real, e o Servidor nunca vê os dados do Cliente.
• Eficiência: Mesmo com o "ruído" das cópias, o modelo final fica quase tão bom quanto se não houvesse ruído nenhum. Na verdade, em alguns casos, o método de usar várias cópias até ajuda a estabilizar o processo, tornando o "esquecimento" mais preciso do que métodos tradicionais.
• Versatilidade: Funciona com qualquer tipo de algoritmo de esquecimento que já existe.

Resumo em uma frase

O MPU é como pedir para alguém apagar uma página de um livro que você não pode mostrar, usando várias versões fotocopiadas e borradas desse livro; depois, você junta as correções de todas as cópias de um jeito que o borrão some e a página é apagada perfeitamente, sem que ninguém precise ver o livro original ou a página original.

É uma solução elegante que equilibra a necessidade de privacidade com a eficiência técnica, permitindo que IAs "esqueçam" segredos sem quebrar a confiança entre quem guarda os dados e quem guarda o modelo.

Resumo técnico

Resumo Técnico: MPU (Multiple Perturbed Copies Unlearning)

1. O Problema: O Dilema de Privacidade no Desaprendizado (Unlearning)

O desaprendizado de máquina (machine unlearning) em Grandes Modelos de Linguagem (LLMs) visa remover seletivamente dados, conhecimentos ou comportamentos indesejados de um modelo treinado sem a necessidade de retreinamento completo (que é proibitivamente caro).

No entanto, cenários reais de implantação (servidor-cliente) impõem um dilema de privacidade de dupla não-divulgação:

1. Privacidade do Cliente: O conjunto de dados a ser esquecido (forget set) pertence ao cliente e deve permanecer local. O cliente não pode compartilhar dados brutos ou estatísticas suficientes detalhadas com o servidor.
2. Privacidade do Servidor: O modelo LLM é propriedade intelectual do servidor. O servidor não deseja revelar seus parâmetros exatos ao cliente para evitar vazamento de informações proprietárias.

Métodos existentes falham aqui: abordagens baseadas em sharding exigem acesso aos dados de treinamento; técnicas post-hoc geralmente assumem acesso direto ao modelo e aos dados; e métodos federados muitas vezes exigem que o servidor exponha seu estado atual ou dependam de estatísticas auxiliares (como dados substitutos).

2. Metodologia: O Framework MPU

O MPU é um framework de desaprendizado agnóstico a algoritmos projetado para resolver essa restrição de dupla não-divulgação. A ideia central é permitir que o cliente execute o desaprendizado localmente em uma versão "perturbada" do modelo, enquanto o servidor agrega as atualizações de forma a cancelar o ruído introduzido, recuperando a atualização ideal sem nunca ver os dados do cliente ou revelar seus parâmetros exatos.

O processo ocorre em R rodadas de comunicação, divididas em três etapas principais:

A. Pré-Processamento (Geração de Cópias Perturbadas) - Lado do Servidor
O servidor não envia o modelo original $\theta$. Em vez disso, ele gera $m \ge 2$ cópias perturbadas para o cliente:

1. Injeção de Ruído Estruturado: O servidor adiciona ruído gaussiano a cada bloco do modelo. O ruído é gerado de forma que a soma dos vetores de ruído entre as $m$ cópias seja zero (propriedade de soma nula).
2. Reparametrização Invertível e Preservadora de Função: O servidor aplica uma transformação $T$ aos parâmetros. Essa transformação é baseada em simetrias do modelo (ex: permutação de canais em camadas FFN, transformações ortogonais em cabeças de atenção) que garantem que a função do modelo permaneça inalterada ($f_{T(\theta)}(x) = f_\theta(x)$), mas obscurece o espaço de parâmetros original.
   • Nota: Para modelos com RoPE (como Llama), as transformações são restritas a comutar com os operadores RoPE.

B. Desaprendizado Local - Lado do Cliente
O cliente recebe as $m$ cópias perturbadas e reparametrizadas.

• O cliente executa o algoritmo de desaprendizado (ex: GradAscent, NPO, DPO) em seu conjunto de dados privado (forget set) em cada cópia.
• O cliente retorna apenas os vetores de atualização ($\Delta$) para o servidor, sem revelar os dados ou o modelo original.

C. Pós-Processamento (Agregação e Denoising) - Lado do Servidor
O servidor recebe as atualizações e realiza:

1. Inversão da Reparametrização: Aplica a transformação inversa $T^{-1}$ para mapear as atualizações de volta para o espaço de parâmetros original.
2. Agregação Harmônica: O servidor agrega as atualizações usando pesos harmônicos específicos ($\alpha_k^{-1}$). Devido à propriedade de soma nula do ruído injetado e à linearidade local das atualizações, o termo de erro de primeira ordem introduzido pelo ruído é cancelado exatamente na agregação.
   • O resultado é uma atualização global que corresponde ao passo de desaprendizado ideal (sem ruído), mantendo a privacidade de ambos os lados.

Eficiência de Memória: O framework foi projetado para ser eficiente em memória, processando as cópias em fluxo (streaming), exigindo apenas $O(d)$ de memória em vez de $O(md)$, onde $d$ é o tamanho do modelo.

3. Principais Contribuições

1. Framework de Desaprendizado de Dupla Não-Divulgação: Primeira solução que permite o desaprendizado onde o cliente não compartilha dados e o servidor não revela parâmetros exatos, sem depender de dados substitutos ou estatísticas auxiliares.
2. Reparametrizações Invertíveis para Transformers: Generalização de técnicas de invariância funcional para arquiteturas Transformer modernas (incluindo mecanismos RoPE), permitindo simetrias de parâmetros em modelos como Llama e Qwen.
3. Garantias Teóricas de Cancelamento de Ruído: Prova teórica de que, sob injeção de ruído estruturada e agregação harmônica, o erro de primeira ordem é eliminado, resultando em uma atualização consistente com o desaprendizado sem ruído.
4. Estabilidade via Múltiplas Cópias: Demonstra que a agregação de múltiplas cópias atua como um regularizador local, estabilizando algoritmos de desaprendizado que seriam instáveis em uma única inicialização.

4. Resultados Experimentais

Os autores avaliaram o MPU em modelos Llama-3.2 (1B e 3B) e Qwen2.5 (1.5B e 3B) usando o benchmark TOFU. Foram testados 7 algoritmos de desaprendizado (GradAscent, GradDiff, DPO, NPO, SimNPO, UnDIAL, SatImp).

• Desempenho de Desaprendizado (Forget Quality): O MPU alcança desempenho comparável ou superior às linhas de base sem ruído. Em muitos casos, supera a linha de base sem ruído devido ao efeito de estabilização das múltiplas cópias.
  • Exemplo: Para o algoritmo GradAscent, o MPU alcançou uma qualidade de esquecimento de 0.054 (vs. ~0 na linha de base com ruído simples) e 0.990 para Qwen2.5, demonstrando eficácia onde outros falhavam.
• Utilidade do Modelo (Model Utility): A utilidade geral do modelo (desempenho em tarefas não relacionadas ao esquecimento) foi preservada, com degradação média bem abaixo de 1% sob ruído de 10%.
• Privacidade (PrivLeak): O framework mantém vazamento de privacidade próximo ao de um modelo retreinado, indicando que o desaprendizado foi eficaz.
• Robustez: O sistema é robusto a diferentes níveis de ruído ($\kappa$) e números de cópias ($m$). O uso de apenas 2 cópias ($m=2$) mostrou-se suficiente para a maioria dos casos, minimizando o custo computacional.

5. Significado e Impacto

O MPU representa um avanço significativo na interseção entre privacidade de dados, propriedade intelectual e conformidade regulatória (como o "direito ao esquecimento") para LLMs.

• Viabilidade Comercial: Permite que provedores de LLMs ofereçam serviços de desaprendizado para clientes corporativos sem comprometer segredos comerciais (pesos do modelo) ou expor dados sensíveis dos clientes.
• Segurança: Ao evitar a necessidade de compartilhar dados brutos ou parâmetros exatos, reduz a superfície de ataque para inferência de membros e extração de dados.
• Eficiência: Oferece uma alternativa viável ao retreinamento completo, que é computacionalmente proibitivo para modelos de grande escala.

Em suma, o MPU resolve um impasse prático crítico na implantação de LLMs, permitindo o "esquecimento" seguro e eficiente em ambientes de confiança zero entre servidor e cliente.