Verification of Machine Unlearning is Fragile

Título: A Verificação de Desaprendizado de Máquina é Frágil

Autores: Binchi Zhang, Zihan Chen, Cong Shen, Jundong Li (Universidade da Virgínia)
Conferência: ICML 2024

---

1. Problema e Motivação

Com o aumento das preocupações com a privacidade e a implementação de legislações como o GDPR e a CCPA, os proprietários de dados têm o direito de solicitar a remoção de seus dados de modelos de aprendizado de máquina (ML), um processo conhecido como Desaprendizado de Máquina (Machine Unlearning - MUL).

No entanto, a implementação atual do MUL apresenta um "problema de caixa preta": os proprietários de dados não podem monitorar o processo de desaprendizado e não têm garantia de que seus dados foram realmente removidos. Para mitigar isso, foram propostas estratégias de verificação, onde os provedores de modelos devem provar que o desaprendizado ocorreu. As duas principais estratégias atuais são:

1. Verificação por Backdoor: O proprietário injeta dados envenenados (backdoor) no conjunto de treinamento. Se o modelo esquecer os dados corretamente, ele não deve mais responder ao gatilho do backdoor.
2. Verificação por Reprodução (Reproducing Verification): O provedor deve fornecer uma "Prova de Retreinamento" (Proof of Retraining - PoRT), permitindo que o verificador reproduza cada passo do treinamento para garantir que os dados foram removidos e que o modelo foi retreinado do zero.

A Questão Central: Os provedores de modelos mal-intencionados podem enganar essas estratégias de verificação, mantendo as informações dos dados supostamente removidos, enquanto ainda passam na verificação?

---

2. Metodologia: Ataques Adversariais

Os autores propõem dois novos processos de desaprendizado adversarial que contornam as estratégias de verificação atuais, preservando a informação dos dados removidos. O objetivo do adversário é satisfazer os requisitos de verificação (provar que o modelo foi retreinado) enquanto mantém a utilidade do modelo (memorizando os dados removidos) e reduzindo o custo computacional.

A. Método 1: Desaprendizado Adversarial Baseado em Retreinamento (Retraining-based)

Este método visa enganar tanto a verificação por backdoor quanto a verificação por reprodução (com erro zero).

• Mecanismo: Em vez de simplesmente remover os dados e retreinar, o provedor seleciona minilotes (mini-batches) do conjunto de dados retido ($D \setminus D_u$) que produzem gradientes de atualização de modelo muito semelhantes aos que seriam produzidos pelos dados removidos ($D_u$).
• Técnica de Seleção:
  • Se um minilote original não contiver dados removidos, ele é usado diretamente.
  • Se contiver dados removidos, o provedor substitui esses dados por vizinhos mais próximos (nearest neighbors) no conjunto retido que pertencem à mesma classe, ou seleciona aleatoriamente minilotes que minimizem a distância do gradiente.
• Resultado: O modelo gerado passa na verificação de reprodução (pois o PoRT é gerado a partir de um processo de retreinamento legítimo com dados válidos) e também passa na verificação por backdoor (pois o modelo não foi treinado explicitamente com os dados de backdoor envenenados, mas aprendeu padrões similares dos dados retidos).

B. Método 2: Desaprendizado Adversarial Baseado em Falsificação (Forging-based)

Este método é mais eficiente computacionalmente, mas só consegue enganar a verificação por reprodução sob um limiar de erro ($\epsilon > 0$).

• Mecanismo: Em vez de retreinar o modelo, o provedor "forja" a Prova de Retreinamento (PoRT) diretamente a partir da Prova de Treinamento original (PoT) registrada.
• Técnica de Falsificação:
  • O provedor aplica um mapa de falsificação que atualiza os parâmetros do modelo e os dados dos minilotes em cada passo do PoT.
  • Para minilotes que não contêm dados removidos, o provedor aplica uma pequena atualização de gradiente estocástica (SGD) para alterar ligeiramente os parâmetros e evitar que o verificador note que o modelo permanece inalterado.
  • Para minilotes com dados removidos, substitui-se os dados por vizinhos mais próximos e recalcula-se a atualização.
• Resultado: O processo é altamente eficiente (paralelizável) e gera um PoRT válido dentro de um limiar de erro tolerável, mas o modelo final ainda depende fortemente das informações originais dos dados removidos.

---

3. Contribuições Principais

1. Proposição de Métodos Adversariais: Desenvolvimento de duas técnicas (Retreinamento e Falsificação) que contornam as verificações de backdoor e reprodução, mantendo a informação dos dados removidos no modelo.
2. Garantias Teóricas: Prova matemática de que o método baseado em retreinamento satisfaz a verificação de reprodução com erro zero e que o modelo resultante converge para uma vizinhança do ótimo original, preservando a utilidade. Também são provadas as condições sob as quais o método de falsificação engana verificações com limiar de erro $\epsilon$.
3. Validação Empírica: Experimentos extensivos em conjuntos de dados reais (MNIST, CIFAR-10, SVHN) demonstrando que os métodos adversariais:
   • Enganam a verificação (baixa taxa de erro de detecção).
   • Preservam a utilidade do modelo (alto F1-score, às vezes superior ao retreinamento ingênuo em cenários desbalanceados).
   • Oferecem eficiência computacional (especialmente o método de falsificação).

---

4. Resultados Experimentais

• Eficácia contra Verificação:
  • O método de Retreinamento (Adv-R) obteve uma probabilidade de erro Tipo II (verificador acredita que os dados foram removidos, mas não foram) próxima de 0.997 - 0.999, indicando sucesso quase total em enganar a verificação por backdoor e reprodução.
  • O método de Falsificação (Adv-F) também enganou a verificação por reprodução (com erro baixo), mas falhou em enganar a verificação por backdoor em alguns casos, pois o modelo ainda carregava assinaturas dos dados envenenados originais.
• Utilidade do Modelo:
  • Em cenários normais, os métodos adversariais mantiveram utilidade comparável ao retreinamento ingênuo.
  • Em cenários de desbalanceamento de classes, o método adversarial de retreinamento superou significativamente o retreinamento ingênuo, mantendo melhor desempenho nas classes minoritárias.
  • O método de falsificação manteve a utilidade mais próxima do treinamento original.
• Eficiência:
  • O método de falsificação foi o mais rápido, com tempo de execução significativamente menor que o retreinamento completo, graças à paralelização.
  • O método de retreinamento adversarial foi ligeiramente mais lento que o retreinamento ingênuo devido ao custo de calcular vizinhos mais próximos, mas ainda viável.

---

5. Significado e Conclusão

O estudo conclui que a verificação de desaprendizado de máquina é frágil. Os provedores de modelos mal-intencionados podem, teoricamente e na prática, enganar as estratégias de verificação atuais (backdoor e reprodução) para manter dados sensíveis em seus modelos, evitando assim o custo computacional e a perda de utilidade associados ao verdadeiro desaprendizado.

Implicações:

• Risco de Segurança: A confiança atual na integridade do desaprendizado é infundada.
• Necessidade de Novas Defesas: As estratégias de verificação existentes são insuficientes. O artigo sugere que futuras pesquisas devem focar em:
  • Verificação de desaprendizado aproximado (que é mais comum na prática).
  • Detecção de anomalias nos gradientes ou na distribuição de dados para identificar métodos baseados em retreinamento adversarial.
  • Limitações de limiares de erro na verificação por reprodução para forçar provedores a serem mais honestos.

Em suma, o trabalho expõe uma vulnerabilidade crítica na segurança da privacidade em ML, alertando que a simples existência de um protocolo de verificação não garante que os dados foram realmente esquecidos.