RUB: Evaluating Residual Knowledge in Unlearned Models

Resumo Técnico: RUB: Avaliando o Conhecimento Residual em Modelos Desaprendidos

Definição do Problema
O Desaprendizado de Máquina (Machine Unlearning - MUL) emergiu como um mecanismo crítico para a proteção de privacidade (por exemplo, conformidade com GDPR, CCPA) e regulação de conteúdo, visando remover seletivamente influências de dados específicos de modelos treinados. As técnicas existentes focam majoritariamente na verificação da execução do desaprendizado — garantindo que o modelo se comporte de forma semelhante a um que foi retreinado do zero no conjunto de retenção — mas negligenciam amplamente uma lacuna de segurança crítica: a robustez contra a recuperação adversarial. Os métodos atuais frequentemente falham em garantir a remoção completa de informações sensíveis, deixando um "conhecimento residual" que adversários podem explorar. Pesquisas anteriores mostraram que modelos desaprendidos, particularmente em modelos de difusão (DMs) e modelos de linguagem de grande escala (LLMs), podem ser manipulados via inputs elaborados (por exemplo, prompts adversariais ou ruído) para fazer ressurgir dados esquecidos, efetivamente invalidando o processo de desaprendizado. Há uma carência de um framework unificado para avaliar sistematicamente essa vulnerabilidade através de diversas tarefas de visão computacional.

Metodologia: O Framework RUB
Para abordar essa lacuna, os autores propõem o RUB (Robust Unlearning Benchmark), um framework unificado projetado para avaliar a robustez de algoritmos de desaprendizado contra a ressurgência de informação adversarial pós-desaprendizado.

1. Princípio Central (Desaprendizado Robusto): O artigo define "Desaprendizado Robusto" como um processo onde um modelo desaprendido não é apenas indistinguível de um contraparte retreinado no conjunto de retenção, mas também resiliente contra tentativas adversariais de recuperar informações esquecidas. Formalmente, para qualquer ponto de dado $x$ no conjunto de esquecimento $D_u$ e qualquer perturbação adversarial $\delta_x$, o modelo desaprendido $f_u$ deve manter uma divergência significativa da saída do modelo original em relação a $x$, mesmo sob ataque.
2. Ataque de Mapeamento de Desaprendizado (Unlearning Mapping Attack - UMA): Os autores introduzem o UMA como uma ferramenta de sondagem adversarial modular e generalizável. O UMA é definido como uma estratégia de ataque que modifica o input de um modelo para fazer com que a saída revele ou aproxime informações destinadas a serem removidas.
   • Formulação: Em um cenário de caixa branca (assumindo acesso total aos modelos original e desaprendido), o UMA busca encontrar uma perturbação ótima $\delta_i$ que minimize a distância entre a saída do modelo desaprendido no input perturbado e a saída do modelo original no dado de esquecimento original: $\arg \min_{\delta_i} D[f_u(\delta_i, \theta_u), f(x_i, \theta)]$.
   • Instanciação por Tarefa Específica:
     • Tarefas Discriminativas: Utiliza Divergência KL nos logits.
     • Imagem-para-Imagem (I2I): Utiliza Erro Quadrático Médio (MSE) para reconstrução.
     • Texto-para-Imagem (T2I): Alavanca a estimativa do nível de ruído do processo de difusão, otimizando sobre passos de difusão para recuperar o conceito alvo.
3. Escopo do Benchmark: O RUB avalia 15 algoritmos de desaprendizado de última geração através de três tarefas distintas de visão computacional:
   • Classificação de Imagens: Datasets incluem CIFAR10, CIFAR100 e Tiny-ImageNet.
   • Reconstrução de Imagem-para-Imagem: Utiliza o ImageNet-1k com uma configuração de Autoencoder Mascarado (MAE).
   • Síntese de Texto-para-Imagem: Avalia modelos de difusão em conceitos como "Igreja", "Caminhão de Lixo", "Nudez", etc., usando o codebase UnlearnDiffAtk.
4. Métricas de Avaliação: O benchmark emprega métricas específicas de tarefa:
   • Classificação: Acurácia de Desaprendizado (UA, definida como a acurácia bruta no conjunto de esquecimento, onde menor é melhor), taxa de sucesso de Ataque de Inferência de Membro (MIA) e Acurácia de Teste (TA) para medir os trade-offs de utilidade.
   • I2I: Inception Score (IS) e Fréchet Inception Distance (FID).
   • T2I: Taxa de Sucesso de Ataque (ASR) e o número de passos de otimização necessários para alcançar um ataque bem-sucedido.

Principais Resultados
Experimentos extensos através de 15 métodos de desaprendizado revelam vulnerabilidades significativas:

• Tarefas Discriminativas: Embora o retreinamento (o padrão ouro) alcance uma forte robustez, os métodos de desaprendizado existentes (ex: FT, RL, IU, SalUn) mostram graus variados de vulnerabilidade. À medida que a complexidade do dataset aumenta (de CIFAR10 para Tiny-ImageNet), tanto a eficácia quanto a robustez do desaprendizado caem drasticamente. Muitos métodos que passam nas métricas de verificação padrão falham completamente sob sondagem adversarial, apresentando altos índices de UA e MIA sob ataque.
• Tarefas de I2I: Modelos desaprendidos frequentemente falham em reconstruir imagens do conjunto de esquecimento sob condições normais, mas podem ser coagidos a gerar reconstruções de alta qualidade do conteúdo esquecido quando providos de inputs adversariais. Pequenas perturbações de ruído são frequentemente suficientes para contornar o mecanismo de desaprendizado.
• Tarefas de T2I: Apesar de demonstrarem forte eficácia inicial de desaprendizado, a maioria dos métodos baseados em difusão (ex: AdvUnlearn, EraseDiff, ESD) exibe robustez limitada. Ataques adversariais recuperam conceitos esquecidos com graus variáveis de dificuldade (medidos por passos de ataque), indicando que o conhecimento residual persiste.
• Achado Geral: Existe um gap consistente entre a "eficácia de desaprendizado" (performance em métricas padrão) e a "robustez de desaprendizado". A maioria dos métodos atuais não é resiliente a estratégias de recuperação adversarial.

Significância e Alegações
O artigo posiciona a Robustez como o critério central para avaliar o desaprendizado de máquina, argumentando que passar na verificação padrão é insuficiente se o modelo permanecer vulnerável à recuperação adversarial.

• Primeiro Benchmark Abrangente: O RUB é apresentado como o primeiro framework a avaliar sistematicamente algoritmos de desaprendizado contra a recuperação de informação adversarial pós-desaprendizado em diversas tarefas de visão.
• Protocolo Unificado: Fornece um protocolo padronizado e extensível (UMA) para verificar empiricamente se os métodos de desaprendizado realmente eliminam o conhecimento residual.
• Direção de Pesquisa: Os autores alegam que seus achados destacam fraquezas fundamentais nos métodos atuais de desaprendizado, instando a comunidade a ir além da mera eficácia e incorporar explicitamente considerações de robustez no design de futuros algoritmos de desaprendizado. O objetivo é pavimentar o caminho para práticas de desaprendizado mais confiáveis e seguras que possam resistir a tentativas maliciosas de recuperar informações esquecidas.

O artigo conclui que, embora os métodos atuais ofereçam um ponto de partida, eles ainda não são robustos o suficiente para cenários de alto risco de privacidade e regulação de conteúdo, e o RUB serve como uma ferramenta necessária para impulsionar o desenvolvimento de técnicas de desaprendizado verdadeiramente resilientes.