SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

Resumo Técnico: SUPREME: Um Framework Multi-GPU para Avaliação Reproduzível de Métodos de Desaprendizado de Imagem

Declaração do Problema
O desaprendizado de máquina (machine unlearning) visa remover a influência de dados de treinamento específicos de um modelo já treinado sem a necessidade de retreinar do zero. Embora diversos métodos aproximados (por exemplo, ajuste fino, destilação, esquemas de importância de parâmetros) tenham sido propostos, avaliar esses métodos apresenta desafios significativos. Uma avaliação rigorosa exige a repetição de todo o pipeline — treinamento, desaprendizado e avaliação — através de múltiplas sementes aleatórias para considerar a estocasticidade nos pesos iniciais, na ordenação dos dados e nas operações de desaprendizado. Os frameworks de desaprendizado de classificação de imagem existentes (por exemplo, MUBox, ERASURE, Deep Unlearn) operam tipicamente em uma única GPU com precisão total. Essa limitação restringe o número de sementes que podem ser avaliadas em um tempo razoável, o que pode levar a conclusões enganosas baseadas em resultados de uma única semente. Além disso, à medida que as arquiteturas de modelos (por exemplo, Vision Transformers) e os conjuntos de dados crescem, o custo computacional dessas avaliações aumenta, necessitando de uma infraestrutura mais eficiente.

Metodologia: O Framework SUPREME
Os autores apresentam o SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation), um framework de código aberto projetado para distribuir o pipeline de avaliação de desaprendizado entre múltiplas GPUs. O framework é construído sobre PyTorch e Lightning Fabric, suportando estratégias distribuídas como Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP) e DeepSpeed ZeRO.

O núcleo do SUPREME é um pipeline multiestágio com sementes (Algoritmo 1) que executa três estágios distintos em $P$ dispositivos:

1. Estágio 1 (Treinamento): Um modelo $M_o$ é treinado no conjunto de dados completo $D$ usando uma semente de treinamento específica.
2. Estágio 2 (Desaprendizado e Retreinamento): Para cada alvo de esquecimento, o framework define um conjunto de esquecimento ($D_f$) e um conjunto de retenção ($D_r$). Em seguida, ele:
   • Retreina um modelo de linha de base $M_r$ do zero em $D_r$ usando uma semente de desaprendizado específica.
   • Aplica um método de desaprendizado $a$ a $M_o$ usando $D_f$ e $D_r$ para produzir o modelo desaprendido $M_u$.
   • Tanto o retreinamento quanto o desaprendizado utilizam sincronização de gradiente entre os dispositivos.
3. Estágio 3 (Avaliação): $M_u$ é avaliado contra $M_r$ usando métricas configuradas em conjuntos de teste ($D'_f$ e $D'_r$). Os resultados são agregados via uma operação de all-gather.

O framework suporta dois cenários de desaprendizado:

• Desaprendizado Direcionado: Remove todos os exemplos associados a um rótulo de classe específico.
• Desaprendizado de Amostra Aleatória: Remove um subconjunto aleatório de amostras (definido por uma porcentagem) extraído de todo o conjunto de dados.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Extensibilidade Baseada em Registro: O SUPREME emprega um design onde conjuntos de dados, arquiteturas de modelos, métodos de desaprendizado, métricas de avaliação e cenários são registrados via caminhos de módulos. Novos componentes podem ser adicionados implementando interfaces padrão e registrando o caminho do módulo, sem modificar o código central do framework.
2. Arquitetura Multi-GPU: Ao contrário de ferramentas anteriores, o SUPREME distribui o treinamento, o desaprendizado e a avaliação entre múltiplos aceleradores. Ele suporta vários modos de precisão (por exemplo, precisão mista, 8-bit/4-bit via BitsandBytes) e estratégias distribuídas, reduzindo significativamente o tempo necessário para avaliações de múltiplas sementes.
3. Demonstração em Reconhecimento Facial Pins: Os autores demonstram o framework utilizando o conjunto de dados de Reconhecimento Facial Pins com arquiteturas ResNet18 e Vision Transformer (ViT). Eles avaliam múltiplos métodos de desaprendizado sob cenários de classe completa e amostra aleatória ao longo de dez sementes.

Resultados Experimentais
A demonstração foi conduzida em uma única GPU NVIDIA L40S para manter a paridade numérica com as implementações de referência, embora o framework suporte execução multi-GPU. Principais descobertas incluem:

• Variância Entre Sementes: O estudo destaca que resultados de semente única podem ser altamente enganosos. Por exemplo, no cenário de amostra aleatória, a diferença de acurácia no conjunto de esquecimento ($\Delta Acc_{D'_f}$) para "Random Labels" no ResNet18 mostrou um desvio padrão de $\pm 34,03$ pontos percentuais ao longo de dez sementes. Da mesma forma, "Selective Synaptic Dampening" no ViT mostrou um desvio de $\pm 37,99$. Isso confirma que a avaliação de múltiplas sementes é necessária para comparações consistentes.
• Sensibilidade da Métrica: No cenário de classe completa, as diferenças de Ataque de Inferência de Membro ($\Delta MIA$) foram mínimas para todos os métodos (principalmente dentro de $\pm 0,05$), falhando em distinguir entre métodos. Inversamente, as diferenças de acurácia do conjunto de esquecimento ($\Delta Acc_{D'_f}$) variaram significativamente (de 0,00 a 89,44 no ResNet18), provando ser uma métrica mais discriminativa neste contexto.
• Desempenho: O framework executou com sucesso o pipeline completo tanto para ResNet18 quanto para ViT, capturando a variância introduzida por diferentes sementes e demonstrando a viabilidade de uma avaliação em larga escala e reproduzível.

Significância e Alegações
Os autores posicionam o SUPREME como uma ferramenta para permitir comparações consistentes e reproduzíveis de métodos de desaprendizado, abordando a crescente complexidade dos modelos e a necessidade de avaliação de múltiplas sementes. Eles declaram explicitamente que os números relatados caracterizam as capacidades do framework, e não fornecem um ranking definitivo dos métodos de desaprendizado, uma vez que a demonstração foi limitada a um único conjunto de dados, duas arquiteturas e um único dispositivo. O artigo conclui que trabalhos futuros estenderão a demonstração para outros componentes registrados e utilizarão sementes independentes para as etapas de treinamento, desaprendizado e avaliação para decompor ainda mais as fontes de variância. O framework tem o intuito de facilitar o benchmarking rigoroso necessário conforme o campo do desaprendizado de máquina amadurece.