Benchmarking Unlearning for Vision Transformers

Este trabalho apresenta o primeiro benchmark abrangente para algoritmos de esquecimento em máquinas (MU) aplicados a Vision Transformers, avaliando seu desempenho em diferentes arquiteturas, conjuntos de dados e protocolos para estabelecer uma linha de base de referência e permitir comparações justas e reprodutíveis.

O essencial

Imagine que você treinou um aluno muito inteligente (o Vision Transformer ou VT) para reconhecer fotos de animais. Ele estudou milhares de imagens e ficou ótimo no trabalho. Mas, um dia, você percebe que ele aprendeu algumas fotos de um gato que pertencia a um vizinho que não quer mais ser reconhecido, ou talvez ele tenha aprendido com fotos falsas que distorcem a realidade.

Agora, você precisa pedir ao aluno para "esquecer" especificamente essas fotos ruins, sem que ele perca a capacidade de reconhecer os outros animais ou fique confuso. Esse processo de "esquecer" seletivamente é chamado de Desaprendizado de Máquina (Machine Unlearning).

Até agora, os cientistas sabiam como fazer isso com modelos antigos (como as CNNs, que funcionam como filtros de câmera). Mas os modelos modernos, os Vision Transformers (VTs), funcionam de maneira diferente (eles olham para a imagem inteira de uma vez, como um humano, em vez de olhar pedacinho por pedacinho). Ninguém sabia direito como fazer esses modelos modernos "esquecerem" as coisas corretamente.

Este artigo é como um grande teste de laboratório para descobrir como fazer isso funcionar.

As Metáforas do Estudo

1. O Aluno e a Memória (Memorização)

O estudo descobriu uma coisa curiosa: tanto o modelo antigo (CNN) quanto o novo (VT) têm um comportamento de memória muito parecido.

• A Analogia: Imagine que, ao estudar, alguns alunos decoram a resposta de cor (memorizam), enquanto outros entendem o conceito. O estudo mostrou que, mesmo que o VT seja mais "inteligente" e global, ele ainda tende a "decorar" algumas fotos específicas, assim como os modelos antigos.
• A Descoberta: Como eles memorizam de forma parecida, podemos usar as mesmas "ferramentas" que usávamos para os modelos antigos para ajudá-los a esquecer.

2. As Ferramentas de Esquecimento (Algoritmos)

Os pesquisadores testaram três métodos principais para fazer o aluno esquecer:

• O "Reestudo" (Fine-tune): O aluno apenas reestuda as fotos boas, ignorando as ruins. Funciona bem se ele não tivesse decorado tanto as ruins.
• O "Empurrão" (NegGrad+): É como se o professor dissesse: "Esqueça essa foto! Pense exatamente no oposto do que você aprendeu com ela, mas mantenha o resto". O estudo descobriu que essa é a melhor ferramenta para os modelos modernos, especialmente em tarefas difíceis.
• O "Corte Cirúrgico" (SalUn): Tenta apagar apenas os "neurônios" que lembram da foto ruim. Funciona bem para manter a precisão, mas às vezes falha em proteger a privacidade (o aluno ainda pode revelar que viu a foto).

3. O Detetive de Memória (Proxies)

Para saber o que o aluno decorou, não podemos recriar o modelo do zero milhares de vezes (seria muito caro e demorado). Então, usamos "detetives" ou proxies (indicadores) para adivinhar o que foi memorizado.

• A Analogia: É como olhar para a confiança do aluno ao responder. Se ele diz "Tenho 100% de certeza" em uma foto específica, provavelmente ele a decorou.
• O Resultado: O estudo mostrou que esses "detetives" funcionam muito bem nos modelos modernos também. O melhor detetive para tarefas complexas foi o Holdout Retraining (que compara o modelo atual com um modelo treinado sem aquela foto).

4. Arquiteturas Diferentes: O Olho Global vs. O Olho Local

O estudo comparou dois tipos de VTs:

• ViT (Vision Transformer): Olha para a imagem inteira de uma vez (como um falcão voando alto).
• Swin-T: Olha em janelas menores e depois junta tudo (como um humano olhando detalhe por detalhe).
• A Lição: O Swin-T (mais parecido com os modelos antigos) foi muito bom com a ferramenta de "Empurrão" (NegGrad+). O ViT (mais global) funcionou melhor apenas com o "Reestudo" simples. Não existe uma solução única para todos; depende de como o modelo "enxerga".

5. O Esquecimento Contínuo

Na vida real, você não pede para esquecer apenas uma vez. Você pode pedir para esquecer 100 fotos diferentes, uma por uma.

• O Teste: Os pesquisadores fizeram o modelo esquecer em etapas (como se fosse um dia após o outro).
• O Resultado: Felizmente, o modelo não ficou "confuso" ou "quebrado" com o tempo. Ele manteve sua inteligência e capacidade de esquecer, mesmo após várias rodadas. É como se o cérebro do modelo fosse elástico e não se cansasse de esquecer.

Resumo para o Dia a Dia

Este trabalho é importante porque:

1. Valida a Segurança: Mostra que podemos remover dados sensíveis (como fotos de pessoas que pediram para sair) de modelos de IA modernos sem estragar o modelo.
2. Economiza Tempo e Dinheiro: Descobriu que não precisamos inventar métodos totalmente novos para os modelos modernos; podemos adaptar os métodos antigos com algumas ajustes.
3. Dá um Manual de Instruções: Agora, quem quiser usar esses modelos em empresas ou hospitais sabe exatamente qual ferramenta usar (provavelmente o método "NegGrad+" com o detector "Holdout Retraining") dependendo do tipo de modelo que tem.

Em suma, o estudo garantiu que, mesmo com a tecnologia de IA ficando mais avançada e "inteligente", ainda temos controle sobre o que ela aprende e o que ela deve esquecer, mantendo a privacidade e a segurança em dia.

Resumo técnico

1. O Problema

O campo de Aprendizado de Máquina (Machine Unlearning - MU) tem ganhado importância crítica para garantir a privacidade, segurança e justiça da IA, permitindo a remoção do impacto de dados "problemáticos" (viesados, errôneos, envenenados ou sensíveis) de modelos treinados. Embora existam benchmarks robustos para Grandes Modelos de Linguagem (LLMs), Modelos de Difusão e Redes Neurais Convolucionais (CNNs), não existia até então uma avaliação sistemática para Vision Transformers (VTs).

Os VTs (como ViT e Swin) emergiram como alternativas poderosas às CNNs, mas suas arquiteturas fundamentais diferem significativamente:

• Diferenças Arquiteturais: VTs utilizam atenção global e não possuem vieses indutivos espaciais fortes (como localidade e equivalência de translação) presentes nas CNNs.
• Treinamento: VTs geralmente seguem um paradigma de pre-treinamento seguido de fine-tuning, enquanto CNNs são frequentemente treinadas do zero em conjuntos de dados menores.
• Memorização: É incerto se os padrões de memorização de dados e a eficácia dos algoritmos de esquecimento desenvolvidos para CNNs se transferem para VTs.

2. Metodologia

Os autores realizaram o primeiro benchmark abrangente de MU para VTs, cobrindo múltiplas dimensões:

• Arquiteturas: Foco em duas famílias principais de VTs: ViT (Vision Transformer) e Swin-T (Swin Transformer), variando em capacidade (de Tiny a Base) para comparar com CNNs (ResNet-18 e ResNet-50).
• Algoritmos de Unlearning: Avaliação de três famílias de métodos representativos, aplicados tanto em suas versões "vanilla" quanto integradas ao framework RUM (que utiliza memorização para melhorar o desempenho):
  1. Fine-tune (FT): Re-treinamento apenas nos dados retidos.
  2. NegGrad+: Um método baseado em gradiente que empurra os parâmetros para longe dos dados a serem esquecidos.
  3. SalUn: Um método de estado da arte (SOTA) que realiza esquecimento seletivo baseado em saliência.
• Proxies de Memorização: Avaliação de métricas para estimar a memorização sem o custo computacional proibitivo do cálculo exato (Feldman score). Os proxies testados incluem Confidence, Max Confidence, Entropy, Binary Accuracy e Holdout Retraining (HR).
• Protocolos de Avaliação:
  • Datasets: CIFAR-10, CIFAR-100, SVHN e ImageNet-1K (para escalabilidade).
  • Cenários: Unlearning único (single-shot) e unlearning contínuo (sequência de operações de esquecimento).
• Métricas de Desempenho:
  • ToW (Test of Worry): Combina a precisão no conjunto de retenção, no conjunto de teste e a diferença de precisão no conjunto de esquecimento em relação a um modelo re-treinado do zero.
  • ToW-MIA: Similar ao ToW, mas substitui a precisão no conjunto de esquecimento pela vulnerabilidade a Ataques de Inferência de Membro (MIA), medindo se o modelo "esqueceu" os dados de forma que um atacante não possa distingui-los de dados não vistos.

3. Contribuições Principais

1. Primeiro Benchmark para VTs: Preenche a lacuna crítica de avaliação de MU em arquiteturas Transformer para visão computacional.
2. Análise de Memorização: Demonstra que, apesar das diferenças arquitetônicas, os VTs exibem padrões de memorização (distribuição de cauda longa) fundamentalmente semelhantes às CNNs.
3. Validação de Proxies: Confirma que proxies de memorização derivados de CNNs (especialmente Confidence e Holdout Retraining) são eficazes e confiáveis para VTs, permitindo o uso de métodos de MU baseados em memorização de forma escalável.
4. Diretrizes Arquitetura-Método: Estabelece que a compatibilidade entre arquitetura e algoritmo é crucial:
   • ViT favorece métodos baseados em Fine-tuning.
   • Swin-T (com sua estrutura hierárquica similar a CNNs) favorece métodos baseados em gradiente como NegGrad+.
5. Estabilidade Contínua: Prova que o unlearning contínuo em VTs não causa degradação cumulativa significativa no desempenho, desde que sejam usadas as combinações corretas de método e proxy.

4. Resultados Chave

• Desempenho dos Algoritmos:
  • NegGrad+ (especialmente quando combinado com o proxy Holdout Retraining) mostrou-se o método mais robusto e consistente para VTs, superando frequentemente os resultados em CNNs em datasets complexos.
  • Fine-tune performou surpreendentemente bem, especialmente em datasets mais simples (CIFAR-10, SVHN) e em arquiteturas ViT.
  • SalUn, embora tenha bons resultados em métricas de precisão (ToW), mostrou-se vulnerável em termos de privacidade (ToW-MIA), falhando em proteger adequadamente contra ataques de inferência de membro em VTs, especialmente em datasets complexos.
• Impacto do Pré-treinamento: Em tarefas simples (CIFAR-10), o pré-treinamento dos VTs oferece uma vantagem inicial (o modelo re-treinado já performa bem nos dados a serem esquecidos), mas essa vantagem diminui em tarefas mais complexas (CIFAR-100, ImageNet).
• Efeito da Capacidade: Existe um "ponto ideal" (sweet spot) de capacidade. Modelos muito pequenos (ViT-Tiny) podem ter capacidade insuficiente para um esquecimento eficaz, enquanto modelos muito grandes podem sofrer de overfitting em cenários específicos.
• Unlearning Contínuo: A execução de múltiplos passos de esquecimento (até 10 passos) manteve a estabilidade das métricas, indicando que os VTs podem suportar cenários de privacidade dinâmica sem degradação severa.

5. Significado e Impacto

Este trabalho estabelece uma linha de base de referência (baseline) essencial para o desenvolvimento futuro de algoritmos de Machine Unlearning específicos para Vision Transformers.

• Para Pesquisadores: Oferece um código aberto e um conjunto de métricas unificadas para comparar novos métodos de forma justa e reprodutível.
• Para Praticantes de IA: Fornece diretrizes práticas para implementar sistemas de "direito ao esquecimento" em modelos de visão modernos. A conclusão de que NegGrad+ com Holdout Retraining é a combinação mais robusta para cenários complexos e contínuos é uma descoberta acionável imediata.
• Para Segurança e Privacidade: Ao demonstrar que os VTs podem ser "desaprendidos" com eficácia comparável ou superior às CNNs, o trabalho reforça a viabilidade de adotar Transformers em aplicações sensíveis que exigem conformidade com regulamentos de privacidade (como GDPR), desde que as estratégias de esquecimento corretas sejam aplicadas.

Em resumo, o artigo valida que os Vision Transformers não apenas podem ser usados para tarefas de visão de alta performance, mas também podem ser gerenciados de forma responsável e segura através de técnicas de unlearning eficazes, desmistificando a ideia de que suas arquiteturas complexas tornariam o esquecimento de dados impossível ou ineficiente.