Erase at the Core: Representation Unlearning for Machine Unlearning

O artigo apresenta o framework "Erase at the Core" (EC), uma abordagem plug-in e agnóstica a modelos que supera o esquecimento superficial ao garantir a eliminação de informações não apenas nas saídas, mas também nas representações internas profundas da rede, utilizando aprendizado contrastivo e supervisão profunda em múltiplas camadas.

O essencial

Imagine que você tem um cozinheiro de elite (a Inteligência Artificial) que aprendeu a cozinhar milhões de receitas. Um dia, alguém pede para o cozinheiro esquecer completamente uma receita específica de "Bolo de Cenoura", porque a pessoa que a ensinou pediu para apagar os dados dela.

A maneira mais segura de fazer isso seria demitir o cozinheiro e contratar um novo, ensinando-o apenas com as outras 999.999 receitas. Mas isso é caro e demorado demais.

Então, os cientistas criaram métodos "rápidos" para tentar apagar essa receita da mente do cozinheiro atual. O problema? A maioria desses métodos faz apenas uma ilusão de ótica.

O Problema: "Esquecimento Superficial"

Imagine que você pede ao cozinheiro para fazer um bolo de cenoura.

• O método antigo: O cozinheiro diz "Não sei fazer" e entrega um bolo de chocolate. Para quem prova, parece que ele esqueceu.
• A realidade: Mas, se você olhar dentro da cabeça dele, os ingredientes ainda estão lá! Ele ainda sabe exatamente como misturar a cenoura, o açúcar e o óleo. Ele apenas decidiu não usar essa informação na hora de entregar o prato final.

Se um "detetive" (um hacker) perguntar de forma inteligente, ou pedir para o cozinheiro apenas lembrar como fazer o bolo (sem entregá-lo), ele consegue recuperar a receita facilmente. Isso é o que os autores chamam de "Esquecimento Superficial". O modelo parece ter esquecido na saída, mas a memória ainda está viva lá no fundo.

A Solução: "Apagar no Núcleo" (Erase at the Core - EC)

Os autores deste artigo, Jaewon Lee e sua equipe, propõem uma solução chamada EC (Apagar no Núcleo).

Pense no cérebro do cozinheiro como uma fábrica de produção com várias esteiras (camadas):

1. Esteira 1: Pega os ingredientes crus (imagens).
2. Esteira 2: Corta e pica.
3. Esteira 3: Mistura e tempera.
4. Esteira 4: Assa e finaliza o prato.

Os métodos antigos tentavam apenas mudar o que acontece na Esteira 4 (o prato final). Eles diziam: "Não sirva bolo de cenoura". Mas as esteiras 1, 2 e 3 ainda estavam processando cenouras da mesma forma.

O EC é diferente. Ele vai até o coração da fábrica e instala supervisores em todas as esteiras.

Como funciona a analogia do EC:

1. O Supervisores em Todas as Etapas: O EC coloca pequenos "olhos" (módulos auxiliares) em cada etapa do processo de aprendizado, não só no final.
2. A Regra de Ouro:
   • Para os alunos que devem ser esquecidos (o Bolo de Cenoura): O supervisor diz: "Pare de tratar isso como cenoura! Misture isso com os ingredientes de outros bolos. Transforme a cenoura em algo que pareça um bolo de chocolate ou de maçã". Isso acontece em todas as etapas, desde o corte até a assadeira.
   • Para os alunos que devem ser mantidos (o Bolo de Chocolate): O supervisor diz: "Continue fazendo isso perfeitamente. Não toque na receita do chocolate".
3. O Resultado: Quando o modelo tenta lembrar do "Bolo de Cenoura", ele não encontra mais nenhum traço de cenoura em nenhuma parte do processo. A estrutura interna foi reescrita. Não é apenas uma mudança de resposta final; é uma mudança na essência do que o modelo aprendeu.

Por que isso é importante?

• Privacidade Real: Se você pede para uma empresa apagar seus dados, você quer que a IA realmente esqueça, não apenas que finja esquecer. O EC garante que a "memória" dos seus dados seja destruída de verdade.
• Segurança: Impede que hackers usem truques para recuperar os dados esquecidos, porque a informação não está mais lá para ser recuperada.
• Versatilidade: O EC funciona como um "plug-in". Você pode pegar qualquer método de esquecimento existente e adicionar o EC para torná-lo muito mais forte, sem precisar reescrever todo o sistema.

Resumo em uma frase

Enquanto os métodos antigos apenas tampam a boca do modelo para que ele não fale sobre os dados esquecidos, o método EC (Apagar no Núcleo) reorganiza a mente do modelo, garantindo que a informação seja apagada de verdade, desde os detalhes mais simples até as conclusões mais complexas.

Resumo técnico

Título: Erase at the Core (EC): Esquecimento de Representação para Aprendizado de Máquina

1. O Problema: Esquecimento Superficial

O artigo aborda uma limitação crítica nos métodos atuais de Desaprendizado de Máquina (Machine Unlearning - MU). Com o advento de regulamentações como o GDPR, há uma necessidade legal de remover a influência de dados específicos (o "conjunto de esquecimento" ou forget set) de modelos treinados, mantendo o desempenho nos dados restantes (o "conjunto de retenção" ou retain set).

Os autores identificam um fenômeno chamado "Esquecimento Superficial" (Superficial Forgetting):

• Muitos métodos aproximados de MU conseguem reduzir a precisão no conjunto de esquecimento para quase zero (nível de logits), satisfazendo métricas tradicionais.
• No entanto, as representações internas (features intermediárias) do modelo permanecem altamente similares às do modelo original.
• Isso significa que, embora o classificador final "esqueça" a classe, a estrutura de características subjacente ainda contém informações recuperáveis sobre os dados esquecidos. Ataques de linear probing (congelar o backbone e re-treinar apenas o classificador) podem recuperar com facilidade a precisão no conjunto de esquecimento, revelando que o esquecimento não foi genuíno.

2. Metodologia: Erase at the Core (EC)

Para resolver o problema do esquecimento superficial, os autores propõem o EC (Erase at the Core), um framework baseado em representação que força o esquecimento através de toda a hierarquia da rede neural, e não apenas na camada de saída.

Arquitetura e Mecanismo:

• Módulos Auxiliares (EC Modules): O framework anexa módulos auxiliares às camadas intermediárias do backbone da rede (ex: ResNet-50, Swin-Tiny).
• Aprendizado Profundamente Supervisionado (Deep Supervision): Inspirado em trabalhos anteriores, o EC aplica objetivos de aprendizado em múltiplos pontos de supervisão ao longo da rede.
• Objetivos de Perda Dupla em Múltiplas Camadas:
  1. Perda de Esquecimento Contrastivo ($L_{CU}$): Aplicada ao conjunto de esquecimento. O objetivo é "difundir" as representações das amostras esquecidas para o manifold (espaço de características) das amostras de retenção, apagando a informação específica da classe esquecida em cada camada.
  2. Perda de Entropia Cruzada ($L_{CE}$): Aplicada ao conjunto de retenção. Garante que o modelo mantenha sua utilidade e capacidade de classificação para os dados que devem ser preservados.
• Pesos por Camada: A perda total é uma soma ponderada das perdas em cada camada. O artigo atribui pesos progressivamente maiores às camadas mais profundas (onde as características de alto nível e discriminativas são codificadas), garantindo que o sinal de esquecimento seja forte onde importa mais.

Algoritmo:

O processo envolve:

1. Inicializar os módulos EC com Supervised Contrastive Learning (SupCon) no conjunto completo.
2. Durante o desaprendizado, atualizar conjuntamente o backbone, o classificador final e os módulos EC.
3. Minimizar a perda total: $L_{total} = \sum w_l (\lambda_{CU} L_{CU}^l + \lambda_{CE} L_{CE}^l)$.

3. Contribuições Principais

1. Framework EC: Introdução de um método que força o esquecimento em nível de representação através de toda a profundidade da rede, utilizando contraste multi-camada e supervisão profunda.
2. Reavaliação Abrangente: Os autores reavaliam baselines de estado da arte (como DUCK, SCAR, SalUn, CU) utilizando métricas baseadas em representação (CKA e IDI), demonstrando que a maioria falha em alterar as representações intermediárias significativamente.
3. Módulo Plug-and-Play: Demonstração de que o EC é agnóstico ao modelo e pode ser aplicado como um módulo complementar a outros métodos de desaprendizado, melhorando seu desempenho de esquecimento sem sacrificar a utilidade.
4. Validação em Escala: Experimentos extensivos em benchmarks grandes (ImageNet-1K e CIFAR-100) com cenários de esquecimento de múltiplas classes (100 classes no ImageNet), mostrando robustez em diferentes arquiteturas.

4. Resultados Experimentais

Os experimentos foram conduzidos no ImageNet-1K (ResNet-50 e Swin-Tiny) e CIFAR-100.

• Desempenho de Esquecimento (Logit vs. Representação):
  • O EC alcançou precisão no conjunto de esquecimento (FA) próxima de zero, comparável aos melhores métodos.
  • Diferencial Crítico: O EC obteve os menores valores de CKA (Centered Kernel Alignment) e IDI (Information Difference Index) entre os métodos que preservam a utilidade. Isso indica que as representações internas do modelo EC divergem significativamente do modelo original, ao contrário de outros métodos que mantêm alta similaridade.
• Preservação de Utilidade:
  • O EC manteve alta precisão no conjunto de retenção (RA e TRA), superando métodos agressivos como SalUn e Random Labeling, que degradam severamente o desempenho.
• Análise de Camadas Intermediárias:
  • A análise visual (t-SNE) e métrica (CKA por camada) mostrou que o EC altera as características desde as camadas intermediárias até as finais, enquanto outros métodos (como PL, DUCK) deixam as camadas intermediárias quase intactas.
• Módulo Plug-in:
  • Ao adicionar o EC a baselines existentes (ex: DUCK + EC, COLA + EC), houve melhoria consistente nas métricas de esquecimento de representação (CKA e IDI), muitas vezes melhorando também a utilidade.
• Tarefas de Transferência (k-NN):
  • Em tarefas de downstream (Office-Home, CUB, DomainNet), o EC produziu características que se assemelham mais ao modelo "Retreinado" (o padrão ouro) do que ao modelo original, confirmando que a estrutura de transferência foi reorganizada corretamente.

5. Significado e Conclusão

O artigo "Erase at the Core" estabelece que o desaprendizado eficaz não pode ser medido apenas pela saída do modelo (logits). A persistência de informações nas representações intermediárias representa um risco de segurança e conformidade.

• Mudança de Paradigma: O trabalho defende a transição de um "esquecimento superficial" para um "esquecimento profundo" (core), onde a estrutura de características é reconfigurada.
• Viabilidade: O EC demonstra ser uma solução prática e escalável para cenários de desaprendizado em larga escala, oferecendo garantias mais fortes de que os dados foram realmente removidos do modelo, não apenas mascarados no classificador final.
• Futuro: O trabalho abre caminho para métodos de desaprendizado que garantem a eliminação de resíduos de informação em todas as camadas da rede, essencial para a confiança em sistemas de IA regulados.