SAEmnesia: Erasing Concepts in Diffusion Models with Supervised Sparse Autoencoders

Resumo Técnico: SAEmnesia: Apagando Conceitos em Modelos de Difusão com Autoencoders Esparsos Supervisionados

Declaração do Problema
O desaprendizado de conceitos (concept unlearning) em modelos de difusão de texto para imagem é atualmente dificultado pelo "fracionamento de características" (feature splitting), um fenômeno onde um único conceito é distribuído por muitas características latentes (neurônios) em vez de estar localizado em uma única unidade. Essa representação distribuída, conhecida como polissemantismo, torna o desafio de identificar e remover conceitos específicos ainda maior. Métodos existentes frequentemente exigem buscas exaustivas através de inúmeras combinações latentes para encontrar o subconjunto correto para modificação, tornando o processo computacionalmente caro. Além disso, latentes sobrepostos tornam os limites dos conceitos imprecisos, aumentando o risco de efeitos colaterais indesejados em conceitos relacionados durante a intervenção.

Metodologia
Os autores introduzem o SAEmnesia, um framework que utiliza um autoencoder esparso supervisionado (SAE) para impor mapeamentos um-para-um entre conceitos e neurônios latentes. Diferente das abordagens de SAE não supervisionadas que descobrem características post-hoc, o SAEmnesia integra o rótulo supervisionado diretamente no processo de treinamento usando os prompts de texto usados para gerar as imagens.

Os componentes técnicos principais incluem:

1. Centralização de Características: Ao rotular sistematicamente os conceitos durante o treinamento, o método alcança a "centralização de características", vinculando cada conceito a um neurônio único e interpretável. Isso evita o fracionamento de conceitos entre múltiplos neurônios.
2. Função de Perda Supervisionada: O objetivo de treinamento combina a perda de reconstrução não supervisionada padrão com um componente supervisionado ($L_{supSAE}$). Esta perda supervisionada consiste em:
   • Perda de Atribuição de Conceito (CA): Incentiva latentes atribuídos específicos a ativarem fortemente quando seus conceitos correspondentes estão presentes na entrada.
   • Perda de Descorrelação (DC): Penaliza correlações entre padrões de ativação de latentes atribuídos a diferentes macrogrupos de conceitos (por exemplo, objetos vs. estilos) para promover o desentranhamento (disentanglement).
   • Regularização de Esparsidade: Um termo $L_1$ para garantir que a maioria dos latentes permaneça inativa para qualquer entrada dada.
3. Inferência e Apagamento: Para apagar um conceito alvo, o método requer o direcionamento (steering) de apenas um único latente. A ativação desse latente específico é multiplicada por um valor negativo (normalizado pela ativação média) para suprimir a influência do conceito. Este processo é reversível; destacar o SAE restaura o modelo original exatamente como era.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Framework de SAE Supervisionado: A introdução de um SAE supervisionado que impõe explicitamente mapeamentos um-para-um entre conceito-latente, eliminando o fracionamento de características e permitindo controle transparente sobre as representações de conceitos.
2. Eficiência no Apagamento: Demonstrar que esta estrutura permite o apagamento de conceitos ao direcionar um único latente, o que reduz substancialmente a necessidade de busca de hiperparâmetros durante a inferência.
3. Melhorias de Desempenho: Alcançar resultados superiores no benchmark UnlearnCanvas em comparação com métodos mecanísticos de estado da arte, melhor escalabilidade no desaprendizado sequencial, maior robustez a ataques adversários e supressão eficaz de conteúdo NSFW.

Resultados Experimentais
Avaliado no benchmark UnlearnCanvas utilizando Stable Diffusion v1.5, o SAEmnesia demonstra melhorias significativas em relação ao método baseado em SAE de estado da arte atual (SAeUron) e outros métodos de desaprendizado:

• Desempenho no Benchmark: O SAEmnesia alcança uma pontuação média de 91,51% no desaprendizado de objetos, uma melhora absoluta de 9,22% sobre o SAeUron (82,29%). Ele mostra ganhos consistentes em Precisão de Desaprendizado (UA), Precisão de Retenção Intra-domínio (IRA) e Precisão de Retenção Cross-domínio (CRA).
• Eficiência Computacional: Ao reduzir o espaço de busca de explorar múltiplas combinações latentes para ajustar um único multiplicador por conceito, o método reduz os requisitos de busca de hiperparâmetros em 96,67% (de 210 avaliações para 7).
• Desaprendizado Sequencial: Em tarefas envolvendo a remoção sequencial de nove objetos, o SAEmnesia melhora a precisão do desaprendizado em 28,4% em comparação com o baseline, demonstrando escalabilidade superior.
• Robustez: Sob ataques adversários de caixa branca (UnlearnDiffAtk), o SAEmnesia retém 57,50% de precisão de desaprendizado comparado a 34,20% do SAeUron. Ele também mostra resiliência em ataques de caixa preta (Ring-A-Bell).
• Supressão de NSFW: No benchmark I2P para remoção de nudez, o método alcança resultados de estado da arte (9 detecções contra 18 do SAeUron) enquanto preserva a qualidade de geração.

Significância e Alegações
O artigo posiciona o SAEmnesia como um passo adiante em direção ao "apagamento de conceitos preciso e controlável" em modelos generativos. Ao transformar representações distribuídas em características monossêmicas concentradas, o método aborda os desafios fundamentais de interpretabilidade que têm prejudicado técnicas anteriores de desaprendizado. Os autores afirmam que esta abordagem permite o controle refinado sobre o comportamento generativo sem modificar os pesos do modelo base, oferecendo um mecanismo totalmente reversível e transparente para remover conteúdo prejudicial, inapropriado ou protegido por direitos autorais. O trabalho enfatiza que, embora sirva como uma ferramenta de pesquisa para implantação segura, deve ser aplicado juntamente com mecanismos rigorosos de avaliação e governança para garantir a confiabilidade.