Resumo Técnico: Espaço Vazio (SPACE)

Declaração do Problema

Modelos de difusão (DMs) de Texto para Imagem (T2I) treinados em conjuntos de dados massivos e não filtrados frequentemente geram conteúdo indesejado, incluindo material protegido por direitos autorais e imagens Não Seguras para Trabalho (NSFW). Embora o re-treinamento de modelos seja computacionalmente proibitivo e a filtragem pós-geração possa ser contornada, a apagação de conceitos via modificação de pesos oferece uma intervenção robusta.

Métodos existentes de apagação de conceitos em forma fechada (por exemplo, UCE, RECE, SPEED) atualizam pesos de atenção cruzada sem retropropagação, oferecendo vantagens de velocidade sobre o ajuste fino baseado em divergência. No entanto, esses métodos exibem degradação significativa de desempenho ao escalar de arquiteturas menores (por exemplo, Stable Diffusion 1.5) para maiores (por exemplo, Stable Diffusion XL). Os autores atribuem essa falha ao aumento massivo de parâmetros de atenção cruzada (de 19M para 340M para Chaves/Valores), onde a redundância inerente do espaço de parâmetros de alta dimensão permite que informações específicas do conceito sejam distribuídas por grandes matrizes de pesos, tornando atualizações densas de norma mínima ineficazes.

Metodologia: Apagação de Conceito Baseada em Atenção Cruzada Esparsa (SPACE)

O SPACE propõe uma abordagem inovadora que induz esparsidade de parâmetros dentro das camadas de atenção cruzada para alcançar uma apagação de conceitos eficaz em modelos de grande escala. Diferentemente de técnicas anteriores de esquecimento baseadas em esparsidade que dependem de retropropagação, o SPACE opera via uma atualização iterativa em forma fechada.

Formulação Central

O método baseia-se na estrutura de Edição Unificada de Conceitos (UCE), mas modifica o objetivo de otimização para incluir um termo de regularização $L_1$. O objetivo é encontrar uma matriz de pesos $W$ que minimize a perda de apagação e preservação, satisfazendo simultaneamente uma restrição de esparsidade:

$$\min_{W} \mathcal{L}(W) + \lambda \|W\|_{1,1}$$

Onde:

• $\mathcal{L}(W)$ é a perda padrão UCE composta por termos para apagar conceitos-alvo ($E$), preservar conceitos não-alvo ($P$) e manter a proximidade com os pesos originais ($W^o$).
• $\|W\|_{1,1}$ é a norma $L_1$ elemento a elemento, que promove esparsidade.
• $\lambda$ controla a força da esparsidade.

Otimização via FISTA

Devido à não suavidade da norma $L_1$, uma solução em forma fechada de um único passo é impossível. O SPACE emprega o Algoritmo Rápido de Encolhimento e Limiar Iterativo (FISTA) para resolver este problema de otimização convexa.

1. Etapa de Gradiente: Calcula-se o gradiente da parte suave da perda ($\nabla \mathcal{L}$). A constante de Lipschitz $L$ é derivada analiticamente com base nos valores singulares das matrizes de incorporação de conceitos, garantindo tamanhos de passo adaptativos.
2. Etapa de Encolhimento: Aplica-se o operador de encolhimento $T_{\alpha}$ ao passo de gradiente para impor esparsidade:
   $$W^{(k)} \leftarrow T_{\lambda\gamma}(\theta^{(k)} - \gamma \nabla \mathcal{L}(\theta^{(k)}))$$
3. Momento: Atualiza-se a variável auxiliar $\theta$ usando momento para acelerar a convergência ($O(1/k^2)$).

Este processo modifica iterativamente os parâmetros de atenção cruzada, concentrando o mapeamento de conceitos em um subespaço de baixa dimensão de parâmetros de alto impacto, enquanto zera pesos redundantes.

Principais Contribuições

1. Indução de Esparsidade para Apagação: O artigo demonstra que induzir esparsidade nos parâmetros de atenção cruzada é crítico para uma apagação de conceitos eficaz em modelos grandes (SDXL), onde métodos densos em forma fechada falham.
2. Esparsidade em Forma Fechada: O SPACE é o primeiro framework a integrar esparsidade de parâmetros em um procedimento de atualização em forma fechada, evitando o custo computacional da retropropagação exigido por outros métodos de esquecimento baseados em esparsidade.
3. Eficiência de Armazenamento: Ao alcançar 80%-90% de esparsidade nos pesos de atenção cruzada, o SPACE reduz a pegada de armazenamento dos parâmetros modificados em aproximadamente 70% (usando o formato Compressed Sparse Row), facilitando a personalização escalável de modelos e a implantação em dispositivos de borda.
4. Robustez: O método aumenta significativamente a robustez contra prompts adversariais projetados para re-evocar conceitos apagados.

Resultados Experimentais

Os autores avaliaram o SPACE no Stable Diffusion XL (SDXL), Stable Diffusion 1.5 (SD1.5) e Juggernaut-XL em duas tarefas principais: apagação de estilo artístico e apagação de nudez.

• Apagação de Estilo Artístico (SDXL): O SPACE superou as linhas de base mais avançadas (CAbl, SAFREE, UCE, RECE, SPEED) na apagação de artistas únicos e múltiplos (por exemplo, Van Gogh, Monet, Picasso). Alcançou o melhor equilíbrio entre eficácia de apagação (menor Pontuação/Acurácia CLIP para alvos) e preservação de estilos não-alvo. Notavelmente, enquanto o UCE falhou em apagar estilos efetivamente em cenários de múltiplos artistas, o SPACE manteve alta eficácia.
• Apagação de Nudez:
  • SD1.5: O SPACE (com esparsidade forte) reduziu as taxas de geração de nudez para 0,028 no benchmark I2P, superando o UCE (0,394) e outros métodos sem treinamento.
  • SDXL & Juggernaut-XL: O SPACE reduziu significativamente a geração de nudez em comparação com o UCE e o SPEED. Por exemplo, no SDXL, o SPACE reduziu a contagem total de regiões corporais nuas para 16 (vs. 37 para o UCE).
• Robustez: O SPACE demonstrou resistência superior a prompts adversariais (Ring-A-Bell, MMA-Diffusion) em comparação com linhas de base densas.
• Eficiência:
  • Memória: O SPACE requer menos VRAM (8 GB) do que outros métodos de modificação de pesos (por exemplo, CAbl em 19 GB).
  • Armazenamento: Os pesos modificados para o SDXL foram reduzidos de ~630 MB (denso) para ~188 MB (esparso), uma redução de ~70%.
  • Tempo: A apagação leva aproximadamente 2 minutos para 1000 iterações, cerca de 10 vezes mais rápido do que métodos baseados em retropropagação (por exemplo, CAbl em 17 minutos).

Significado e Alegações

O artigo afirma que o SPACE preenche a lacuna entre a eficiência sem treinamento e a eficácia em modelos de grande escala. Os autores afirmam que:

• Induzir esparsidade na atenção cruzada não é meramente uma técnica de otimização, mas um mecanismo crítico para o esquecimento bem-sucedido em regimes de alta dimensão onde atualizações densas tradicionais falham.
• O método fornece uma vantagem estrutural ao reduzir significativamente os requisitos de armazenamento, tornando-o adequado para ambientes que exigem troca rápida de módulos leves (por exemplo, implantações em dispositivos de borda multiusuário).
• A abordagem aumenta a robustez contra ataques adversariais, abordando uma limitação chave de técnicas de apagação anteriores.

Os autores mantêm um tom modesto quanto ao escopo, observando que, embora a esparsidade seja crucial para conceitos complexos como estilos artísticos e nudez, conceitos mais simples (objetos, celebridades específicas) podem não exigir estritamente esparsidade para uma apagação eficaz, embora o SPACE ainda ofereça benefícios de armazenamento nesses casos. O trabalho é apresentado como um passo em direção a uma implantação de modelos de difusão mais segura, eficiente e escalável.