Resumo Técnico: Apagamento de Conceito Ortogonal para Modelos de Difusão

Declaração do Problema

Modelos de difusão texto-para-imagem (T2I) possuem capacidades generativas notáveis, mas são propensos a produzir conteúdo indesejado, inseguro ou protegido por direitos autorais. Embora o apagamento de conceitos tenha surgido como uma solução crítica para mitigar esses riscos, as abordagens existentes enfrentam trade-offs significativos entre eficácia, eficiência e preservação da capacidade generativa geral.

Os métodos atuais geralmente se enquadram em três categorias:

1. Intervenção no tempo de inferência: Ajusta as trajetórias de amostragem sem modificar parâmetros. Estas são vulneráveis a contornes.
2. Métodos baseados em treinamento: Ajustam finamente os parâmetros do modelo para remover conceitos. Embora eficazes, incorrem em altos custos computacionais e exigem múltiplas rodadas de otimização, limitando a escalabilidade.
3. Métodos baseados em edição: Modificam os parâmetros do modelo diretamente usando soluções de forma fechada. Embora eficientes, os métodos de edição existentes geralmente dependem de atualizações aditivas de parâmetros ($W + \Delta$). Os autores identificam uma limitação central neste paradigma: as atualizações aditivas inerentemente emaranham mudanças na direção do neurônio, magnitude e geometria angular. Como a semântica do conceito depende fortemente da direção do neurônio, enquanto a capacidade generativa geral depende da preservação da geometria angular, as atualizações aditivas frequentemente resultam em apagamento instável e degradação de conceitos não-alvo.

Metodologia: Apagamento de Conceito Ortogonal (OCE)

O artigo propõe o Apagamento de Conceito Ortogonal (OCE), um método baseado em edição, orientado por geometria, que reformula o apagamento de conceitos como uma transformação ortogonal multiplicativa em vez de uma perturbação aditiva.

1. Análise Geométrica

Os autores estabelecem duas reivindicações empíricas chave através de experimentos controlados:

• Reivindicação 1 (C1): As semânticas de conceitos em modelos de difusão são codificadas principalmente nas direções dos neurônios, enquanto as magnitudes dos neurônios têm efeitos negligenciáveis na expressão semântica.
• Reivindicação 2 (C2): Preservar a geometria angular (ângulos e correlações inter-neurônios) é crítico para manter a qualidade generativa geral do modelo.

Com base nisso, o OCE evita atualizações aditivas que perturbam tanto a direção quanto a magnitude. Em vez disso, aplica uma transformação ortogonal em camadas $P$ às matrizes de projeção $W$ (especificamente as matrizes de chave e valor nas camadas de atenção cruzada), tal que $W^* = PW$. Esta operação rotaciona as direções dos neurônios para apagar conceitos-alvo, enquanto preserva estritamente as magnitudes dos neurônios e a geometria angular inter-neurônios.

2. Formulação do Problema

O método formula o apagamento como um problema de otimização para encontrar uma matriz ortogonal $P$ ($P^\top P = I$) que minimize a distância entre conceitos-alvo transformados e suas âncoras, enquanto minimiza a distância entre conceitos não-alvo transformados e suas representações originais.

• Objetivo Vetorial: Para apagamento de conceito único, o objetivo alinha os embeddings de alvo $C_1$ com embeddings de âncora $C^*$ e preserva o conjunto de retenção $C_0$. Isso é resolvido via o clássico Problema de Procrustes Ortogonal usando Decomposição em Valores Singulares (SVD) para obter uma solução de forma fechada: $P = UV^\top$.

• Objetivo em Nível de Subespaço: Para apagamento de múltiplos conceitos, impor um alinhamento vetorial estrito para múltiplos alvos cria restrições conflitantes. O OCE estende o objetivo para uma projeção em nível de subespaço. Define subespaços de alvo e âncora e busca suprimir os componentes do subespaço de alvo que residem no complemento ortogonal do subespaço de âncora. Isso é alcançado minimizando a energia do subespaço de alvo fora do complemento ortogonal da âncora, combinado com preservação vetorial para o conjunto de retenção.

3. Detalhes de Implementação

• Prior de Preservação Global ($K_0$): Para garantir estabilidade global, o método pré-computa um prior genérico de preservação $K_0$ a partir de um grande conjunto de dados (COCO-30k), que é reutilizado em diferentes tarefas de apagamento.
• Design Assimétrico: O método emprega uma formulação assimétrica: apagamento em nível de subespaço (para lidar com conflitos em cenários de múltiplos conceitos) combinado com preservação vetorial (para garantir retenção detalhada de conceitos não-alvo).
• Robustez Adversarial: O framework pode ser integrado perfeitamente com estratégias de edição adversarial para melhorar a robustez contra ataques.

Contribuições Principais

1. Reformulação Geométrica: O OCE introduz uma mudança de paradigma da edição aditiva para a edição ortogonal multiplicativa, fundamentada teoricamente na observação de que a semântica do conceito depende da direção, enquanto a capacidade generativa depende da geometria angular.
2. Solução de Forma Fechada: O método fornece uma solução de forma fechada, principial e eficiente, tanto para apagamento de conceito único quanto múltiplo via SVD, eliminando a necessidade de otimização iterativa.
3. Apagamento de Subespaço Escalável: Ao estender o apagamento vetorial para um objetivo estruturado em nível de subespaço, o OCE resolve efetivamente restrições conflitantes no apagamento de múltiplos conceitos em grande escala (por exemplo, apagar 100 conceitos simultaneamente).
4. Ampla Aplicabilidade: O método demonstra transferibilidade para modelos baseados em U-Net (Stable Diffusion v1.4) e modelos baseados em DiT (FLUX.1 dev).

Resultados Experimentais

Experimentos extensivos foram conduzidos em apagamento de objetos, apagamento de estilo artístico, apagamento de celebridades e apagamento de conceitos implícitos (incluindo ataques adversariais).

• Apagamento de Conceito Único: No apagamento de objetos CIFAR-10, o OCE alcançou a maior pontuação harmônica média ($H_o$), reduzindo a taxa média de falha de apagamento ($A_{cce}$) para 4,61%, enquanto mantinha preservação quase perfeita de conceitos não-alvo ($A_{ccs} \approx 98,68\%$). Superou métodos state-of-the-art como UCE, MACE e SPEED.
• Apagamento de Múltiplos Conceitos: O OCE apagou com sucesso até 100 conceitos de celebridades em um único passo, completando o processo em 4,3 segundos em uma única GPU A100. Mantive desempenho estável à medida que o número de conceitos apagados aumentava, enquanto outros métodos sofreram colapso de geração ou degradação significativa na preservação de não-alvos.
• Apagamento Implícito e Robustez: No apagamento de conceitos implícitos (por exemplo, conteúdo NSFW) e sob ataques adversariais (Ring-A-Bell, MMA-Diffusion), o OCE demonstrou forte robustez, particularmente quando integrado com edição adversarial, alcançando baixas Taxas de Sucesso de Ataque (ASR) enquanto preservava a qualidade geral de geração (altas pontuações CLIP, baixo FID).
• Transferibilidade: O método estendeu-se efetivamente ao modelo FLUX.1 dev, alcançando apagamento eficaz de objetos, estilos e celebridades sem exigir mudanças arquitetônicas na lógica central de edição.

Significado e Reivindicações

O artigo reivindica que o OCE oferece uma solução principial, eficiente e escalável para o apagamento de conceitos. Ao abordar as limitações geométricas das atualizações aditivas, o OCE alcança um equilíbrio superior entre remoção precisa de conceitos e preservação das capacidades generativas intrínsecas do modelo.

Os autores enfatizam que o OCE fornece um mecanismo controlável para melhorar a segurança e confiabilidade de modelos de IA generativa. Suporta tanto apagamento de conceito único quanto múltiplo com interferência mínima em conceitos não relacionados, oferecendo um caminho prático para implantar IA mais segura na criação de conteúdo, educação e plataformas públicas. O trabalho sugere que perspectivas geométricas sobre o espaço de parâmetros podem levar a paradigmas de edição mais eficazes e estáveis para modelos de difusão.

Limitações Reconhecidas:
Os autores notam que o apagamento de subespaço baseado em SVD pode introduzir sobrecarga computacional para modelos muito grandes. Além disso, como o método opera em nível de subespaço, as saídas geradas podem cair em regiões semânticas intermediárias em vez de corresponder precisamente a conceitos de âncora detalhados, o que poderia limitar a aplicabilidade em tarefas de edição específicas. Mais exploração é necessária para apagar conceitos relacionais ou composicionais complexos.