Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models

1. Problema e Motivação

Os modelos de difusão texto-para-imagem (T2I) geram imagens de alta qualidade, mas, devido ao treinamento em conjuntos de dados não curados, podem produzir conteúdo prejudicial, violar direitos autorais ou imitar estilos artísticos específicos. A erasura de conceitos (remover a capacidade do modelo de gerar certos conceitos) tornou-se essencial para o uso seguro.

No entanto, métodos existentes apresentam limitações críticas:

• Métodos Globais: Removem o conceito de toda a imagem, causando "deriva semântica" e prejudicando a qualidade geral.
• Métodos Localizados (ex: GLoCE): Tentam remover o conceito apenas na região onde ele aparece. O artigo identifica um problema não resolvido chamado "Gap de Vizinhos" (Neighbor Gap). Ao suprimir um conceito-alvo (ex: uma raça de cão específica), esses métodos frequentemente enfraquecem ou degradam a geração de conceitos semanticamente adjacentes (outras raças de cães similares), reduzindo a fidelidade em domínios de alta granularidade.

Objetivo: Desenvolver um método de erasura que seja localizado (apenas na região do objeto), sem treinamento (inference-time) e que preserve explicitamente os conceitos vizinhos semanticamente relacionados.

---

2. Metodologia: NLCE (Neighbor-Aware Localized Concept Erasure)

O NLCE é uma estrutura sem treinamento que opera em três estágios coordenados para remover o conceito-alvo enquanto estabiliza os vizinhos:

Estágio 1: Modulação no Espaço de Representação

O objetivo é suprimir as direções do conceito-alvo no espaço de embeddings enquanto reforça as representações dos vizinhos.

• Identificação do Subespaço Alvo: Utiliza-se Decomposição em Valores Singulares (SVD) nos embeddings dos tokens do conceito-alvo para criar uma base ortogonal de baixo rank.
• Modulação Espectral: Aplica-se uma projeção espectralmente ponderada para atenuar as direções do alvo.
• Recuperação de Vizinhos: O método recupera conceitos vizinhos semanticamente relacionados (usando similaridade de cosseno e filtros de concretude/popularidade). Constrói-se um subespaço de vizinhos e injeta-se uma projeção controlada para restaurar a coerência semântica nas áreas que não devem ser apagadas.
• Reescrita de Atenção Cruzada: As matrizes de projeção de Chave (K) e Valor (V) são modificadas globalmente para garantir a remoção consistente durante o processo de denoising.

Estágio 2: Portão Espacial Guiado por Atenção

Para lidar com influências residuais que a modulação do Estágio 1 pode não eliminar completamente:

• Extração de Mapas de Atenção: Realiza-se uma passagem "seca" (dry pass) para extrair mapas de atenção do modelo.
• Detecção de Influência Residual: Identificam-se os tokens que ainda exibem ativação do conceito apagado.
• Construção do Portão: Cria-se um mapa espacial que soma a atenção dos tokens "vivos" (ativos) do conceito alvo. Isso localiza exatamente quais pixels da imagem ainda contêm traços do conceito indesejado.

Estágio 3: Limpeza de Recursos com Portão (Gated Feature Clean-up)

A etapa final garante a remoção irreversível dos traços restantes:

• Máscaras Binárias: O mapa de portão do Estágio 2 é amostrado para cima e convertido em uma máscara binária.
• Erasura Dura (Hard Erasure): Nas regiões identificadas pela máscara, as representações latentes (features) do modelo são zeradas diretamente. Isso elimina qualquer resíduo do conceito sem afetar as áreas da imagem que não foram marcadas, preservando o contexto circundante.

---

3. Contribuições Principais

1. Identificação do "Gap de Vizinhos": O artigo formaliza o problema onde métodos de erasura localizados atuais degradam inadvertidamente conceitos semanticamente adjacentes.
2. Proposta do NLCE: Um pipeline de três estágios, sem treinamento, que combina modulação espectral, localização espacial via atenção e limpeza de recursos para remover o alvo com precisão enquanto preserva a estrutura do "bairro" semântico.
3. Desempenho Superior: Evidências experimentais mostram que o NLCE supera os métodos state-of-the-art (SOTA) em precisão de erasura e preservação de vizinhos, mantendo a qualidade global da imagem.

---

4. Resultados Experimentais

O NLCE foi avaliado em diversos conjuntos de dados e cenários:

• Dados de Alta Granularidade (Oxford Flowers e Stanford Dogs):

  • O NLCE removeu raças de cães e tipos de flores específicos com alta precisão.
  • Resultado Chave: Enquanto métodos como GLoCE e RECE apagavam o alvo, eles também degradavam raças de cães ou flores vizinhas (ex: apagar "Bluetick" afetava "Beagle"). O NLCE manteve a Precisão de Retenção (Accr) significativamente mais alta, preservando as categorias vizinhas.
  • Métricas como Harmonic Mean (Ho) e Kernel Inception Distance (KID) indicaram melhor equilíbrio entre apagamento e qualidade.

• Identidade de Celebridades:

  • Em prompts com múltiplas pessoas, o NLCE removeu a celebridade alvo (ex: Elon Musk) sem distorcer a imagem da outra pessoa presente (ex: Anna Kendrick), superando métodos que apagavam todo o rosto ou a imagem inteira.

• Conteúdo Explícito (I2P Benchmark):

  • O método demonstrou forte supressão de conteúdo sensível (nudidade, violência), superando a detecção de nudez (NudeNet) em comparação com baselines, mantendo alta consistência texto-imagem (CLIP Score).

• Estilo Artístico:

  • Ao remover o estilo de um artista (ex: Van Gogh), o NLCE preservou a capacidade de gerar obras de outros artistas (ex: Picasso), evitando a degradação global do estilo.

• Eficiência Computacional:

  • Como é um método sem treinamento (inference-time), o NLCE é muito mais rápido que métodos baseados em fine-tuning (como MACE ou SPM), embora tenha um custo moderado devido à busca de vizinhos e duas passagens na U-Net.

---

5. Significado e Conclusão

O trabalho NLCE representa um avanço significativo na segurança e controle de modelos de difusão. Ao resolver o problema do "Gap de Vizinhos", ele permite uma erasura ética e precisa, essencial para aplicações industriais onde a remoção de um conceito não pode comprometer a utilidade do modelo para conceitos relacionados.

A abordagem sem treinamento oferece uma solução escalável e eficiente, evitando o custo computacional e a necessidade de dados curados para re-treinamento. O framework estabelece um novo padrão para a erasura de conceitos localizados, garantindo que a remoção de conteúdo indesejado seja cirúrgica, preservando a riqueza semântica e visual do modelo original.