Resumo Técnico: Direcionamento Semântico para Geração Controlável

Declaração do Problema

Os Transformers de Difusão Multimodais (MM-DiTs), como as séries Stable Diffusion 3 e FLUX, estabeleceram novos marcos na geração de texto para imagem, superando os modelos tradicionais baseados em U-Net em qualidade e resolução. No entanto, suas poderosas capacidades generativas introduzem riscos de segurança significativos, incluindo o potencial de sintetizar conteúdo não apropriado para o trabalho (NSFW), obras protegidas por direitos autorais e imagens de pessoas reais.

Os métodos existentes de apagamento de conceitos enfrentam limitações críticas quando aplicados aos MM-DiTs:

1. Modificação de Parâmetros: A maioria dos métodos requer ajuste fino (fine-tuning) ou modificação dos pesos do modelo. Estes são frequentemente específicos de arquitetura, computacionalmente caros e impraticáveis para modelos implantados em larga escala.
2. Limitações de Ausência de Ajuste (Tuning-Free): As abordagens atuais de ausência de ajuste, que dependem de intervenções baseadas em prompts (ex: prompts negativos), têm dificuldade com MM-DiTs. Devido ao extenso pré-treinamento, os MM-DiTs incorporam conceitos profundamente em suas representações internas, tornando-os resistentes à engenharia de prompt superficial. Além disso, o espaço semântico expandido e os codificadores de texto dependentes de contexto (ex: T5-XXL) nos MM-DiTs tornam os prompts negativos ineficazes para capturar associações implícitas e variações de conceitos.
3. Incompatibilidade Arquitetônica: Métodos projetados para Grandes Modelos de Linguagem (LLMs) ou arquiteturas U-Net de pequena escala não se traduzem bem para o processo de denoising contínuo e iterativo e para a arquitetura de dualidade modal dos MM-DiTs.

Metodologia

Os autores propõem um método de direcionamento semântico sem ajuste (tuning-free) que manipula diretamente as representações internas do modelo durante a inferência. A abordagem é fundamentada em uma análise profunda da arquitetura MM-DiT e seus mecanismos generativos.

1. Análise de Papéis por Bloco e Timesteps

Através de análise empírica (injeção de ruído e visualização de mapas de atenção), os autores identificaram uma estrutura hierárquica nos MM-DiTs:

• Blocos Iniciais (Early Blocks): Codificam estruturas globais da imagem.
• Blocos Tardios (Late Blocks): Refinam detalhes finos.
• Blocos Intermediários (Middle Blocks): Codificam primariamente as representações semânticas centrais dos conceitos alvo.
• Timesteps Intermediários: Fornecem a representação mais fiel das semânticas alvo, equilibrando coerência estrutural e detalhes visuais.

2. Construção do Vetor de Direcionamento

Em vez de operar nos tokens de imagem redundantes (ex: 4096 tokens), o método aproveita a esparsidade do ramo de texto (154–333 tokens).

• Preparação de Dados: Um conjunto de dados de prompts pareados é criado, onde um prompt contém o conceito indesejado ($C^-$) e o outro contém um conceito seguro desejável ($C^+$) com contexto idêntico.
• Extração: O modelo processa esses pares através de um bloco intermediário ($b$). Os vetores de saída para os tokens textuais específicos que diferem são extraídos do ramo de texto.
• Derivação do Vetor: Um vetor de direcionamento ($v_{steer}$) é construído computando a diferença média entre as representações do conceito seguro e do indesejado:
  $$v_{steer} = l \cdot \frac{v_b}{||v_b||}, \quad \text{onde } v_b = \frac{1}{n} \sum_{i=1}^{n} (x^+_{b,i} - x^-_{b,i})$$
  Aqui, $l$ é um parâmetro de força de direcionamento determinado empiricamente.

3. Injeção do Vetor de Direcionamento

Para garantir um guia coerente sem distorcer a imagem, o vetor é injetado estrategicamente:

• Estratégia Espacial: O vetor é injetado em blocos iniciais e intermediários consecutivos. Injetar apenas nos blocos intermediários/tardios é ineficaz devido às estruturas estabelecidas, enquanto injetar apenas nos blocos iniciais causa distorção estrutural. O efeito cumulativo através de múltiplos blocos garante uma mudança unificada na semântica.
• Estratégia Temporal: Aproveitando a trajetória de amostragem de fluxo retificado (rectified flow) dos MM-DiTs (que segue caminhos retos e determinísticos), o mesmo vetor de direcionamento calculado em um timestep intermediário é aplicado consistentemente em todos os passos de denoising. Isso garante coerência temporal e evita a necessidade de construção de vetores por timestep.

Principais Contribuições

1. Direcionamento Semântico Leve: Um framework de ausência de ajuste adaptado para arquiteturas MM-DT de larga escala que alcança o apagamento de conceitos controlável no tempo de inferência sem modificar os parâmetros do modelo.
2. Insight Arquitetônico: O design explora propriedades específicas dos MM-DiTs, incluindo a divisão por blocos dos papéis generativos (concentração semântica em blocos intermediários), disparidade de informação entre modalidades (uso de tokens de texto esparsos) e a trajetória de amostragem reta do fluxo retificado.
3. Eficiência de Vetor Único: O método alcança o apagamento eficaz usando um único vetor de direcionamento injetado em blocos chave, resultando em sobrecarga computacional insignificante.
4. Avaliação Abrangente: Experimentos extensos demonstram o desempenho de estado da arte no apagamento de diversos conceitos (celebridades, estilos de arte, nudez) mantendo a qualidade da imagem e robustez.

Resultados Experimentais

O método foi avaliado no Stable Diffusion-v3.5-medium e FLUX.1 em três categorias: Celebridade, Estilo de Arte e Nudez.

• Eficácia de Apagamento: O método superou os baselines (incluindo Safe Latent Diffusion, TraSCE, Prompt Negativo e métodos de modificação de modelo como UCE e ESD) em métricas de apagamento (GIPHY, LLaVA, Matriz de Grama, NudeNet). Por exemplo, no FLUX.1, alcançou uma pontuação GIPHY de 0.014 para apagamento de celebridade comparado a 0.117 para UCE e 0.433 para SLD.
• Qualidade da Imagem: O método preservou a qualidade estética e a fidelidade geral da imagem, alcançando baixas pontuações FID (indicando impacto mínimo na geração de imagens não relacionadas) e pontuações CLIP competitivas.
• Robustez: O método demonstrou robustez superior contra quatro tipos de ataques adversários (Ring-A-Bell, MMA-Diffusion, I2P, P4D) visando nudez, alcançando as menores pontuações NudeNet entre todos os métodos testados.
• Controlabilidade: Diferente de métodos que apenas suprimem conceitos, esta abordagem permite o direcionamento multiestilo, possibilitando a transformação de um conceito apagado em um estilo seguro específico definido pelo usuário (ex: transformar o estilo "Van Gogh" em "Desenho Animado" ou "Aquarela").

Significância e Alegações

O artigo afirma que este trabalho preenche uma lacuna crítica na segurança e controlabilidade dos próximos modelos de texto para imagem. Ao mudar o paradigma da engenharia de prompt externa para a intervenção direta na representação interna, o método aborda as limitações das abordagens atuais de ausência de ajuste em MM-DTs.

Os autores enfatizam que sua abordagem:

• Evita o custo computacional e as barreiras de implantação associadas ao ajuste fino de grandes modelos.
• Fornece uma defesa robusta contra ataques adversários que burlam filtros baseados em prompt.
• Oferece uma base para pesquisas futuras em geração controlável, demonstrando que o controle semântico preciso pode ser alcançado com intervenção mínima (um único vetor) ao compreender a mecânica generativa intrínseca do modelo.

O trabalho conclui que o direcionamento semântico é uma estratégia viável e eficaz para garantir a implantação segura de MM-DTs poderosos sem comprometer suas capacidades generativas.