Resumo Técnico: Modulação de Atenção Introspectiva para Geração de Texto-para-Imagem Segura

1. Definição do Problema

Os modelos de texto-para-imagem (T2I) baseados em fluxo de última geração, como os baseados em Diffusion Transformers (DiT) e fluxos retificados (ex: FLUX.1-dev), exibem capacidades generativas notáveis, mas permanecem vulneráveis à produção de conteúdo inseguro (violência, imagens explícitas, conteúdo sexual). Essas vulnerabilidades são exacerbadas quando os modelos são ajustados finamente usando técnicas de adaptação de eficiência de parâmetros, como LoRA ou DreamBooth, que podem facilmente contornar as salvaguardas de segurança pré-implantação.

Os mecanismos de segurança existentes dividem-se em três categorias, cada uma com limitações significativas:

• Filtragem Externa: Depende de listas negras de prompts ou classificadores baseados em CLIP. Estes são frágeis contra prompts adversariais, paráfrases e ataques de jailbreak.
• Supressão Baseada em Treinamento: Envolve a erradicação de conceitos ou ajuste fino seguro. Esses métodos são computacionalmente caros, frequentemente limitados a arquiteturas de difusão iniciais específicas e podem causar "erradicação semântica colateral" (degradação da geração de conceitos benignos).
• Orientação em Tempo de Inferência: Métodos como Safe Latent Diffusion (SLD) ou Latent Guard exigem retreinamento ou induzem a erradicação semântica. Além disso, edições de pesos podem ser desfeitas por novos adaptadores.

O problema central é a falta de uma abordagem mecanística, livre de treinamento, que possa intervir durante o processo de geração para suprimir conceitos inseguros sem comprometer o alinhamento semântico ou a qualidade perceptual do resultado, particularmente em arquiteturas modernas baseadas em transformers.

2. Metodologia: Modulação de Atenção Introspectiva

Os autores propõem uma intervenção de tempo de inferência baseada em princípios que regula a dinâmica de atenção de um modelo através de "introspecção". O método opera sem modificar os pesos do modelo base ou realizar retreinamento.

Conceito Central

O método aproveita a observação de que os mecanismos de atenção em diffusion transformers codificam estruturas internas ricas. A formação de conceitos inseguros reflete-se em padrões de atenção específicos (ex: alta atenção cruzada de tokens inseguros para tokens de regiões corporais da imagem). A abordagem envolve a análise dessas ativações de atenção em tempo real e o seu reequilíbrio para direcionar a geração para longe de conceitos inseguros, preservando a coerência semântica.

Fluxo de Trabalho Técnico

1. Extração de Atenção de Via Dupla: Em cada passo de denoising $t$, o método extrai estados de atenção ($\Phi_t$) de ambos os blocos transformer de fluxo duplo e fluxo simples. Estes estados incluem autoatenção (coerência espacial) e atenção cruzada (correspondência texto-imagem).
2. Otimização com Restrição de Segurança: O método formula a segurança como um problema de otimização com restrições para encontrar um conjunto de atenção modulado $\varphi^*_t$. A função objetivo $\mathcal{L}_{int}$ equilibra três termos:
   • Energia de Coerência ($E_{coh}$): Penaliza o desvio de uma referência de atenção segura ($\Phi^{safe}_t$) para manter o alinhamento texto-imagem.
   • Regularizador de Segurança ($R_{safe}$): Quantifica a massa de atenção insegura usando regressores logísticos esparsos pré-computados ($W_{unsafe}$) treinados em exemplos rotulados. Este termo penaliza padrões de atenção correlacionados com conteúdo prejudicial.
   • Divergência de Proximidade ($D$): Utiliza a divergência KL para restringir a atenção modulada próxima da $\Phi_t$ original, evitando perturbações fora da distribuição.
3. Processo de Otimização: O $\varphi^*_t$ ótimo é resolvido via gradiente descendente projetado (PGD) inicializado na atenção original. Isso permite uma supressão refinada por cabeça, onde cabeças com altos padrões inseguros são corrigidas, enquanto cabeças benignas permanecem minimamente perturbadas.
4. Controle da Razão de Introspecção: Um parâmetro $\alpha_{intro}$ controla o equilíbrio entre a intervenção de segurança e a fidelidade do output, permitindo uma força de segurança ajustável em tempo de execução.
5. Velocidade Corrigida e Amostragem: A atenção modulada $\varphi^*_t$ é reinjetada no transformer para reavaliar o campo de velocidade ($\hat{v}_\theta$). O passo de geração procede utilizando esta velocidade com restrição de segurança, direcionando a amostra latente para resultados seguros.

3. Principais Contribuições

• Mecanismo Inédito: Introduz um mecanismo de segurança introspectivo baseado em atenção, especificamente desenhado para a segurança em tempo de inferência em modelos modernos de alta qualidade de diffusion transformer.
• Intervenção Livre de Treinamento: O método não requer retreinamento do modelo base ou dos adaptadores. Opera puramente durante o processo de inferência ao regular a dinâmica de atenção.
• Regressão Logística Esparsa para Detecção de Insegurança: Desenvolve um mecanismo para identificar e extrair padrões de atenção inseguros usando representações de conceitos pré-aprendidos, permitindo a supressão direcionada.
• Controle de Equilíbrio Principiado: Implementa um processo de otimização com controle de razão de introspecção, fornecendo um controle sobre o equilíbrio entre segurança e qualidade.
• Avaliação Abrangente: Avalia extensivamente a técnica nos benchmarks padrão (I2P, SneakyPrompts, MMA-Diffusion, UnlearnDiffAtk) e demonstra superioridade sobre métodos existentes de erradicação de conceitos (UCE, ESD, EraseAnything, FlowEdit, MCE).

4. Resultados Experimentais

O método foi avaliado no FLUX.1-dev adaptado com LoRA para geração insegura, bem como no SDXL.

• Desempenho de Segurança:
  • No benchmark I2P, o método alcançou uma Taxa de Nudez (NR) de 39,6%, uma melhoria relativa de 30% sobre o baseline (56,3%).
  • No SneakyPrompts (jailbreaks adversariais), manteve uma NR robusta de 70,5% comparado aos 81,5% do baseline.
  • Validação por Modelo de Linguagem-Visão (VLM): Usando Qwen-VL, o método sinalizou apenas 1,7% das imagens como inseguras (16 imagens), uma redução de 79% em relação ao baseline. Notavelmente, os baselines de erradicação de conceito (UCE, ESD) frequentemente aumentaram as violações detectadas pelo VLM devido à incoerência semântica.
• Qualidade e Alinhamento:
  • Ao contrário dos métodos existentes que degradam a qualidade, a abordagem proposta melhorou os scores CLIP (alinhamento texto-imagem) em todos os benchmarks. Por exemplo, no I2P, o score CLIP subiu de 30,52 (baseline) para 30,82.
  • O método alcançou a dominância de Pareto, melhorando simultaneamente a segurança e a qualidade, enquanto outros métodos enfrentavam um trade-off onde ganhos de segurança degradavam a qualidade.
• Generalização:
  • O método é agnóstico ao modelo, sendo aplicado com sucesso a múltiplas variantes do FLUX (Dev, Kontext, Schnell, Krea) e SDXL sem retreinamento.
  • Suprime eficazmente várias categorias inseguras, incluindo nudez, violência, atividades ilegais e automutilação.

5. Significância e Alegações

O artigo afirma que a regulação do espaço de atenção oferece um caminho consideravelmente mais promissor para a geração segura de imagens em diffusion transformers do que os mecanismos existentes de erradicação de conceitos.

As principais alegações incluem:

• Robustez Intrínseca: Ao regular diretamente a dinâmica de atenção, o método exibe robustez intrínseca contra adaptações de eficiência de parâmetros (como LoRA) que tipicamente contornam filtros de segurança estáticos.
• Compreensão Mecanística: A abordagem vai além de patches post-hoc ao intervir no próprio processo generativo, abordando a causa raiz da emergência de conteúdo inseguro (padrões de atenção) em vez de apenas o output.
• Superioridade sobre a Erradicação: Os resultados revelam que a erradicação de conceitos tradicional pode ser ineficaz ou até contraproducente em arquiteturas modernas, por vezes piorando a segurança ou causando artefatos visuais severos. Em contraste, a modulação de atenção introspectiva preserva a coerência visual e a fidelidade semântica.
• Implantação Prática: O método permite que um único modelo seja implantado com força de segurança ajustável em tempo de execução, eliminando a necessidade de manter múltiplas versões de modelos para diferentes níveis de segurança.

Os autores reconhecem limitações, observando que o método depende de representações de conceitos de segurança aprendidas, que podem ter lacunas de cobertura contra prompts altamente adversariais (ex: SneakyPrompts), e que assume um contexto de operação de segurança confiável. No entanto, posicionam o trabalho como um passo fundamental em direção a mecanismos de aplicação de políticas que permitam a criatividade sem cruzar fronteiras éticas.