Resumo Técnico: Proteção da Geração de Texto-para-Imagem via Otimização de Ruído-Prompt em Tempo de Inferência (PNO)

1. Definição do Problema

Modelos de difusão de Texto-para-Imagem (T2I), embora capazes de gerar imagens de alta qualidade e diversidade, são propensos a produzir conteúdo inseguro contendo material sensível ou inapropriado devido aos vieses herdados de conjuntos de dados de treinamento de grande escala e não filtrados. Os mecanismos de segurança existentes enfrentam limitações significativas:

• Filtragem de Dados e Retreinamento: Computacionalmente caros e frequentemente falham em remover todo o conteúdo inseguro.
• Ajuste Fino (Fine-tuning): Requer recursos substanciais, tem dificuldade com a generalização para prompts não vistos e corre o risco de degradar a qualidade da imagem.
• Intervenções em Tempo de Inferência (Orientação/Edição): Métodos como negative prompting ou edição de modelos são frequentemente fáceis de contornar e carecem de robustez contra ataques adversários.
• Conflito Fundamental: Existe uma tensão inerente entre seguir fielmente os prompts do usuário e evitar saídas inseguras. Os métodos atuais frequentemente falham em equilibrar esses objetivos, ou comprometendo a segurança ou desviando-se significativamente da semântica pretendida.

Além disso, sistemas T2I são altamente vulneráveis a ataques adversários, onde prompts maliciosos são elaborados para contornar filtros de segurança. O artigo identifica uma lacuna crítica: não há uma abordagem robusta, livre de treinamento, que efetivamente suprima a geração tóxica enquanto mantém um alto alinhamento entre prompt e imagem sem exigir o retreinamento extensivo do modelo.

2. Metodologia: Otimização de Ruído-Prompt (PNO)

Os autores propõem o Prompt-Noise Optimization (PNO), um novo framework livre de treinamento que opera durante a fase de inferência. O PNO trata a geração de imagens seguras como um problema de otimização, ajustando conjuntamente dois componentes fundamentais do processo de amostragem de difusão:

2.1. Variáveis de Otimização

Em vez de modificar os pesos do modelo ou o prompt de texto discreto, o PNO otimiza em espaços contínuos:

1. Embedding de Prompt Contínuo ($c$): A representação latente do prompt de texto (ex: via CLIP). A otimização neste espaço contínuo permite um controle mais fino sobre a semântica em comparação com a modificação de texto discreto.
2. Trajetória de Ruído Injetado ($\tau = \{x_T, z_T, \dots, z_1\}$): A sequência de amostras de ruído usadas durante o processo de denoising (especificamente no sampler DDIM). A trajetória de ruído controla detalhes de baixo nível e a realização específica da imagem.

2.2. Função Objetivo

O objetivo é minimizar uma função de perda de toxicidade enquanto preserva a natureza Gaussiana do ruído e mantém o alinhamento com o prompt original. O problema de otimização é formulado como:
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
Sujeito a:
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$: Uma função de perda que quantifica a inadequação da imagem gerada $x_0$, tipicamente medida por um classificador de segurança de imagem pré-treinado (ex: Q16).
• $L_{reg}(\tau)$: Um termo de regularização que garante que a trajetória de ruído otimizada permaneça próxima a uma distribuição Gaussiana padrão, evitando que o processo de geração se torne instável.
• $\lambda$: Um hiperparâmetro que controla a força da regularização.

2.3. Algoritmo

O PNO emprega um loop de otimização baseado em gradiente (Algoritmo 2):

1. Inicialização: Inicializa o embedding do prompt $c$ a partir do texto do usuário e a trajetória de ruído $\tau$ via amostragem aleatória.
2. Amostragem: Gera uma imagem $x_0$ usando o sampler DDIM com o $c$ e $\tau$ atuais.
3. Avaliação: Calcula a perda de toxicidade e a perda de regularização.
4. Atualização: Calcula os gradientes em relação a ambos, $c$ e $\tau$, e atualiza-os usando um otimizador (ex: Adam).
5. Terminação: O processo itera até que a perda de toxicidade caia abaixo de um limite ou que um número máximo de iterações seja atingido.

2.4. Justificativa Teórica para a Otimização Conjunta

O artigo argumenta que otimizar apenas o prompt ou apenas o ruído é subótimo:

• Apenas Ruído: Pode apenas ajustar detalhes de baixo nível. Se o embedding do prompt codifica um conceito tóxico, a perturbação do ruído não pode remover a toxicidade semântica de alto nível.
• Apenas Prompt: Pode remover a toxicidade, mas frequentemente exige grandes desvios no espaço de embedding, levando a uma perda significativa de alinhamento semântico com o prompt original.
• Otimização Conjunta: Ao utilizar ambas as direções, a trajetória de ruído pode absorver parte do "gradiente de toxicidade", permitindo que o embedding do prompt se mova apenas o necessário para escapar da região tóxica. Isso resulta em um trade-off superior entre segurança e alinhamento.

3. Principais Contribuições

1. Framework Inovador: Introdução do PNO, o primeiro método que utiliza a otimização em tempo de inferência de ambos os embeddings de prompt e trajetórias de ruído de difusão para aumentar a segurança do T2I sem retreinamento do modelo.
2. Descoberta de Sinergia: Demonstração da sinergia teórica e empírica entre os embeddings de prompt (que controlam "o que" é gerado) e as trajetórias de ruído (que controlam "como" é renderizado) para alcançar objetivos de segurança.
3. Robustez: Validação de que o PNO é robusto contra ataques adversários projetados para contornar mecanismos de segurança existentes.
4. Trade-off Ótimo: Evidência empírica mostrando que o PNO atinge uma fronteira de Pareto superior aos métodos existentes, equilibrando melhor a segurança da imagem e o alinhamento do prompt do que qualquer baseline.
5. Eficiência: Um método livre de treinamento que incorre apenas em custos marginais de inferência em comparação com os pesados requisitos de recursos de fine-tuning ou retreinamento.

4. Resultados Experimentais

Os autores avaliaram o PNO no dataset I2P (prompts tóxicos naturais) e no dataset Ring-a-bell (prompts adversários) utilizando o Stable Diffusion 1.5 (SD1.5) como backbone.

4.1. Redução de Toxicidade

• Dataset I2P: O PNO alcançou gerações quase 100% seguras na maioria das categorias, superando significativamente os baselines como SafeGen, SalUn, UCE e métodos de tempo de inferência como SLD e Negative Prompting.
• Robustez Adversária: No dataset Ring-a-bell, o PNO reduziu a porcentagem de toxicidade para 0.00% (métrica Q16), enquanto outros métodos tiveram dificuldades significativas, frequentemente produzindo imagens inseguras em taxas comparáveis ou superiores ao modelo base.
• Generalização: Os resultados permaneceram consistentes quando avaliados com Modelos de Linguagem-Visão (VLMs) independentes e checados com diferentes classificadores de segurança (MHSC), descartando o reward hacking contra um único avaliador.

4.2. Qualidade e Alinhamento

• Score CLIP: O PNO manteve altos scores CLIP (alinhamento texto-imagem), demonstrando que a aplicação de segurança não ocorreu às custas da ignorância do prompt do usuário.
• Trade-off: As configurações do PNO (variando taxas de aprendizado) formaram uma fronteira de Pareto dominante, oferecendo trade-offs de segurança-alinhamento melhores do que qualquer outro método avaliado.
• Eficiência: O PNO atingiu gerações seguras dentro de 3 iterações (menos de 20 segundos) para mais de 60% dos prompts. Não requer dados de treinamento adicionais ou fine-tuning do modelo, operando efetivamente em GPUs de consumo.

4.3. Estudos de Ablação

• Conjunto vs. Único: A otimização conjunta de ruído e prompt superou significativamente a otimização de apenas um componente, alcançando toxicidade próxima de zero com alinhamento razoável e menos iterações.
• Inicialização: A busca aleatória pela trajetória de ruído inicial melhorou o desempenho em todas as métricas.
• Tamanho do Passo (Step Size): Passos maiores minimizaram a toxicidade mais rapidamente, enquanto passos menores priorizaram o alinhamento, oferecendo flexibilidade para diferentes prioridades do usuário.

5. Significância e Alegações

O artigo afirma que o PNO representa um passo significativo para tornar os modelos de difusão T2I confiáveis. Sua principal significância reside em:

• Segurança Livre de Treinamento: Oferece uma solução prática e implantável que não exige os custos proibitivos de retreinar ou fazer fine-tuning de grandes modelos.
• Robustez: Aborda a vulnerabilidade crítica dos sistemas atuais a ataques adversários, fornecendo um mecanismo de defesa difícil de contornar.
• Otimização Equilibrada: Resolve o conflito entre segurança e utilidade ao aproveitar o controle ortogonal proporcionado pelas trajetórias de ruído e pelos embeddings de prompt, alcançando um nível de preservação de alinhamento que intervenções de segurança anteriores não conseguiram.

Os autores concluem que o PNO tem o potencial de se tornar um padrão para a geração segura de imagens, com trabalhos futuros focados na otimização da velocidade de inferência e no desenvolvimento de funções de objetivo mais robustas para avaliação de segurança.