Resumo Técnico: Prompting4Debugging (P4D)

Declaração do Problema

Modelos de difusão de texto para imagem (T2I), como o Stable Diffusion (SD), demonstraram capacidades generativas notáveis, mas enfrentam preocupações crescentes em relação ao uso indevido dessas tecnologias para produzir conteúdo protegido por direitos autorais ou Não Seguro para o Trabalho (NSFW). Embora vários mecanismos de segurança tenham sido desenvolvidos — incluindo prompts negativos, Safe Latent Diffusion (SLD) e Erasing Concepts from Diffusion models (ESD) — sua confiabilidade contra prompts problemáticos diversos e sofisticados permanece amplamente inexplorada. Avaliações existentes frequentemente dependem de benchmarks limitados e curados manualmente, o que pode levar a uma falsa sensação de segurança. Além disso, abordagens tradicionais de red-teaming que dependem da descoberta manual de prompts de jailbreak não escalam, e o ajuste fino (fine-tuning) de modelos para red-teaming é computacionalmente proibitivo dado os massivos tamanhos de parâmetros dos modelos de difusão modernos.

Metodologia

Os autores propõem o Prompting4Debugging (P4D), um framework de red-teaming automatizado projetado para identificar sistematicamente prompts "evasivos à segurança" para modelos de difusão T2I equipados com mecanismos de segurança. O P4D utiliza engenharia de prompt em vez de fine-tuning de modelo, alavancando um modelo T2I sem restrições (padrão) ($G$) e um modelo equipado com segurança ($G'$) para otimizar prompts no espaço latente.

O processo central de otimização envolve três etapas sequenciais:

1. Geração: Um modelo sem restrições $G$ gera uma imagem $x$ contendo um conceito inapropriado $C$ a partir de um prompt original $P$. A representação latente $z = E(x)$ e um vetor latente ruidoso intermediário $z_t$ são extraídos.
2. Otimização do Espaço Latente: O objetivo é encontrar um prompt modificado $P^*$ tal que o modelo equipado com segurança $G'$, quando condicionado em $P^*$, gere uma imagem $x^*$ similar a $x$ (e, portanto, contendo $C$), contornando efetivamente o mecanismo de segurança de $G'$.
3. Função Objetivo: A otimização minimiza a diferença entre as previsões de ruído dos dois modelos no passo de tempo $t$:
   $$L = \|\epsilon_\theta(z_t, W(P), t) - \epsilon_{\theta'}(z_t, P^*_{disc}, t)\|^2_2$$
   Aqui, $W(P)$ é o embedding fixo do prompt original, e $P^*_{disc}$ é o prompt discreto otimizado.

Para equilibrar interpretabilidade e espaço de busca, o P4D emprega duas variantes baseadas em PEZ (um método de otimização discreta):

• P4D-N: Inicializa um número fixo de tokens aprendíveis ($N$) do zero.
• P4D-K: Insere tokens aprendíveis após cada $K$ tokens do embedding do prompt original, preservando a estrutura semântica original enquanto permite a modificação.

A otimização é realizada no espaço de embedding suave contínuo, que é então projetado para tokens discretos rígidos via uma função de quantização, permitindo que os prompts resultantes sejam legíveis e transferíveis.

Principais Contribuições

1. Ferramenta de Red-Teaming Automatizada: O P4D serve como uma ferramenta de depuração que descobre automaticamente prompts evasivos à segurança para modelos de difusão T2I, oferecendo uma alternativa escalável ao red-teaming manual.
2. Descoberta de Vulnerabilidades: Experimentos extensos no dataset Inappropriate Image Prompts (I2P) revelam que aproximadamente metade dos prompts originalmente considerados "seguros" por benchmarks existentes podem ser manipulados pelo P4D para contornar mecanismos de segurança implantados (incluindo ESD, SLD e prompts negativos).
3. Fenômeno de Ofuscação de Informação: Os autores identificam um problema crítico onde filtros de segurança em modelos baseados em guidance (como SLD e SD-NEGP) criam uma "falsa sensação de segurança". Esses filtros obscurecem o espaço de busca de gradiente durante a otimização, tornando mais difícil encontrar vulnerabilidades. No entanto, quando esses filtros são temporariamente desativados durante a fase de depuração, o P4D consegue identificar significativamente mais prompts problemáticos que permanecem eficazes mesmo quando o filtro é reativado durante a inferência.

Resultados Experimentais

O estudo avaliou o P4D contra vários baselines (Random-N, Random-K, Shuffling, Soft Prompting) e outros métodos de otimização de prompt (Textual Inversion, PEZ) através de múltiplos mecanismos de segurança (ESD, SLD-MAX, SLD-STRONG, SD-NEGP) e categorias (Nudez, Carros, French-horns).

• Desempenho: O P4D superou significativamente todos os baselines. Para a categoria de nudez no modelo ESD, o P4D alcançou uma taxa de falha (FR) de 50,65% (P4D-N) e 47,19% (P4D-K), comparado a aproximadamente 12-27% para outros métodos. A união dos resultados de P4D-N e P4D-K (P4D-UNION) alcançou uma FR de 66,58%.
• Transferibilidade: Prompts descobertos pelo P4D demonstraram alta transferibilidade. Prompts encontrados para ESD realizaram o jailbreak de outros modelos (ex: SLD-MAX) com taxas superiores a 60%. Além disso, prompts universais gerados pelo P4D foram capazes de contornar mecanismos de segurança em modelos de código fechado como Midjourney (30,70% FR) e SDXL (56,14% FR), embora o DALL-E 3 tenha mostrado uma resistência mais robusta.
• Eficiência: O P4D é computacionalmente eficiente, exigindo aproximadamente 20-30 minutos por prompt, comparado às horas exigidas por métodos de caixa-preta como o Advprompt.

Significância e Alegações

O artigo argumenta que as avaliações atuais de segurança de modelos T2I, que frequentemente dependem de benchmarks de prompting seguro limitados, são insuficientes e podem levar a uma falsa sensação de segurança. Os autores enfatizam que, sem testes abrangentes usando ferramentas como o P4D, os desenvolvedores podem negligenciar vulnerabilidades críticas.

A significância deste trabalho reside em:

• Defesa Proativa: Fornecer aos desenvolvedores uma ferramenta para inspecionar sistematicamente a segurança e a confiabilidade do modelo antes da implantação.
• Compreensão do Comportamento Indesejado: Os prompts problemáticos descobertos servem como referências para entender o comportamento indesejado do modelo e construir mecanismos de segurança mais fortes e robustos.
• Destaque da Ofuscação: A descoberta de "ofuscação de informação" sugere que os filtros de segurança atuais podem inadvertidamente esconder vulnerabilidades em vez de neutralizá-las verdadeiramente, necessitando de metodologias de teste mais profundas que levem em conta esses gradientes ofuscados.

Os autores concluem que, embora o P4D opere atualmente sob uma suposição de caixa-branca (exigindo acesso tanto aos modelos sem restrições quanto aos seguros), ele destaca efetivamente a necessidade urgente de a comunidade de IA permanecer vigilante e desenvolver medidas de segurança mais abrangentes para modelos generativos.