Resumo Técnico: SafeDiffusion-R1

Declaração do Problema

Modelos de difusão texto-para-imagem (T2I), treinados em dados web em larga escala, democratizaram a geração de conteúdo visual, mas internalizaram inadvertidamente associações inseguras e explícitas. As intervenções de segurança existentes enfrentam limitações significativas:

1. Escassez de Dados e Custo: Métodos que dependem de ajuste fino supervisionado (SFT) ou aprendizado por reforço (RL) offline exigem conjuntos de dados caros e curados de pares imagem-texto seguros/inseguros ou pares de imagens negativos/positivos, que são difíceis de escalar.
2. Esquecimento Catastrófico: Abordagens offline que geram dados sintéticos ou dependem de conjuntos de dados fixos frequentemente sofrem de esquecimento catastrófico, degradando as capacidades generativas gerais do modelo e a qualidade composicional.
3. Supervisão Estática: Paradigmas atuais (SFT e RL offline) otimizam contra exemplos fixos ou dados pré-gerados. Eles falham em adaptar seus sinais de treinamento ao comportamento generativo em evolução do modelo, tornando-se insuficientes para rastrear e suprimir conteúdo inseguro que emerge dinamicamente durante o treinamento.
4. Sobrecarga do Modelo de Recompensa: Muitos métodos de alinhamento de segurança exigem o treinamento ou ajuste fino de modelos de recompensa especializados para classificar imagens como seguras ou inseguras, introduzindo sobrecarga computacional adicional.

Metodologia

Os autores propõem o SafeDiffusion-R1, um framework de aprendizado por reforço online projetado para alinhar modelos de difusão com restrições de segurança sem dados pareados supervisionados ou ajuste fino de modelos de recompensa especializados. O framework integra dois componentes principais:

1. Otimização de Política Online via GRPO

O método emprega Otimização de Política Relativa em Grupo (GRPO) como algoritmo de treinamento. Diferentemente do PPO padrão ou RL offline, o GRPO opera on-policy:

• Amostragem Dinâmica: O modelo gera continuamente amostras de imagens a partir de prompts benignos e inseguros durante o treinamento.
• Vantagem Baseada em Grupo: Para cada prompt, $K$ amostras independentes são geradas. As vantagens são normalizadas dentro do grupo ($A_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_i + \delta}$) em vez de globalmente. Isso mitiga discrepâncias na escala de recompensa entre prompts benignos e inseguros, prevenindo correções excessivas e garantindo atualizações estáveis em relação à distribuição da política atual.
• Aprendizado On-Policy: Ao acoplar a otimização de segurança com a distribuição de amostragem em evolução do modelo, o método evita incompatibilidade de distribuição e preserva as capacidades generativas gerais enquanto desaprende progressivamente conceitos inseguros.

2. Recompensa de Direcionamento Consciente de Geometria

Para eliminar a necessidade de um classificador seguro/inseguro separado ou modelo de recompensa, os autores introduzem um mecanismo de recompensa de direcionamento que explora as propriedades geométricas dos embeddings do CLIP:

• Vetor de Direção de Segurança ($v_{safe}$): Um vetor unitário é computado no espaço de embeddings de texto como a diferença normalizada entre os embeddings médios de um pequeno conjunto de âncoras de texto seguras ($T_{safe}$) e âncoras de texto inseguras ($T_{unsafe}$):
  $$v_{safe} = \frac{\bar{z}_{safe} - \bar{z}_{unsafe}}{\|\bar{z}_{safe} - \bar{z}_{unsafe}\|_2}$$
• Direcionamento Condicional: Para um prompt de entrada $c$, o embedding de texto $z_T$ é projetado sobre $v_{safe}$. Se o prompt for identificado como inseguro (projeção negativa), o embedding é geometricamente direcionado para a direção segura:
  $$z'_T = \text{normalize}(z_T + \alpha v_{safe})$$
  onde $\alpha$ é um hiperparâmetro de força de direcionamento.
• Cálculo da Recompensa: A recompensa é calculada como a similaridade de cosseno entre o embedding da imagem ($z_I$) e o embedding de texto direcionado ($z'_T$) para prompts inseguros, ou o embedding de texto original para prompts seguros. Isso remodela o sinal de otimização para incentivar o alinhamento com atributos semânticos seguros sem penalizar explicitamente o modelo por "entender" o prompt inseguro.

Contribuições Principais

1. Formulação de Política Online: O artigo formula o alinhamento de segurança para modelos de difusão T2I como um problema de otimização de política online, introduzindo um framework baseado em GRPO que acopla a aprendizagem de segurança com a distribuição generativa em evolução do modelo para prevenir o esquecimento catastrófico.
2. Mecanismo de Recompensa de Direcionamento: Uma recompensa nova e consciente de geometria é proposta que representa a segurança como uma direção no espaço de embeddings do CLIP. Isso permite a supressão de conceitos sem treinar modelos de recompensa seguros/inseguros dedicados ou depender de dados pareados supervisionados.
3. Validação Empírica: Experimentos extensivos demonstram que o framework supera o ajuste fino supervisionado e métodos de alinhamento offline em benchmarks de segurança, ao mesmo tempo em que preserva ou melhora a qualidade da geração composicional.

Resultados Experimentais

O método foi avaliado no Stable Diffusion v1.4 usando o benchmark I2P (detecção de nudez) e GenEval (utilidade composicional).

• Desempenho de Segurança:
  • Detecção de Nudez: O SafeDiffusion-R1 reduziu as detecções de nudez para 15 (comparado a 646 para o SD v1.4 de linha de base e 66 para a linha de base RECE).
  • Conteúdo Inadequado: O método reduziu a taxa geral de conteúdo inadequado para 18,07% (vs. 48,9% para o SD v1.4). Notavelmente, alcançou forte desempenho em sete categorias de dano (Ódio, Assédio, Violência, Autolesão, Sexual, Chocante, Atividade Ilegal) apesar de ter sido treinado principalmente em prompts focados em nudez, demonstrando forte generalização Fora de Distribuição (OOD).
• Preservação de Utilidade:
  • Qualidade Composicional: Diferentemente de linhas de base que degradam a utilidade, o SafeDiffusion-R1 melhorou a pontuação GenEval de 42,08% (SD v1.4) para 47,83%.
  • Fidelidade Visual: A análise qualitativa mostra que o modelo preserva a integridade estrutural, detalhes faciais e consistência de iluminação, evitando a distorção, suavização excessiva ou incoerência semântica observada em métodos como EraseDiff ou ESD.
  • Pontuação CLIP: O modelo manteve pontuações CLIP-T próximas à linha de base (0,311 vs. 0,313), indicando preservação da aderência às instruções.

Significado e Alegações

O artigo alega que o SafeDiffusion-R1 aborda o compromisso crítico entre segurança e utilidade em modelos de difusão. Ao utilizar GRPO online e direcionamento geométrico, a abordagem:

• Elimina Dependências de Dados: Remove a necessidade de conjuntos de dados supervisionados de segurança curados e caros.
• Evita Sobrecarga do Modelo de Recompensa: Contorna o custo computacional de treinar classificadores de recompensa especializados.
• Garante Estabilidade: A formulação on-policy e a normalização relativa ao grupo previnem o esquecimento catastrófico e o colapso de distribuição.
• Generaliza Robustamente: O método alcança desempenho de segurança state-of-the-art que generaliza para prompts inseguros OOD em diversas categorias de dano, mesmo quando treinado em um conjunto restrito de conceitos inseguros.

Os autores posicionam este trabalho como uma estratégia prática para modificação pós-treinamento que ajusta diretamente modelos pré-treinados para suprimir conceitos inseguros sem retreinamento do zero, permanecendo compatível com sistemas lançados publicamente como o Stable Diffusion.