Resumo Técnico: Nenhuma Dose Segura: Como os Dados de Treinamento Impulsionam a Geração de Imagens Inseguras

Declaração do Problema

Os modelos generativos de texto para imagem (T2I) são treinados em conjuntos de dados massivos, frequentemente não curados, que inevitavelmente contêm conteúdo inseguro (por exemplo, violência, material sexual, imagens de ódio). Embora intervenções reativas como filtragem de prompts e RLHF sejam comuns, uma questão fundamental a montante permanece sem resolução: Em que medida a composição dos dados de treinamento impulsiona diretamente a segurança da saída do modelo?

A literatura atual carece de uma análise controlada que isole a composição dos dados de treinamento de outras variáveis de confusão (como conjuntos de dados proprietários, arquiteturas variadas e hiperparâmetros). Além disso, não está claro se a proporção de imagens inseguras ou a contagem absoluta é a variável operacional que impulsiona a geração insegura. Adicionalmente, a extensão na qual a filtragem de segurança degrada a qualidade da imagem permanece um assunto de debate.

Metodologia

Os autores conduziram um experimento controlado rigoroso para isolar a composição do conjunto de dados como a variável chave.

Desenho Experimental

• Arquitetura do Modelo: Um modelo fixo de fluxo de correspondência de texto para imagem (PRX-1.2B) foi utilizado em todas as condições.
• Dados de Treinamento: Corpos de texto foram montados a partir de três fontes públicas (gerados pelo FLUX, FLUX-Reason, Midjourney-v6).
• Família de Intervenções: A distribuição de treinamento foi manipulada para criar sete condições distintas que variavam em:
  1. Proporção de Contaminação ($p$): Variando de 0% a ~9,6% de imagens inseguras.
  2. Escala do Conjunto de Dados ($N$): Variando de 100 mil a 8,6 milhões de imagens.
  3. Contagem Absoluta ($U$): As condições foram projetadas para manter $U$ constante enquanto variava $p$, e vice-versa.
• Ablação do Codificador de Texto: Para isolar a contribuição do modelo de condicionamento, os autores re-treinaram modelos usando três codificadores de texto diferentes: T5-Gemma-2B (padrão), CLIP ViT-L/14 e SafeCLIP ViT-L/14.
• Protocolo de Avaliação:
  • Geração: 30.000 imagens geradas por modelo a partir de um banco de testes de prompts estratificado (1.000 prompts seguros, 9.000 prompts adversariais em 9 categorias de segurança).
  • Classificação de Segurança: As saídas foram avaliadas por quatro classificadores de segurança independentes (LlavaGuard, LlamaGuard, ShieldGemma, Verificador de Segurança do Stable Diffusion).
  • Métricas de Qualidade: FID, CLIPscore e ImageReward foram computados para avaliar compensações de qualidade.

Principais Contribuições

1. Vínculo Causal Estabelecido: O artigo fornece uma análise controlada demonstrando uma relação causal direta e monótona entre a proporção de dados de treinamento inseguros e a taxa de geração de imagens inseguras.
2. Proporção vs. Contagem: Através de um desenho fatorial, os autores provam que a proporção de imagens inseguras é a variável operacional, não a contagem absoluta. A filtragem de segurança mostrou-se invariante à escala acima de um tamanho mínimo de conjunto de dados (~1 milhão de imagens).
3. Especificidade Adversarial: O efeito de geração insegura é exclusivamente adversarial. Sob prompts seguros, todos os modelos produzem aproximadamente 1% de saídas inseguras, independentemente dos níveis de contaminação. A curadoria de dados visa especificamente a superfície de ataque adversarial.
4. Teto de Segurança Irredutível: Mesmo com 0% de imagens de treinamento inseguras, uma linha de base de saídas inseguras persiste (16,6% com T5-Gemma). Este "teto" é atribuído ao pré-treinamento do codificador de texto congelado em dados de escala web. A substituição do codificador por SafeCLIP reduz este teto para 9,6%.
5. Custo de Qualidade Zero: A filtragem de segurança não incorre em degradação mensurável na qualidade da imagem (FID, CLIPscore, ImageReward) em comparação com as linhas de base não filtradas.

Principais Resultados

Relação Dose-Resposta

• Aumento Monótono: A insegurança da saída aumenta monotonicamente com a contaminação de treinamento.
  • 0% de contaminação (C1): 16,6% de saídas inseguras.
  • 1,2% de contaminação (C0, natural): 20,6% de saídas inseguras.
  • 5% de contaminação (C2): 25,5% de saídas inseguras.
  • 9,6% de contaminação (C3): 26,4% de saídas inseguras.
• Amplificação: O modelo amplifica significativamente o sinal de entrada; 1,2% de contaminação de treinamento resulta em um aumento de 17 vezes nas saídas inseguras (20,6%).
• Sublinearidade: A relação é sublinear (saturando), sugerindo retornos marginais decrescentes à medida que a contaminação aumenta.

Proporção vs. Contagem Absoluta

• Invariância de Escala: Modelos treinados em 1 milhão de imagens com 1,2% de contaminação (C4) e 8 milhões de imagens com 1,2% de contaminação (C0) não mostraram diferença estatisticamente significativa no desempenho de segurança.
• Controle de Contagem: Ao manter o número absoluto de imagens inseguras constante (96 mil) mas variando a proporção (1,2% em C0 vs. 9,6% em C6), o modelo com a proporção mais alta (C6) produziu significativamente mais saídas inseguras (26,2% vs. 20,6%).

Impacto do Codificador de Texto

• Teto Irredutível: Com dados filtrados (0% de contaminação), as taxas de insegurança foram:
  • T5-Gemma: 16,6%
  • CLIP: 14,7%
  • SafeCLIP: 9,6%
• Persistência do Efeito: O efeito dose-resposta persistiu em todos os três codificadores, confirmando que conceitos inseguros são aprendidos a partir da distribuição visual de treinamento independentemente do codificador de texto, embora o codificador defina o risco de base.

Sensibilidade por Categoria

• Visual vs. Contextual: Categorias que exigem conhecimento visual específico (O3: Conteúdo Sexual, O4: Nudez) mostraram a maior sensibilidade à contaminação de treinamento.
• Categorias Contextuais: Categorias que dependem de interpretação contextual (O1: Ódio, O7: Autolesão) mostraram tendências não monótonas e foram menos sensíveis à contaminação de dados visuais, sugerindo domínio pelo codificador de texto.

Qualidade e Robustez

• Métricas de Qualidade: Nenhuma degradação sistemática foi observada em FID, CLIPscore ou ImageReward em qualquer condição.
• Consistência dos Classificadores: O perfil dose-resposta foi consistente em todos os quatro classificadores de segurança independentes, apesar das diferenças em sua rigorosidade de classificação absoluta.

Significado e Alegações

O artigo estabelece que a curadoria de dados e a segurança do codificador de texto são intervenções complementares e independentemente eficazes.

• Para Praticantes: Os autores propõem uma estratégia em camadas:

  1. Filtrar uma fração fixa de conteúdo de treinamento inseguro (eficaz independentemente do tamanho do corpus, sem custo de qualidade).
  2. Substituir codificadores de texto padrão por variantes alinhadas à segurança (por exemplo, SafeCLIP) para reduzir o teto de segurança irredutível.
  3. Investir em defesas contra prompts adversariais para abordar o risco residual não coberto por intervenções de dados ou codificadores.

• Implicações Teóricas: As descobertas desafiam o paradigma de escalonamento "quanto maior, melhor" em relação à segurança, sugerindo que, sem abordar a composição de dados e a segurança do codificador, o aumento da capacidade do modelo pode levar a taxas mais altas de geração insegura (como observado na Fig. 1 através de gerações de modelos).

• Limitações e Escopo: Os autores afirmam explicitamente que sua definição de "inseguro" é operacional, baseada em classificadores automatizados e uma taxonomia de nove categorias. Não constitui uma avaliação legal de conteúdo ilegal (por exemplo, CSAM, NCII). O estudo foca na dinâmica de pré-treinamento; embora tenham observado que o Ajuste Fino Supervisionado (SFT) em dados seguros possa paradoxalmente aumentar as taxas de insegurança (provavelmente devido a ganhos de capacidade), o foco principal permanece no vínculo causal entre a composição dos dados de pré-treinamento e a segurança da saída.