When Safety Collides: Resolving Multi-Category Harmful Conflicts in Text-to-Image Diffusion via Adaptive Safety Guidance

O artigo propõe o CASG, uma estrutura de segurança sem treinamento que resolve conflitos entre múltiplas categorias de conteúdo nocivo em modelos de difusão texto-para-imagem, identificando dinamicamente a categoria de risco predominante e aplicando direções de segurança específicas para reduzir significativamente a taxa de geração de conteúdo prejudicial.

O essencial

Imagine que você tem um chef de cozinha extremamente talentoso (o modelo de IA) que pode cozinhar qualquer prato do mundo apenas ouvindo o que você pede. Se você disser "faça um bolo de chocolate", ele faz um bolo lindo. Se você pedir "faça um bolo de chocolate com veneno", ele, por ser muito obediente e ter aprendido com a internet inteira, pode tentar misturar o veneno no bolo.

Para evitar isso, os cientistas criaram um inspetor de segurança (os métodos atuais de segurança). A ideia do inspetor é simples: ele tem uma lista de coisas proibidas (como "veneno", "armas", "conteúdo sexual explícito"). Se o pedido do chef se aproximar dessas coisas, o inspetor empurra a receita para longe, para uma zona segura.

O Problema: A Confusão dos Inspectores

O artigo "Quando a Segurança Colide" descobre um grande problema nessa abordagem: o que acontece quando o pedido é complicado e envolve várias categorias proibidas ao mesmo tempo?

Imagine que o inspetor tem várias "bússolas" diferentes, uma para cada tipo de proibição:

• Uma bússola aponta para longe de violência.
• Outra aponta para longe de conteúdo sexual.
• Outra aponta para longe de ódio.

O problema atual: Os métodos antigos pegam todas essas bússolas, amarram as pontas e tentam empurrar o chef na direção da "média" de todas elas.

• A Metáfora do Carro: Imagine que você está dirigindo um carro. O passageiro da esquerda grita: "Vire para a esquerda (saia da zona de violência)!" e o passageiro da direita grita: "Vire para a direita (saia da zona de conteúdo sexual)!" Se você tentar seguir a "média" dos dois, o carro vai ficar travado no meio, ou pior, vai começar a girar em círculos e acabar indo para o lugar errado.
• O Resultado: Ao tentar proteger contra tudo ao mesmo tempo, o sistema fica confuso. Ele pode acabar não protegendo nada direito, ou pior, empurrar a imagem para uma zona de perigo que ele não pretendia. Isso é o que os autores chamam de "Conflito Prejudicial".

A Solução: O CASG (O Inspetor Inteligente)

Os autores propõem uma nova solução chamada CASG (Guia de Segurança Adaptativa Consciente de Conflitos). Em vez de usar todas as bússolas ao mesmo tempo, o CASG funciona como um inspetor muito esperto e dinâmico.

Aqui está como ele funciona, passo a passo:

1. Observação em Tempo Real: Enquanto a imagem está sendo criada (pouco a pouco, como desenhar um quadro), o CASG olha para o que está acontecendo. Ele pergunta: "O que é mais perigoso neste exato momento?"
2. Identificação do Inimigo Principal: Se o pedido é sobre "mulheres nuas", o CASG percebe que a bússola de "conteúdo sexual" é a única que importa agora. Ele ignora a bússola de "violência" ou "ódio", porque elas não fazem sentido para aquele pedido específico.
3. Ação Focada: Ele usa apenas a bússola correta para empurrar a imagem para a segurança.

A Analogia da Luz de Sinal:

• Método Antigo: É como ter um semáforo com todas as luzes (vermelho, amarelo, verde) piscando ao mesmo tempo. O motorista fica confuso e não sabe o que fazer.
• Método CASG: É como um semáforo inteligente que só acende a luz vermelha exatamente quando você precisa parar, e fica verde quando é seguro. Ele sabe qual é a regra certa para o momento certo.

Por que isso é importante?

1. Funciona sem reescrever o cérebro: O CASG não precisa "reeducar" o chef de cozinha (o modelo de IA). Ele é um "plug-and-play", ou seja, você conecta, e ele funciona imediatamente.
2. Mais Seguro: Os testes mostraram que, ao evitar essa confusão de bússolas, o CASG consegue reduzir drasticamente a quantidade de imagens ruins que saem (até 15% a menos que os métodos atuais).
3. Não estraga o bom: O grande medo de adicionar segurança é que a IA comece a fazer imagens ruins de coisas boas (como um cachorro que parece um monstro). O CASG é tão focado que ele protege o que é perigoso sem estragar o que é inocente.

Resumo em uma frase

O CASG é como um guarda de trânsito que para de gritar todas as regras ao mesmo tempo e, em vez disso, olha para a situação específica e dá a única ordem necessária para manter o trânsito seguro, evitando que o carro bata em nada por estar confuso com instruções contraditórias.

Resumo técnico

---

1. O Problema: Conflitos Prejudiciais (Harmful Conflicts)

Os modelos de difusão Texto-para-Imagem (T2I) geram imagens de alta qualidade, mas apresentam riscos significativos de gerar conteúdo nocivo (ódio, violência, sexualidade explícita, atividades ilegais). Métodos existentes de orientação de segurança (safety-guidance) tentam mitigar isso desviando a geração de "zonas nocivas" no espaço latente ou textual, baseando-se em palavras-chave predefinidas.

No entanto, o artigo identifica um problema crítico e anteriormente negligenciado: Conflitos Prejudiciais (Harmful Conflicts).

• A Falha Atual: Métodos tradicionais (como SLD e SAFREE) tratam múltiplas categorias de dano de forma agnóstica, concatenando todas as palavras-chave nocivas em um único conjunto e derivando uma única direção de segurança agregada.
• A Hipótese Errada: Assume-se que diferentes tipos de dano são compatíveis e que agregar mais categorias resulta em segurança mais abrangente.
• A Realidade: Cada categoria nociva define sua própria direção de segurança no espaço de geração. Quando essas direções heterogêneas são forçadas a se fundir em uma única orientação, ocorrem dois fenômenos degradantes:
  1. Inconsistência Direcional (Misalignment): As direções de segurança de diferentes categorias podem apontar para orientações opostas ou incompatíveis. Aplicar a direção de "ódio" a um prompt sobre "sexualidade" pode, ironicamente, empurrar a geração para uma zona ainda mais perigosa, aumentando a taxa de conteúdo nocivo.
  2. Atenuação Direcional (Averaging): A agregação de múltiplas direções faz com que elas se cancelem parcialmente. A força da orientação de segurança específica para uma categoria é diluída, resultando em uma proteção mais fraca do que se apenas a categoria correta fosse aplicada.

O resultado é que métodos atuais, ao tentarem cobrir todas as categorias simultaneamente, muitas vezes degradam a segurança geral em vez de melhorá-la.

2. Metodologia: CASG (Conflict-aware Adaptive Safety Guidance)

Para resolver esses conflitos, os autores propõem o CASG, um framework livre de treinamento (training-free) e plug-and-play que identifica dinamicamente e aplica a direção de segurança mais relevante durante o processo de geração.

O CASG consiste em dois componentes principais:

A. Identificação de Categoria Consciente de Conflito (CaCI)

Em vez de usar todas as categorias simultaneamente, o CaCI identifica qual categoria nociva está mais alinhada com o estado evolutivo da geração no momento atual (cada passo de tempo timestep do processo de difusão).

• No Espaço Latente (ex: SLD): Calcula a similaridade de cosseno entre a orientação de segurança de cada categoria nociva e a orientação de segurança do prompt original. A categoria com a maior similaridade (menor ângulo) é selecionada como a dominante.
• No Espaço de Texto (ex: SAFREE): Calcula o resíduo após a projeção ortogonal do embedding do prompt em relação aos subespaços nocivos de cada categoria. A categoria que deixa o menor resíduo (indicando que o prompt está mais alinhado com aquele subespaço nocivo) é selecionada.

B. Aplicação de Orientação de Resolução de Conflito (CrGA)

Uma vez identificada a categoria dominante, o CrGA aplica a correção de segurança exclusivamente ao longo dessa direção específica.

• Isso evita a agregação de direções conflitantes.
• Garante que a orientação de segurança mantenha a força total da categoria específica, sem atenuação.
• O framework é adaptável e funciona tanto em mecanismos de espaço latente quanto em espaço de texto.

3. Principais Contribuições

1. Identificação do Problema: O artigo formaliza e demonstra empiricamente o fenômeno de "Conflitos Prejudiciais", mostrando que a agregação simples de múltiplas categorias de dano leva a inconsistências direcionais e atenuação, degradando a segurança.
2. Novo Framework (CASG): Propõe o primeiro framework livre de treinamento e plug-and-play que resolve dinamicamente esses conflitos, selecionando a orientação de segurança mais alinhada em tempo real durante a difusão.
3. Validação Abrangente: Demonstra que o problema existe tanto no espaço latente quanto no espaço textual e é robusto em diferentes modelos base (SDv1.5, SDv3) e definições de palavras-chave.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro benchmarks de segurança (I2P, T2VSafetyBench, Unsafe Diffusion, CoProv2) utilizando o modelo Stable Diffusion v1.5.

• Desempenho de Segurança: O CASG alcançou o estado da arte (SOTA) em mitigação de conteúdo nocivo.
  • O CASG+SLD reduziu a taxa de conteúdo nocivo em até 15,4% em comparação com os métodos existentes (como o SLD padrão).
  • Em benchmarks específicos, o CASG+SLD obteve taxas de dano de apenas 3,9% (CoProv2) e 9,8% (T2VSafetyBench), superando significativamente as linhas de base.
• Qualidade de Geração: O framework preservou a qualidade das imagens para prompts benignos. As métricas FID e CLIP Score permaneceram comparáveis às dos métodos base, indicando que a segurança aprimorada não compromete a fidelidade visual ou a semântica desejada.
• Comparação com LLMs: O CASG superou abordagens que utilizam Grandes Modelos de Linguagem (LLMs) para classificar o prompt antes da geração. Os LLMs falharam em prompts ambíguos e não conseguiram se adaptar às mudanças dinâmicas do conflito durante o processo de difusão, enquanto o CASG se adapta a cada timestep.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da segurança em IA generativa por várias razões:

• Mudança de Paradigma: Desafia a crença comum de que "mais categorias de bloqueio = mais segurança". Demonstra que a inteligência na seleção da direção de segurança é mais importante do que a quantidade de regras aplicadas.
• Eficiência e Praticidade: Por ser livre de treinamento e plug-and-play, o CASG pode ser integrado imediatamente em modelos existentes sem a necessidade de fine-tuning custoso ou modificação de pesos do modelo, tornando-o uma solução viável para implantação em produção.
• Robustez Dinâmica: A capacidade de identificar o conflito em tempo real durante a geração (e não apenas no prompt inicial) oferece uma proteção mais robusta contra ataques complexos e prompts ambíguos onde a intenção nociva evolui durante o processo de difusão.

Em resumo, o CASG resolve o dilema de segurança em modelos de difusão ao garantir que a orientação de segurança seja sempre coerente com a ameaça específica presente no momento da geração, eliminando os efeitos negativos da agregação cega de múltiplas categorias de risco.