TwoHamsters: Benchmarking Multi-Concept Compositional Unsafety in Text-to-Image Models

Resumo Técnico: TwoHamsters

1. O Problema: Insegurança Composicional de Múltiplos Conceitos (MCCU)

Apesar dos avanços notáveis na síntese de imagens a partir de texto (T2I), os modelos atuais ainda enfrentam desafios significativos na garantia de segurança. A literatura e as defesas existentes focam predominantemente em conceitos maliciosos explícitos (ex: nudez, violência gráfica, palavras ofensivas diretas).

O artigo identifica uma vulnerabilidade crítica e subestimada chamada Insegurança Composicional de Múltiplos Conceitos (MCCU - Multi-Concept Compositional Unsafety).

• Definição: Ocorre quando conceitos individualmente benignos e seguros, quando combinados, geram semânticas inseguras devido a associações implícitas, contextos sociais, históricos ou culturais.
• Exemplo: A combinação de "Algodão" + "Homem Negro" pode evocar estereótipos raciais históricos, embora nenhum dos conceitos isolados seja ofensivo. Da mesma forma, "Banana" + "Leite" pode criar uma insinuação sexual.
• Falha das Defesas Atuais: Filtros de segurança tradicionais e mecanismos de "apagamento de conceitos" (concept erasure) falham porque:
  1. Analisam conceitos isoladamente, ignorando a interação.
  2. Não conseguem detectar riscos que não possuem características visuais explícitas (como nudez).
  3. Tentar remover os conceitos individuais para evitar a combinação insegura degrada a utilidade do modelo para gerações seguras.

2. Metodologia e Construção do Benchmark

Para abordar essa lacuna, os autores introduzem o TwoHamsters, um benchmark abrangente e rigoroso.

• Taxonomia Hierárquica: Foi desenvolvida uma taxonomia com 10 categorias de risco principais (ex: Ódio, Assédio, Conteúdo Sexual, Político, Ilegal) e 51 pares de conceitos específicos.
• Pipeline de Construção de Dados:
  1. Coleta Dual: Combina recuperação guiada por taxonomia e expansão adversária usando Grandes Modelos de Linguagem (LLMs) para criar prompts complexos.
  2. Filtragem Rigorosa: Utiliza embeddings CLIP para garantir diversidade semântica e verificação de consistência multimodal para assegurar que os conceitos individuais sejam gerados corretamente antes da combinação.
  3. Validação Humana e IA: O conjunto de dados foi refinado com anotações de racionalidade (explicando por que a combinação é insegura) e verificação por especialistas humanos.
• Estatísticas do Dataset: O TwoHamsters contém 17.5 mil prompts curados, gerando 5.8 mil cenários de alto risco.
• Avaliadores Automatizados:
  • MCCU-ViT: Um classificador de alta vazão baseado em ViT, otimizado para avaliação quantitativa.
  • MCCU-VLM: Um modelo de linguagem visual (VLM) projetado para raciocínio qualitativo e verificação interpretável.

3. Métricas de Avaliação

O framework propõe três métricas principais para equilibrar segurança e utilidade:

1. Taxa de Defesa MCCU (MDR): Mede a capacidade do modelo/filtro de evitar a geração de conteúdo inseguro a partir de prompts compostos.
2. Retenção de Conceito Único (SCR): Avalia se os conceitos individuais (benignos) permanecem intactos após a defesa.
3. Retenção de Conceito Não-Alvo (NCR): Mede o "dano colateral" em conceitos não relacionados, garantindo que a defesa não degrade a qualidade geral da geração.

4. Resultados Principais

Os autores avaliaram 10 modelos T2I de última geração (incluindo Stable Diffusion, FLUX, SDXL) e 16 mecanismos de defesa (filtros e métodos de apagamento).

• Vulnerabilidade Crítica dos Modelos:

  • Existe um paradoxo "Instrução vs. Segurança": À medida que os modelos melhoram na aderência ao prompt (seguindo instruções complexas), tornam-se mais vulneráveis a MCCU.
  • O modelo FLUX.1 atingiu uma taxa de sucesso de geração de conteúdo inseguro (MCCU) de 99,52%, indicando quase nenhuma defesa intrínseca.
  • Modelos baseados em arquiteturas DiT (Diffusion Transformers) mostraram-se mais suscetíveis do que os baseados em U-Net.

• Falha dos Filtros de Segurança:

  • Filtros mainstream (como o verificador de segurança padrão do SD e LLaVA-Guard) falharam sistematicamente. O LLaVA-Guard obteve apenas 41,06% de recall (capacidade de detectar o risco).
  • A falha não é arquitetural, mas de dados: os filtros não foram treinados com exemplos de combinações compostas inseguras.

• Limitações do Apagamento de Conceitos (Concept Erasure):

  • Métodos existentes (ESD, UCE, KSCU, etc.) enfrentam um dilema: ou são ineficazes contra MCCU, ou, se tentam ser eficazes, causam um colapso na utilidade gerativa (degradando a capacidade de gerar conceitos benignos relacionados).
  • Isso ocorre porque os elementos constituintes de MCCU são inerentemente benignos; apagá-los destrói a base de conhecimento do modelo.

5. Contribuições Chave

1. Formalização de MCCU: Definição formal e taxonomia hierárquica para mapear riscos compostos, oferecendo uma perspectiva granular para detecção e defesa.
2. Lançamento do TwoHamsters: O primeiro benchmark robusto focado especificamente em vulnerabilidades compositivas implícitas no domínio T2I.
3. Insights Empíricos: Revelação de que as defesas atuais são inadequadas para riscos implícitos e que a otimização para qualidade de geração (aderência ao prompt) exacerbou esses riscos.
4. Direção Futura: Proposta de mudar de "apagamento de conceitos" para "desacoplamento composicional" (compositional disentanglement), focando em desassociar semanticamente os conceitos no espaço latente sem remover os conceitos base.

6. Significado e Impacto

O trabalho destaca que a segurança em IA generativa não pode depender apenas da filtragem de palavras-chave ou características visuais explícitas. A insegurança composicional representa uma nova fronteira de risco onde a inteligência artificial pode gerar conteúdo ofensivo ou perigoso sem violar regras explícitas, explorando nuances culturais e sociais.

O TwoHamsters serve como um alerta crítico para a comunidade de pesquisa: os mecanismos de alinhamento atuais são insuficientes. O futuro da segurança em T2I exige abordagens baseadas em lógica e raciocínio contextual, capazes de entender a interação entre conceitos benignos, em vez de apenas bloquear conceitos maliciosos isolados.

Aviso: O artigo contém exemplos de conteúdo ofensivo (como discurso de ódio e insinuações sexuais) utilizados estritamente para fins de avaliação de segurança e pesquisa, conforme destacado no aviso inicial do documento.