Conditioned Activation Transport for T2I Safety Steering

O artigo propõe o Conditioned Activation Transport (CAT), um novo framework que utiliza mapas de transporte não lineares e condicionamento geométrico para mitigar a geração de conteúdo tóxico em modelos de texto-para-imagem, reduzindo significativamente a taxa de sucesso de ataques sem comprometer a qualidade das imagens geradas por prompts benignos.

O essencial

Imagine que os modelos de Inteligência Artificial que criam imagens (Text-to-Image) são como artistas extremamente talentosos, mas um pouco ingênuos. Eles podem pintar qualquer coisa que você pedir, desde um gato no espaço até uma cena de um filme de terror. O problema é que, às vezes, se você pedir algo perigoso ou ofensivo (como "pintar uma cena de violência extrema"), eles obedecem sem pensar, gerando imagens que não deveriam existir.

Os pesquisadores deste artigo tentaram consertar isso. Eles queriam uma maneira de dizer ao artista: "Ei, se o pedido for perigoso, pare de pintar aquilo. Mas se for algo normal, continue pintando com a mesma qualidade."

Aqui está a explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Martelo" que Quebra Tudo

Antes, existiam métodos para "ajustar" a mente do artista. Imagine que o artista tem uma caixa de ferramentas mentais. Os métodos antigos funcionavam como um martelo gigante.

• Se você quisesse remover a violência, o martelo batia em tudo, tentando empurrar a mente do artista para longe da violência.
• O defeito: Esse martelo era tão forte e desajeitado que, ao tentar remover a violência, ele também quebrava as imagens normais. Um pedido de "um cachorro fofo" acabava gerando um rabisco sem sentido ou uma imagem distorcida. Era como tentar tirar uma mancha de grama da camisa branca usando um quebra-vidros: a mancha sai, mas a camisa fica rasgada.

2. A Solução: O "GPS Inteligente" (CAT)

Os autores criaram um novo sistema chamado CAT (Transporte de Ativação Condicionada). Em vez de um martelo, eles criaram um GPS inteligente e um guia de trânsito.

• O GPS (Mapeamento Geométrico): O sistema aprende exatamente onde a "perigo" está no mapa da mente do artista. Ele sabe que a violência não é apenas um ponto, mas uma área complexa e curvada (como uma lua crescente ou um labirinto).
• O Guia (Condicionamento): O sistema só entra em ação quando o artista está prestes a entrar nessa área de perigo. Se o artista está pintando um cachorro fofo (uma área segura), o GPS fica calmo e não interfere. Se o artista começa a pensar em violência, o GPS diz: "Pare! Vire aqui para a zona segura".
• O Transporte Não-Linear: Diferente dos métodos antigos que tentavam empurrar tudo em linha reta (o que não funciona bem em mapas curvos), o CAT usa curvas suaves para guiar a imagem de volta para a segurança, sem rasgar a tela.

3. O Mapa de Treino (SafeSteerDataset)

Para ensinar esse GPS, os pesquisadores precisavam de um mapa muito preciso. Eles criaram um banco de dados chamado SafeSteerDataset.

• A Analogia: Imagine que você quer ensinar alguém a não andar na beira de um penhasco. Você não pode apenas mostrar fotos de penhascos e fotos de praias (elas são muito diferentes). Você precisa mostrar pares de fotos quase idênticas: uma foto de uma pessoa caminhando na beira de um penhasco (seguro) e outra da mesma pessoa, no mesmo lugar, mas prestes a cair (perigoso).
• Eles criaram 2.300 desses pares, onde a única diferença é o detalhe que torna a imagem tóxica. Isso permitiu que o sistema aprendesse a diferença sutil entre o "seguro" e o "perigoso" sem confundir o resto da imagem.

4. O Resultado: Segurança sem Sacrificar a Arte

O teste foi feito em dois artistas de IA de ponta (chamados Z-Image e Infinity).

• Sem o sistema: O artista gera imagens ofensivas quando provocado.
• Com os métodos antigos: O artista para de gerar ofensas, mas as imagens normais ficam ruins (como se o artista tivesse esquecido como desenhar).
• Com o CAT (o novo método): O artista não gera imagens ofensivas, mas continua pintando imagens normais com alta qualidade e fidelidade.

Resumo Final

Pense no CAT como um filtro de segurança que é invisível para o bom comportamento, mas ativo para o mau comportamento.

• Se você pede "um gato dormindo", o filtro não faz nada. A imagem fica linda.
• Se você pede "um gato com armas", o filtro percebe que você está entrando na "zona de perigo" e, suavemente, redireciona a mente do artista para que ele desenhe apenas um gato, ignorando as armas, sem estragar o desenho do gato.

O grande avanço aqui é que eles conseguiram proteger a IA sem "quebrar" a criatividade dela para os pedidos normais, algo que os métodos anteriores não conseguiam fazer.

Resumo técnico

Resumo Técnico: Conditioned Activation Transport (CAT) para Segurança em Modelos Texto-para-Imagem

1. O Problema

Os modelos atuais de Texto-para-Imagem (T2I), apesar de suas capacidades generativas impressionantes, permanecem vulneráveis à geração de conteúdo inseguro, tóxico e ofensivo. Embora existam filtros de saída, intervenções internas durante a inferência (como o steering ou direcionamento de ativações) são promissoras. No entanto, o artigo identifica uma limitação crítica nas abordagens existentes:

• Degradação de Qualidade: Métodos de steering linear (como Activation Addition e Linear-ACT) frequentemente degradam a qualidade das imagens geradas por prompts benignos (seguros).
• Falha na Separação Linear: A suposição de que a segurança pode ser alcançada através de uma direção linear simples no espaço latente é insuficiente. As representações de toxicidade em T2I residem em subespaços não-lineares ou complexos (manifolds).
• Falta de Dados Alinhados: Não existiam conjuntos de dados que fornecessem pares de prompts seguros e inseguros com alta similaridade semântica, o que é essencial para isolar a direção exata da toxicidade sem introduzir ruído semântico.

2. Metodologia

A proposta central do trabalho é o Conditioned Activation Transport (CAT), um framework modular que opera no tempo de inferência. O método combina dois componentes principais:

A. Mapa de Transporte Não-Linear ($T_\theta$)
Diferente dos métodos lineares que aplicam uma transformação global (como uma adição de vetor ou uma transformação afim), o CAT utiliza uma Rede Neural (MLP) para aprender um mapa de transporte não-linear.

• Objetivo: Mapear as ativações da região "insegura" para a manifold "segura" de forma precisa, preservando a estrutura geométrica complexa dos dados.
• Regularização: O treinamento do MLP utiliza uma função de perda dual. Ela alinha amostras inseguras ($z_u$) com alvos seguros ($z_s$), mas penaliza fortemente qualquer alteração nas representações que já são seguras (mapeamento identidade). Isso garante que o modelo não corrompa conceitos benignos.

B. Mecanismo de Condicionamento Geométrico ($C$)
Para evitar a interferência em prompts benignos, o CAT não aplica o transporte globalmente. Em vez disso, ele utiliza uma máscara de condicionamento que decide quando aplicar o transporte.

• Abordagem Proposta: Utiliza a Distância de Mahalanobis para modelar a distribuição das ativações inseguras.
• Estimativa de Precisão: Devido à alta dimensionalidade dos dados (onde o número de amostras é menor que a dimensão latente), o método emprega um estimador de shrinkage regularizado para calcular a matriz de precisão inversa de forma estável.
• Lógica: O transporte é ativado apenas quando a ativação atual cai dentro de uma região de alta densidade da manifold insegura (definida por um limiar de quantil). Isso cria um limite de decisão elipsoidal mais preciso do que as caixas delimitadoras (bounding boxes) usadas em métodos anteriores.

C. Pipeline de Dados: SafeSteerDataset
Para treinar esses mapas, os autores criaram o SafeSteerDataset:

• Estrutura: 2.300 pares contrastivos (seguro vs. inseguro) organizados em 23 subcategorias de toxicidade (ex: ódio, violência, nudez, atividades ilegais).
• Critério de Qualidade: Os pares foram filtrados para garantir uma alta similaridade cosseno (> 0.7), garantindo que a única diferença significativa seja o elemento tóxico, permitindo o isolamento preciso da direção de segurança.

3. Contribuições Principais

1. SafeSteerDataset: Um novo conjunto de dados contrastivo de alta fidelidade, essencial para treinar direções de segurança precisas sem viés semântico.
2. Framework CAT: A introdução de um método que combina transporte não-linear (MLP) com condicionamento geométrico baseado em distância de Mahalanobis. Isso resolve o compromisso (trade-off) entre segurança e qualidade da imagem.
3. Validação Abrangente: A primeira validação extensiva de steering de segurança em duas arquiteturas de ponta distintas:
   • Z-Image: Um modelo de difusão latente baseado em Transformer (S3-DiT).
   • Infinity: Um modelo generativo autoregressivo de alta resolução.

4. Resultados Experimentais

Os experimentos demonstraram que o CAT supera significativamente os métodos de base (baselines) como ActAdd e Linear-ACT:

• Redução da Taxa de Sucesso de Ataque (ASR): O CAT reduziu drasticamente a ASR (de ~34% para ~7% no Z-Image e de ~32% para ~5% no Infinity), indicando uma eficácia superior na remoção de conteúdo tóxico.
• Preservação da Fidelidade (CLIP Score): Enquanto métodos lineares frequentemente destruíam a coerência da imagem (reduzindo o CLIP score para valores próximos de 0.10 ou 0.00, gerando ruído), o CAT manteve pontuações CLIP altas (acima de 0.30), preservando a semântica e a qualidade visual dos prompts benignos.
• Generalização: O método funcionou consistentemente bem em ambas as arquiteturas (Difusão e Autoregressiva) e em todas as categorias de toxicidade testadas.
• Análise de Modalidades: A intervenção simultânea nos componentes de Texto e Visão produziu os melhores resultados, sugerindo que a segurança em T2I é um fenômeno multimodal que requer intervenção em toda a arquitetura.
• Validação Geométrica: Experimentos com dados sintéticos mostraram que métodos lineares falham em manifolds não-convexos (formato de lua crescente) ou multimodais, enquanto o transporte não-linear do CAT consegue mapear corretamente essas estruturas complexas.

5. Significância e Conclusão

O trabalho é significativo porque desafia a visão de que a segurança em modelos generativos pode ser resolvida apenas com intervenções lineares simples. Ao demonstrar que a "toxicidade" em T2I possui uma geometria complexa e não-linear, o CAT oferece uma solução que:

1. Elimina o compromisso Segurança vs. Qualidade: Permite remover conteúdo perigoso sem sacrificar a utilidade do modelo para prompts normais.
2. É Arquitetura-Agnóstica: Funciona eficazmente em diferentes tipos de modelos de geração de imagem.
3. Fornece Ferramentas Reprodutíveis: A liberação do SafeSteerDataset e do código permite que a comunidade científica desenvolva e avalie métodos de segurança mais robustos.

Em suma, o CAT representa um avanço crucial na direção de modelos de IA generativa mais seguros, onde a intervenção de segurança é precisa, condicional e geometricamente informada, evitando a "amnésia" ou a degradação visual que caracterizavam as abordagens anteriores.