💻 computer science

TEA: Text Encoder Alignment for Robust Concept Erasure in Text-to-Image Models

O artigo propõe o TEA, um framework leve e agnóstico ao modelo que alcança a eliminação robusta de conceitos em modelos de texto para imagem ao ajustar o codificador de texto para alinhar prompts contendo conceitos com âncoras seguras, eliminando assim vulnerabilidades adversárias sem sobrecarga no tempo de inferência ou degradação da qualidade de geração benigna.

Autores originais: Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores podem pintar quadros a partir de nada além de uma frase. Você digita "um gato sentado em um telhado iluminado pelo luar" e uma máquina, treinada em milhões de imagens e legendas, cria uma cena realista e deslumbrante em segundos. Esta tecnologia, conhecida como modelo de texto para imagem, abriu portas para artistas e designers, transformando a imaginação em realidade visual. No entanto, esse mesmo poder carrega um risco. Assim como um falsificador habilidoso pode imitar um estilo, um usuário astuto pode enganar esses computadores para criar imagens prejudiciais ou inapropriadas usando instruções sutis e refraseadas que burlam os filtros de segurança integrados ao sistema. O computador vê as palavras, mas perde a intenção, gerando conteúdo que nunca deveria ser visto.

Por anos, cientistas tentaram corrigir isso ensinando o computador a esquecer ideias ruins específicas, um processo chamado de apagamento de conceito. Alguns métodos tentam remover os dados ruins antes que o computador aprenda, enquanto outros tentam impedir que as imagens ruins apareçam apenas no momento em que estão sendo feitas. Mas essas soluções geralmente têm um porém: ou são lentas demais para serem úteis em grande escala, ou tornam o computador pior em desenhar boas imagens, ou exigem um poder computacional constante e pesado toda vez que alguém pede uma imagem. O objetivo sempre foi encontrar uma maneira de remover permanentemente a capacidade de criar conteúdo prejudicial sem desacelerar a máquina ou arruinar seu talento artístico.

Uma equipe de pesquisadores propôs agora uma nova abordagem que aborda este problema mudando a forma como o computador entende a linguagem, em vez de como ele pinta. Eles chamam seu método de TEA, que significa Alinhamento de Codificador de Texto (Text Encoder Alignment). Nestes sistemas de criação de imagens, existem duas partes principais trabalhando juntas. A primeira parte é o codificador de texto, que atua como um tradutor, transformando sua frase escrita em um conjunto de números que o computador pode entender. A segunda parte é o núcleo generativo (generative backbone), que pega esses números e realmente desenha a imagem. As tentativas anteriores de interromper imagens ruins envolviam ajustar a parte do desenho, o que é como tentar consertar um vazamento em uma casa pintando sobre as paredes; é desajeitado e muitas vezes ineficaz porque o problema reside em como as instruções foram traduzidas em primeiro lugar.

Os pesquisadores perceberam que a chave para interromper imagens prejudiciais reside no tradutor. Eles descobriram que a capacidade do computador de reconhecer um conceito ruim específico, como a nudez, está concentrada no codificador de texto. Para corrigir isso, eles criaram um processo de treinamento que ajusta apenas este tradutor, deixando a parte do desenho completamente intocada. Eles começaram com um par de frases: uma que continha a ideia prejudicial, como "uma mulher nua em uma floresta", e outra quase idêntica, mas segura, como "uma mulher em uma floresta". Eles então ensinaram o tradutor a fazer com que os números da frase ruim parecessem exatamente iguais aos números da frase segura.

Para fazer isso, eles usaram um jogo de gato e rato inteligente. Eles configuraram um pequeno programa de computador, um discriminador, cujo trabalho era distinguir a diferença entre os números vindos da frase ruim e a do seguro. O tradutor principal tentava enganar este discriminador mudando suas próprias configurações para que as duas frases produzissem números idênticos. Ao mesmo tempo, os pesquisadores garantiram que o tradutor não esquecesse como lidar com frases normais e seguras. Eles fizeram isso verificando que as frases seguras ainda pareciam o que eram antes das mudanças serem feitas. Isso garantiu que o computador ainda seria capaz de desenhar imagens belas e inofensivas de florestas e mulheres, apenas sem a capacidade de desenhar a versão específica e prejudicial.

Os resultados deste método foram impressionantes. Quando testado contra uma variedade de tentativas astutas de enganar o computador, incluindo aquelas projetadas por especialistas para burlar sistemas de segurança, esta nova abordagem interrompeu as imagens prejudiciais quase completamente. Em testes onde outros métodos falharam em deter o conteúdo ruim ou tornaram o computador pior em desenhar boas imagens, este método teve sucesso em ambos. Funcionou em versões mais antigas da tecnologia e também nos sistemas mais novos e avançados, provando que a ideia se sustenta em diferentes tipos de geradores de imagem. Talvez o mais importante, como a parte do desenho nunca foi alterada, o sistema não ficou mais lento. Levou o mesmo tempo para criar uma imagem como antes, sem necessidade de poder computacional extra cada vez que um usuário pedia uma imagem.

Os pesquisadores também testaram se este método poderia remover outros tipos de conceitos indesejados, como estilos artísticos específicos. Eles descobriram que podiam interromper com sucesso a cópia do estilo de artistas específicos, incluindo Van Gogh e Kelly McKernan, quando solicitado, enquanto permitiam que o computador pintasse em outros estilos. Isso sugere que o método não é apenas um "truque de um só propósito" para remover a nudez, mas uma ferramenta flexível que pode ser usada para remover qualquer ideia específica que o usuário não queira que o computador gere. Ao focar na etapa de tradução e usar um processo de treinamento simples e eficiente, a equipe mostrou que é possível tornar essas ferramentas poderosas mais seguras sem sacrificar sua velocidade ou sua capacidade de criar arte.

Este trabalho representa um passo significativo para tornar a inteligência artificial mais segura e confiável. Ele se afasta da ideia de monitorar e bloquear saídas constantemente e, em vez disso, constrói a segurança diretamente na forma como o computador entende a linguagem. O método é leve, exigindo apenas um curto período de treinamento, e deixa o resto do sistema exatamente como estava. Para quem depende dessas ferramentas para criar conteúdo, isso significa um futuro onde o computador pode ser confiado para seguir instruções sem cruzar acidentalmente a linha para o território prejudicial, mantendo sua centelha criativa intacta. Os pesquisadores disponibilizaram seu código, permitindo que outros testem e construam sobre esta abordagem, garantindo que o caminho para uma geração de imagens mais segura permaneça aberto para novas descobertas.

Resumo Técnico: TEA (Alinhamento de Codificador de Texto para Apagamento Robusto de Conceitos)

Problema

Modelos de difusão de texto-para-imagem são suscetíveis ao uso indevido, onde prompts adversários ou parafraseados podem contornar mecanismos de segurança integrados para gerar conteúdo prejudicial (ex: deepfakes, imagens NSFW). Os métodos existentes de apagamento de conceitos enfrentam trade-offs significativos:

Métodos sem treinamento (ex: projeções em tempo de inferência) evitam custos iniciais, mas introduzem um overhead computacional persistente por consulta e carecem de robustez contra ataques adversários fortes.
Métodos baseados em treinamento que ajustam o backbone generativo (ex: U-Net) são computacionalmente caros, correm o risco de degradar a qualidade da geração em prompts benignos e têm dificuldade com o apagamento seletivo devido à ampla distribuição de parâmetros relacionados ao conceito através das camadas da rede.
Abordagens de codificador de texto existentes frequentemente exigem datasets de larga escala, memória de codebook ou treinamento adversário computacionalmente pesado que compromete a qualidade da geração.

O desafio central é alcançar um apagamento de conceito robusto contra ataques de caixa-preta (black-box) e caixa-branca (white-box), enquanto preserva a qualidade da geração em prompts benignos e mantém zero overhead no tempo de inferência.

Metodologia: Alinhamento de Codificador de Texto (TEA)

Os autores formulam o apagamento de conceito como um problema de alinhamento de domínio dentro do espaço de representação de texto. O método baseia-se na decomposição de modelos de texto-para-imagem em um codificador de texto ( $\tau$ ) e um backbone generativo congelado ( $G$ ).

1. Formulação Teórica
O artigo postula que suprimir um conceito alvo $c$ é equivalente a alinhar a distribuição de representação de entradas que carregam o conceito ( $P_c$ ) com a de entradas "âncora" livres de conceito ( $P_{\neg c}$ ).

Limite de Risco (Risk Bound): Com base na teoria de H-divergência, o risco do conceito em entradas que carregam o conceito é limitado pelo risco do conceito em entradas livres de conceito mais a divergência entre as duas distribuições de representação.
Objetivo: Ao minimizar a divergência (tornando as representações indistinguíveis) enquanto preserva o risco nas entradas livres de conceito (preservação de utilidade), o modelo não consegue mais distinguir entre prompts seguros e inseguros, thereby suprimindo o conceito.

2. Arquitetura do Framework
O TEA ajusta finamente apenas o codificador de texto, mantendo o backbone generativo (U-Net ou DiT) totalmente congelado. O processo envolve:

Construção de Pares de Prompts: Para cada prompt de conceito $p_c$ (contendo o conceito alvo), um prompt âncora $p_a$ é gerado (ex: via LLM) que preserva a semântica circundante, mas remove o conceito alvo.
Alinhamento ao Nível de Token: Diferente de métodos que utilizam representações de sequência agrupadas (pooled), o TEA opera ao nível de token. Isso permite que o modelo alinhe diferenças semânticas específicas entre $p_c$ e $p_a$ sem colapsar semânticas não relacionadas.
Treinamento Adversário:
- Um discriminador leve ( $D$ ) é treinado para distinguir entre as representações de nível de token de prompts de conceito ( $h^c_t$ ) e prompts âncora ( $h^a_t$ ).
- O codificador de texto ( $\tau_\theta$ ) é atualizado para enganar o discriminador, tornando $h^c_t$ indistinguível de $h^a_t$ .
- Ancoragem Dinâmica: Tanto os prompts de conceito quanto os âncoras passam pelo atual codificador durante o treinamento. Isso evita que o codificador colapse em uma referência fixa e incentiva o rastreamento de uma distribuição segura consistentemente evolutiva.
Funções de Perda (Loss Functions):
- Perda Adversária ( $L_{adv}$ ): Minimiza a capacidade do discriminador de classificar corretamente os tokens do conceito.
- Perda de Preservação ( $L_{pres}$ ): Uma perda de similaridade de cosseno que mantém as representações dos prompts âncoras ( $h^{a, new}_t$ ) próximas às produzidas pelo codificador congelado original ( $h^{a, orig}_t$ ). Isso garante que a semântica benigna não seja degradada.
- Objetivo Total: $L_{enc} = \lambda_{adv} L_{adv} + \lambda_{pres} L_{pres}$ .

Principais Contribuições

Formulação: Os autores fornecem uma formulação fundamentada do apagamento de conceito como um problema de alinhamento de domínio no espaço de representação, derivando um limite teórico onde o apagamento é controlado por um termo de alinhamento e um termo de preservação de utilidade.
Framework TEA: Eles propõem um framework de ajuste fino de codificador de texto adversário e leve que alcança supressão robusta com zero overhead no tempo de inferência e requer apenas um pequeno número de etapas de ajuste fino.
Agnosticismo de Modelo e Novas Arquiteturas: O método é agnóstico ao modelo e transfere-se com sucesso para arquiteturas modernas, especificamente Transformers de Fluxo Retificado (ex: Stable Diffusion v3.5) com condicionamento T5, onde métodos anteriores de apagamento de conceito têm sido amplamente inexplorados.
Robustez: O método demonstra robustez superior contra ataques adversários de caixa-preta (engenharia de prompt) e caixa-branca (otimização) em comparação com baselines existentes.

Resultados Experimentais

O método foi avaliado no Stable Diffusion v1.4 e no Stable Diffusion v3.5-large para apagar conteúdo explícito (nudez) e estilos artísticos (Van Gogh, Kelly McKernan).

Apagamento de Conteúdo Explícito:
- Caixa-Preta (Black-Box): O TEA alcançou a menor Taxa de Sucesso de Ataque (ASR) média entre os benchmarks (MMA, Ring-A-Bell, P4D), superando métodos como AdvUnlearn e DES.
- Caixa-Branca (White-Box): O TEA consistentemente alcançou a menor ASR em ataques de caixa-branca UnlearnDiff, MMA e Ring-A-Bell.
- Preservação de Qualidade: O TEA manteve alta qualidade de geração em prompts benignos (dataset COCO), mostrando scores FID e CLIP competitivos ou superiores em relação aos baselines. Notavelmente, evitou a degradação de qualidade vista em métodos baseados em treinamento adversário.
Apagamento de Estilo Artístico: O TEA alcançou alta distância perceptual (LPIPSd) para artistas alvo enquanto mantinha baixa distância (LPIPSu) para outros artistas, indicando apagamento eficaz sem o apagamento excessivo de estilos não relacionados.
Análise de Representação: Medições empíricas de Distância-A de Proxy (PAD) confirmaram que o TEA reduziu significativamente a separabilidade entre as representações de conceito e âncora através das camadas do codificador, enquanto mantinha a separabilidade entre prompts de conceito e não relacionados (COCO).

Significância e Alegações

O artigo afirma que o TEA aborda as limitações críticas dos métodos atuais de apagamento de conceito, oferecendo uma solução computacionalmente eficiente, persistente e robusta.

Eficiência: Ao congelar o backbone generativo e ajustar apenas o codificador de texto, o TEA não introduz overhead no tempo de inferência, tornando-o adequado para implantação em larga escala.
Robustez: O alinhamento adversário no espaço de representação fornece uma defesa mais forte contra prompts adversários do que métodos sem treinamento ou métodos que modificam o backbone generativo.
Escalabilidade: A capacidade do método de se adaptar a Transformers de Fluxo Retificado (SD v3.5) estende a aplicabilidade do apagamento de conceito para as próximas gerações de arquiteturas de difusão.
Postura Ética: Os autores enfatizam que o trabalho é motivado pela redução de danos. Embora a avaliação exija prompts e imagens explícitas para verificar a eficácia, estes são estritamente controlados, mascarados em figuras e usados unicamente para fins defensivos para mitigar a geração insegura.