💻 computer science

The Linear Geometry of Interpretable Tokens: Jailbreaking Attacks and Defenses for Unlearned Diffusion Models

Este artigo revela que conceitos apagados em modelos de difusão desaprendidos persistem como subespaços lineares coerentes dentro dos embeddings de tokens, levando ao desenvolvimento do SubAttack, um método de jailbreaking poderoso que explora essa estrutura, e do SubDefense, um mecanismo leve que projeta o subespaço para fora para suprimir robustamente conceitos nocivos residuais enquanto preserva a qualidade de geração.

Autores originais: Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu

Publicado 2026-08-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores podem pintar quadros apenas ouvindo suas palavras. Você diz, "um gato usando um chapéu", e puf, uma imagem perfeita aparece. Esses são chamados de Modelos de Difusão, e eles são como artistas digitais que aprenderam a criar estudando milhões de fotos. Mas, às vezes, esses artistas ficam bons demais em lembrar de coisas que não deveriam. Se você pedir para eles desenharem algo perigoso ou com direitos autorais, eles podem fazer isso de qualquer maneira. Para corrigir isso, cientistas inventaram um processo chamado "Desaprendizado" (Unlearning). Pense nisso como um professor tentando fazer um aluno esquecer um fato específico, como a capital de um país, sem fazê-lo esquecer como fazer matemática ou ler. O objetivo é "apagar" a ideia ruim do cérebro do computador enquanto mantém sua capacidade de desenhar todo o resto. Mas aqui está a parte complicada: mesmo depois que o professor diz, "Esqueça esse fato", o aluno pode ainda ter uma maneira secreta de se lembrar dele, escondida de uma forma que não podemos ver facilmente. Este artigo mergulha nesse mistério, perguntando: Se achamos que apagamos uma ideia ruim, onde ela realmente se esconde e como podemos finalmente nos livrar dela?

Os pesquisadores neste artigo descobriram que, quando um modelo de difusão tenta "desaprender" um conceito prejudicial (como nudez ou o estilo de um artista específico), ele não o deleta de fato. Em vez disso, o conceito se esconde em um subespaço linear secreto dentro da memória do computador. Para usar uma metáfora, imagine que o cérebro do computador é uma biblioteca gigante de palavras. Quando tentamos remover o livro sobre "Nudez", o computador não queima o livro. Em vez disso, ele tritura as páginas e esconde os pedaços dentro de uma gaveta específica e invisível na biblioteca. O artigo mostra que esses pedaços ainda estão organizados em uma linha limpa e previsível. Os autores chamam essa gaveta escondida de "subespaço residual".

Para provar isso, a equipe criou uma nova ferramenta chamada SubAttack. Em vez de adivinhar palavras aleatórias para enganar o computador (que é como hackers anteriores tentavam), o SubAttack age como um mestre bibliotecário que sabe exatamente onde essa gaveta invisível está. Ele aprende um conjunto especial de "chaves mágicas" (que são apenas combinações de palavras normais) que destravam a gaveta. Quando usaram essas chaves, o computador "desaprendido" imediatamente começou a desenhar as imagens prejudiciais novamente, provando que o conceito nunca havia partido de verdade. O que é fascinante é que essas chaves são feitas de palavras que conseguimos entender. Por exemplo, para fazer o computador desenhar uma pessoa "nua" novamente, as chaves podem ser uma mistura de palavras como "escrava", "quadris" e "pele". Isso mostra que o computador ainda está conectando a ideia ruim a esses pistas ocultas e relacionadas.

O artigo também descobriu que essa gaveta secreta não está apenas em um computador; ela está em muitos modelos diferentes "desaprendidos". Se você encontrar a chave para um modelo, ela frequentemente funciona em outros também. Isso sugere que a maneira como esses computadores "esquecem" é falha de uma forma muito semelhante em todos os casos. Eles não estão deletando a memória; estão apenas escondendo-a de uma forma que segue uma linha reta e previsível.

Mas a história não termina com o hack. Porque os pesquisadores entenderam exatamente como o conceito estava se escondendo, eles construíram um escudo chamado SubDefense. Se o SubAttack é a chave que abre a gaveta, o SubDefense é uma placa de metal pesada que solda essa gaveta fechada. Ele funciona pegando toda a biblioteca de palavras do computador e "projetando" matematicamente elas para longe dessa gavela secreta. É como dizer ao bibliotecário: "Não importa qual palavra você use, certifique-se de que ela nunca aponte para essa gaveta escondida específica".

Os resultados foram impressionantes. Quando usaram o SubDefense, o computador tornou-se muito mais difícil de enganar. Mesmo quando hackers tentaram usar os métodos antigos ou as chaves do SubAttack, o computador recusou-se a desenhar as imagens prejudiciais. Ao mesmo tempo, o computador não perdeu sua capacidade de desenhar imagens seguras e belas. Na verdade, as imagens que desenhou após a defesa eram tão de alta qualidade quanto antes. O artigo sugere que, embora ainda não possamos apagar o conceito perfeitamente, podemos pelo menos bloquear o caminho específico que ele usa para entrar de volta de forma furtiva. Isso nos dá uma nova e clara maneira de entender por que o "desaprendizado" é tão difícil e oferece uma solução prática e pronta para uso para tornar esses artistas digitais mais seguros para todos.

Resumo Técnico: A Geometria Linear de Tokens Interpretáveis em Modelos de Difusão Desaprendidos

Declaração do Problema
Modelos de difusão (DMs), particularmente modelos de Texto-para-Imagem (T2I), destacam-se na geração de conteúdo de alta qualidade, mas representam riscos de segurança ao potencialmente memorizar e reproduzir conceitos prejudiciais (ex: nudez, estilos protegidos por direitos autorais ou objetos específicos). Métodos de Desaprendizado de Máquina (Machine Unlearning - MU) foram desenvolvidos para "apagar" esses conceitos de modelos pré-treinados via ajuste fino (fine-tuning) sem a necessidade de retreinar do zero. No entanto, os métodos de desaprendizado existentes lutam para remover completamente conceitos prejudiciais enquanto mantêm a qualidade de geração em conteúdos seguros. Consequentemente, modelos desaprendidos permanecem vulneráveis a ataques de jailbreak, onde adversários manipulam prompts para regenerar os conceitos apagados.

As abordagens atuais de jailbreaking (ex: otimização de prompt adversarial ou ataques baseados em embeddings) frequentemente dependem de perturbações não interpretáveis e baseadas em otimização. Embora eficazes, esses métodos oferecem insights limitados sobre como os conceitos prejudiciais persistem no estado interno do modelo. Essa falta de interpretabilidade dificulta o desenvolvimento de estratégias de defesa direcionadas e robustas. Além disso, mecanismos de defesa leves e post-hoc, que operam em modelos já desaprendidos, permanecem subexplorados em comparação com abordagens de retreinamento adversarial.

Metodologia
Os autores propõem que os conceitos apagados não desaparecem inteiramente, mas persistem como um subespaço linear coerente e interpretável dentro do espaço de embedding de tokens do codificador de texto CLIP usado pelos Modelos de Difusão Latente (LDMs). Com base nessa hipótese, eles introduzem dois métodos complementares: SubAttack e SubDefense.

SubAttack (Ataque de Subespaço):
- Objetivo: Identificar e explorar o subespaço residual de um conceito prejudicial.
- Mecanismo: O método aprende um conjunto de embeddings de tokens ortogonais $\{v_{att, k}\}$ que abrangem o subespaço residual. Cada embedding é restringido a ser uma combinação linear não negativa de embeddings de tokens do vocabulário existente ( $v_{att} = \sum \alpha_i v_i, \alpha_i \geq 0$ ).
- Otimização: Uma rede MLP é treinada para otimizar os coeficientes $\alpha_i$ para minimizar a perda de denoising quando a imagem gerada contém o conceito prejudicial alvo.
- Deflação: Para aprender múltiplos embeddings ortogonais, os autores empregam uma estratégia de deflação. Após aprender $v_{att, k}$ , eles projetam todo o vocabulário ortogonalmente a $v_{att, k}$ antes de aprender o próximo embedding. Isso garante diversidade e captura o subespaço completo do conceito residual.
- Interpretabilidade: Como os embeddings são combinações lineares de tokens existentes, os tokens com maior peso podem ser extraídos e analisados (ex: via WordClouds) para revelar os componentes semânticos (ex: "escravo", "quadril", "mamilo") que o modelo desaprendido ainda associa ao conceito apagado.
SubDefense (Defesa de Subespaço):
- Objetivo: Neutralizar o subespaço residual identificado pelo SubAttack.
- Mecanismo: Uma vez que o subespaço de ataque $V_{att}$ (abrangido pelos embeddings ortogonais aprendidos) é identificado, o SubDefense projeta os embeddings de tokens do vocabulário do modelo desaprendido sobre o nuloclã (nullspace) de $V_{att}$ .
- Regra de Atualização: Para cada embedding de token $v_i$ no vocabulário, a defesa atualiza-o como $v_{def, i} = v_i - \text{Proj}_{V_{att}}(v_i)$ .
- Plug-and-Play: Esta operação é leve e não requer o retreinamento dos pesos do modelo de difusão. Pode ser aplicada a qualquer modelo desaprendido, incluindo aqueles que passaram por ajuste fino adversarial.

Principais Contribuições

Identificação de Subespaços Residuais Interpretáveis: O artigo demonstra que conceitos prejudiciais em DMs desaprendidos persistem como um subespaço linear no espaço de embedding de tokens, composto por elementos textuais interpretáveis por humanos.
SubAttack: Um ataque de jailbreak interpretável e inovador que aprende embeddings de tokens ortogonais para abranger este subespaço. Ele supera as linhas de base em Taxa de Sucesso de Ataque (ASR) e demonstra alta transferibilidade entre diferentes prompts, ruídos iniciais e modelos desaprendidos.
SubDefense: Um mecanismo de defesa robusto e leve que projeta para fora o subespaço residual identificado. Ele melhora a robustez contra diversos ataques de jailbreaking (incluindo prompts adversariais e ataques de embedding) enquanto preserva melhor a qualidade de geração segura em comparação com defesas existentes como a RECE.
Insight sobre as Limitações do Desaprendizado: O trabalho revela que o desaprendizado frequentemente suprime palavras-chave superficiais, mas falha em eliminar associações profundas e implícitas (ex: "caçamba" para "caminhão de lixo" ou "escravo" para "nudez"), que são capturadas pelo subespaço linear.

Resultados Experimentais

Desempenho do Ataque: O SubAttack alcançou um ASR significativamente maior que as linhas de base (UnlearnDiff e CCE) em múltiplos conceitos (nudez, estilo Van Gogh, igreja) e modelos desaprendidos (ESD, FMN, UCE, SPM). Por exemplo, no conceito de "nudez" através de ESD, FMN, UCE e SPM, o SubAttack alcançou ASRs de 97,56%, 100%, 81,67% e 74,89% respectivamente, superando CCE e UnlearnDiff.
Transferibilidade: Embeddings de ataque aprendidos em um modelo desaprendido (ex: ESD) transferiram-se efetivamente para outros (FMN, SPM, UCE) e até mesmo de volta para o modelo original Stable Diffusion, com ASRs consistentemente acima de 80%.
Desempenho da Defesa: O SubDefense reduziu significativamente o ASR para vários ataques. Por exemplo, ao defender o UCE contra o SubAttack no conceito "Van Gogh", o ASR caiu de 98,33% para 29,44%. Também reduziu o ASR para ataques UnlearnDiff e CCE.
Preservação de Qualidade: Ao contrário de algumas defesas que degradam a qualidade da imagem, o SubDefense manteve ou melhorou os scores FID e CLIP em prompts seguros (dataset MSCOCO-10k) em comparação com a defesa de linha de base RECE.
Complementaridade: O SubDefense mostrou-se eficaz mesmo quando aplicado sobre modelos com ajuste fino adversarial como o STEREO, reduzindo o ASR de 21,67% para 6,67%, indicando que ele aborda uma vulnerabilidade (residual linear) diferente do treinamento adversarial.

Significância e Alegações
O artigo alega que a persistência de conceitos prejudiciais em modelos desaprendidos não é um ruído aleatório, mas um fenômeno linear estruturado que pode ser tanto explorado quanto mitigado. Ao enquadrar o problema através da lente da geometria linear nos embeddings de tokens, os autores fornecem um framework unificado para entender vulnerabilidades (SubAttack) e construir defesas (SubDefense).

A significância reside na mudança de paradigma de ataques opacos baseados em otimização para uma análise baseada em subespaços e interpretável. Esta abordagem não apenas expõe vulnerabilidades mais profundas nas técnicas atuais de desaprendizado, mas também oferece uma estratégia de defesa prática e agnóstica ao modelo que não requer retreinamento. Os autores enfatizam que, embora a projeção linear não possa capturar remanescentes não lineares (uma limitação que reconhecem), abordar o subespaço residual linear fornece um primeiro passo crítico para mecanismos de segurança mais robustos e interpretáveis para a IA generativa.

Resumo Técnico: A Geometria Linear de Tokens Interpretáveis em Modelos de Difusão Desaprendidos

Mais como este