REFORGE: Multi-modal Attacks Reveal Vulnerable Concept Unlearning in Image Generation Models

O artigo apresenta o REFORGE, um framework de red-teaming em caixa preta que utiliza prompts de imagem adversariais para revelar vulnerabilidades persistentes nos métodos de esquecimento de conceitos em modelos de geração de imagens, demonstrando que as defesas atuais são insuficientes contra ataques multimodais.

O essencial

Imagine que você tem um pintor de IA muito talentoso. Ele aprendeu a pintar tudo o que existe no mundo, desde paisagens lindas até obras de mestres famosos como Van Gogh. O problema é que esse pintor também aprendeu coisas que não deveriam ser públicas, como imagens ofensivas ou obras protegidas por direitos autorais.

Para resolver isso, os cientistas tentaram "apagar" essas memórias ruins da IA. É como se eles dissessem ao pintor: "Esqueça como pintar no estilo de Van Gogh" ou "Não pinte mais pessoas nuas". Isso é chamado de "Esquecimento" (Unlearning). A ideia era que, depois desse "apagão", a IA nunca mais conseguiria criar essas coisas.

Mas o artigo que você pediu para explicar traz uma notícia chocante: essa "memória apagada" não sumiu de verdade.

Aqui está a explicação simples do que os pesquisadores descobriram, usando analogias do dia a dia:

1. O Problema: O "Amnésico" que não esquece

Os cientistas criaram métodos para "desaprender" conceitos específicos. Eles achavam que a IA estava segura. Mas, na verdade, a IA só estava fingindo que esqueceu. Se você pedisse apenas com palavras ("pinte um Van Gogh"), ela poderia resistir. Mas e se você usasse um truque visual?

2. A Solução (ou o Ataque): O Detetive "REFORGE"

Os autores criaram um sistema chamado REFORGE (que significa "Reforjar" ou "Refazer"). Pense nele como um detetive de crimes digitais que descobriu como enganar o pintor amnésico.

O segredo do REFORGE é que ele não usa apenas palavras para enganar a IA. Ele usa imagens.

A Analogia do Esboço Rápido (O "Stroke-based")

Imagine que você quer que a IA pinte algo específico, mas ela se recusa a ouvir as palavras. O REFORGE pega uma foto do que você quer (por exemplo, um quadro de Van Gogh) e a transforma em um rabisco grosseiro, feito apenas com traços de pincel e cores básicas, sem os detalhes finos.

• Por que isso funciona? É como se você mostrasse ao pintor um "esboço" e dissesse: "Olhe, é assim que deve ser a composição e as cores, agora você pode pintar os detalhes". A IA, ao ver esse esboço, "lembra" como fazer o estilo, mesmo que tenha sido "apagada" para não saber disso.

O Mapa do Tesouro (A "Máscara de Atenção")

Agora, imagine que você precisa pintar esse esboço, mas não pode estragar o resto da tela. O REFORGE usa um mapa de calor (uma máscara) que mostra exatamente onde no quadro a IA está prestando atenção.

• Ele coloca "ruído" (pequenas alterações) apenas nas partes importantes do rabisco, como se estivesse sussurrando instruções secretas apenas nos lugares certos. Isso faz o ataque ser muito eficiente e a imagem final continuar parecendo bonita e natural, sem parecer um "glitch" ou algo estranho.

3. O Resultado: A Memória Volta

Quando o REFORGE combina esse rabisco especial com o pedido de texto, a IA "quebra" e pinta exatamente o que foi proibido.

• Exemplo: Mesmo que a IA tenha sido treinada para esquecer o estilo de Van Gogh, se você der a ela um rabisco que imita a composição de "A Noite Estrelada" e disser "pinte isso", ela vai pintar o quadro inteiro, revelando que o esquecimento foi falso.

4. Por que isso é importante?

O artigo mostra que os métodos atuais de segurança (tentar apagar memórias da IA) são fracos quando alguém usa imagens para tentar enganar o sistema.

• A lição: Não basta apenas "apagar" o conhecimento da IA. Se a IA ainda consegue "reconhecer" o padrão visualmente, ela pode ser enganada a recriar o que foi proibido.
• O futuro: Precisamos criar métodos de segurança mais fortes, que entendam que a IA pode ser enganada tanto por palavras quanto por imagens.

Resumo em uma frase

O REFORGE descobriu que tentar "apagar" memórias de uma IA de pintura não funciona se você usar um esboço visual inteligente para "acordar" a memória adormecida da máquina, provando que a segurança atual dessas IAs é muito mais frágil do que imaginávamos.

Resumo técnico

1. O Problema

Os modelos de geração de imagens (IGMs), como o Stable Diffusion, DALL·E e Imagen, revolucionaram a criação de conteúdo, mas introduziram riscos significativos, incluindo a geração de material ofensivo, desinformação ou violação de direitos autorais. Para mitigar isso, a comunidade desenvolveu técnicas de Desaprendizado de Modelos de Geração de Imagens (IGMU), que visam remover conceitos específicos (ex: estilo de um artista, objetos proibidos) dos modelos sem a necessidade de um re-treinamento completo e custoso.

No entanto, a robustez dessas técnicas de desaprendizado sob ataques adversariais permanece subexplorada. Embora existam métodos de "red-teaming" (testes de invasão) para prompts de texto, a vulnerabilidade dos modelos desaprendidos quando submetidos a entradas de imagem adversariais em cenários de caixa-preta (onde o atacante não tem acesso aos parâmetros ou gradientes do modelo alvo) é um lacuna crítica. O trabalho demonstra que conceitos "apagados" podem ser recuperados se o atacante utilizar uma combinação de prompts de texto e imagens perturbadas.

2. Metodologia: O Framework REFORGE

O REFORGE é um framework de red-teaming em caixa-preta projetado para avaliar a robustez do IGMU através de ataques multimodais. O sistema opera sem acesso aos parâmetros do modelo alvo, utilizando apenas uma interface de consulta padrão (texto + imagem).

O processo divide-se em quatro etapas principais:

• A. Inicialização da Amostra Adversarial:
  O sistema começa com uma imagem de referência ($P_{ref}$) que contém o conceito a ser "recuperado". Em vez de usar a imagem original, ela é convertida em uma imagem baseada em traços (stroke-based). Isso é feito aplicando filtros de mediana de grande núcleo e quantização de cores para remover detalhes de alta frequência, preservando apenas a composição global e as pistas de cor grosseiras. Isso ajuda a manter a consistência semântica com o prompt de texto enquanto suprime detalhes que poderiam ser facilmente filtrados.

• B. Construção de Máscara via Atenção Cruzada:
  Para otimizar a perturbação de forma eficiente, o REFORGE utiliza um modelo proxy (um IGM público) para gerar mapas de atenção cruzada (cross-attention) condicionados à imagem inicial e ao prompt de texto. Esses mapas identificam quais regiões espaciais da imagem estão mais fortemente associadas aos tokens do conceito desejado. Uma máscara espacial ($M$) é derivada desses mapas para guiar onde as perturbações devem ser aplicadas, concentrando o "orçamento" de ataque nas regiões relevantes e preservando o resto da imagem.

• C. Otimização de Alinhamento Latente:
  A otimização ocorre no espaço latente do modelo proxy. O objetivo é alinhar o latente da imagem adversarial ($z_{adv}$) com o latente da imagem de referência ($z_{ref}$). A função de perda é o Erro Quadrático Médio (MSE) entre esses dois latentes. A atualização do gradiente é multiplicada pela máscara $M$, garantindo que as perturbações sejam aplicadas apenas nas áreas semanticamente relevantes, equilibrando eficácia do ataque e fidelidade visual.

• D. Avaliação de Red-Teaming:
  Finalmente, a imagem adversarial otimizada ($P_{adv}$) é combinada com o prompt de texto original e enviada ao modelo desaprendido alvo ($M_u$). O sucesso é medido pela reemergência do conceito apagado na imagem gerada.

3. Principais Contribuições

• Novo Framework de Ataque Multimodal: O REFORGE é o primeiro framework de red-teaming em caixa-preta focado especificamente na modalidade de imagem para testar a robustez do desaprendizado de modelos de geração.
• Estratégia de Máscara Guiada por Atenção: Introduz uma técnica inovadora que utiliza mapas de atenção cruzada para alocar perturbações apenas em regiões relevantes do conceito, superando a necessidade de perturbações uniformes que degradam a qualidade visual.
• Inicialização Baseada em Traços: Propõe uma abordagem de inicialização que remove detalhes finos, facilitando a otimização e mantendo a coerência semântica com o prompt de texto.
• Demonstração de Vulnerabilidade: Evidencia que os métodos atuais de desaprendizado são frágeis contra ataques que combinam texto e imagem, mesmo em configurações de caixa-preta.

4. Resultados Experimentais

Os autores avaliaram o REFORGE em três categorias de tarefas de desaprendizado: conceitos abstratos locais (Nudez), objetos locais (Paraquedas) e conceitos abstratos globais (Estilo Van Gogh), contra vários métodos de desaprendizado (ESD, UCE, MACE, AdvUnlearn, etc.).

• Taxa de Sucesso do Ataque (ASR): O REFORGE superou consistentemente as linhas de base (como SneakyPrompt, Ring-A-Bell e MMA), alcançando as maiores taxas de sucesso em todos os cenários. Por exemplo, na tarefa "Objeto-Paraquedas", o REFORGE atingiu uma ASR média de 70,36%, enquanto a melhor linha de base foi de 39,25%.
• Alinhamento Semântico: Medido pelo CLIP Score, o REFORGE manteve a maior consistência entre a imagem gerada e o prompt de texto, superando métodos baseados apenas em texto que tendem a degradar a qualidade semântica.
• Eficiência: O REFORGE é significativamente mais rápido. Enquanto métodos concorrentes levam de ~1000s a ~320s para gerar um exemplo, o REFORGE completa o processo em aproximadamente 35 segundos, graças à inicialização inteligente e à otimização espacialmente ponderada.
• Robustez: Mesmo contra métodos de desaprendizado que já incorporam treinamento adversarial (como AdvUnlearn), o REFORGE manteve uma vantagem clara, indicando que as defesas atuais são insuficientes.

5. Significado e Conclusão

O trabalho REFORGE expõe uma falha crítica na segurança atual dos modelos de IA generativa: a remoção de conceitos via desaprendizado não é robusta contra ataques multimodais em caixa-preta. O fato de que imagens perturbadas podem "ressuscitar" estilos ou objetos apagados sugere que as defesas atuais são superficiais.

A implicação principal é que a segurança de IGMs não pode depender apenas de filtros de entrada ou de desaprendizado estático. O campo precisa desenvolver métodos de desaprendizado conscientes da robustez (robustness-aware unlearning) que sejam capazes de resistir a ataques que exploram a interação complexa entre texto e imagem. O código e os dados do projeto foram disponibilizados publicamente para fomentar pesquisas futuras em segurança de IA.