Resumo Técnico: ICER – Red-Teaming de Modelos Texto-para-Imagem via Replay de Experiência em Contexto e Reescrita de Prompts Preservadora de Semântica

Declaração do Problema

A rápida implantação de modelos Texto-para-Imagem (T2I) introduziu desafios significativos de segurança, incluindo a geração de conteúdo Não Seguro para Trabalho (NSFW) e imagens que infringem direitos autorais. Embora desenvolvedores tenham implementado vários mecanismos de segurança (por exemplo, componentes seguros ajustados, orientação de inferência e filtragem em múltiplos níveis), avaliar a robustez dessas defesas permanece difícil. Os métodos existentes de red-teaming sofrem de limitações críticas:

• Métodos de caixa-branca (por exemplo, P4D, UnlearnDiffAtk) exigem acesso interno ao modelo, o que não está disponível para sistemas comerciais baseados em API, e frequentemente produzem sequências de tokens não interpretáveis e não fluídas, que são facilmente filtradas por detectores baseados em fluência.
• Abordagens baseadas em agentes de caixa-preta (por exemplo, APGP, JailFuzzer) geram prompts fluídos, mas tratam cada ataque independentemente, falhando em aprender com tentativas anteriores. Isso resulta em altos custos computacionais, consultas repetidas e baixa escalabilidade.
• Lacuna de Preservação Semântica: Muitos métodos existentes falham em gerar prompts que preservam a intenção prejudicial original enquanto evitam filtros de segurança. Cenários reais de mau uso tipicamente envolvem atacantes buscando saídas inseguras específicas, em vez de falhas arbitrárias do modelo, ainda que ferramentas atuais lutem para equilibrar fluência, alinhamento semântico e jailbreak bem-sucedido.

Metodologia: O Framework ICER

Os autores propõem o ICER (Replay de Experiência em Contexto), um framework de red-teaming de caixa-preta projetado para gerar prompts adversariais fluídos em linguagem natural que preservam a intenção prejudicial original. O ICER opera sob um modelo de ameaça onde o adversário não tem acesso aos parâmetros internos ou gradientes do modelo alvo.

O framework integra três componentes principais em um cenário de Otimização Bayesiana (BO), utilizando um LLM como modelo substituto:

1. Formulação do Problema

O objetivo é encontrar um prompt adversarial $P^*_q$ que maximize uma função $f(P^*_q)$ sujeito a duas restrições:

1. Violação de Segurança: A imagem gerada $I^*_q$ deve disparar uma violação de segurança (pontuação $E(I^*_q) \geq \tau'$).
2. Preservação Semântica: A imagem gerada deve manter alta similaridade de cosseno com a imagem gerada pelo prompt original ($sim(M(I_q), M(I^*_q)) \geq \rho$).

Esta formulação garante "jailbreak direcionado", onde o ataque busca conteúdo prejudicial específico, em vez de ruído aleatório.

2. Replay de Experiência em Contexto (ICR)

Ao contrário de métodos tradicionais que descartam tentativas falhas ou bem-sucedidas, o ICER mantém um banco de dados compartilhado de priores $\mathcal{D}$ de experiências passadas de red-teaming. Cada entrada armazena:

• O prompt original $P_i$.
• A variante adversarial bem-sucedida $P^*_i$.
• Parâmetros de eficácia $\theta_i = (\alpha_i, \beta_i)$ modelados como uma distribuição Beta.

Ao gerar um novo prompt adversarial para uma consulta $P_q$, o sistema amostra $k$ exemplares de $\mathcal{D}$ para formar um conjunto de orientação $S_t$. O LLM então condiciona-se a esses exemplares e a uma instrução do sistema para gerar $P^*_q$. Isso aproveita as capacidades de aprendizado em contexto do LLM para codificar padrões de ataque passados como um "manual" reutilizável.

3. Amostragem Adaptativa via Amostragem de Thompson (TS)

Para equilibrar exploração (uso de padrões comprovadamente bem-sucedidos) e exploração (descoberta de novos vetores de ataque), o ICER emprega a Amostragem de Thompson.

• Cada exemplar em $\mathcal{D}$ está associado a uma distribuição Beta $Beta(\alpha_i, \beta_i)$, onde $\alpha_i$ acumula recompensas (orientação bem-sucedida) e $\beta_i$ acumula penalidades (orientação falha).
• Em cada iteração, o sistema amostra uma probabilidade $\pi_i$ de cada distribuição e seleciona os $k$ exemplares principais com os maiores valores para orientar o LLM.
• Mecanismo de Recompensa:
  • Falha Semântica: Se a imagem gerada falhar na verificação semântica, os exemplares selecionados são penalizados ($\beta$ aumenta).
  • Sucesso Parcial: Se a verificação semântica passar, mas o jailbreak falhar, uma recompensa parcial é atribuída com base na pontuação insegura.
  • Sucesso Total: Se o jailbreak for bem-sucedido, os exemplares recebem uma recompensa total ($\alpha$ aumenta), e o novo par $(P_q, P^*_q)$ é adicionado a $\mathcal{D}$.

Este ciclo contínuo de aprendizado permite que o framework se adapte a mecanismos de segurança específicos ao longo do tempo, sem exigir re-treinamento do modelo.

Contribuições Principais

1. Framework ICER: Introdução de um framework de caixa-preta que gera prompts adversariais fluídos em linguagem natural, aproveitando a reescrita baseada em LLM e o replay de experiência em contexto.
2. Avaliação Preservadora de Semântica: Demonstração de desempenho superior em "jailbreak direcionado", um paradigma rigoroso que exige que o conteúdo gerado se alinhe à intenção específica do atacante, e não apenas produza conteúdo inseguro arbitrário.
3. Transferência de Conhecimento: Revelação de que instâncias passadas de jailbreak podem facilitar a descoberta de novas vulnerabilidades. O artigo destaca que o conhecimento de ataque se acumula, permitindo que uma única campanha de red-teaming construa um manual que se transfere para novas defesas e até mesmo para sistemas comerciais.

Resultados Experimentais

Os autores avaliaram o ICER contra sete baselines (incluindo métodos de caixa-branca como P4D e métodos de caixa-preta como PEZ e Ring-A-Bell) em seis modelos T2I seguros (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) e dois conceitos prejudiciais (nudez e violência).

• Desempenho: O ICER superou consistentemente todas as baselines. Por exemplo, no modelo ESD para nudez, o ICER alcançou uma Taxa de Falha (FR) de 48,71%, comparado a 34,55% para a próxima melhor baseline (FLIRT-Scoring). No modelo robusto AdvUnlearn, o ICER identificou o dobro de vulnerabilidades que a baseline mais forte.
• Preservação Semântica: Ao contrário de métodos de otimização em nível de token que sofrem quedas significativas na FR quando restrições semânticas são aplicadas (por exemplo, o PEZ caiu de 72,75% para 9,87% no ESD), o ICER manteve desempenho forte (de 80,19% para 57,37%), demonstrando sua capacidade de gerar prompts semanticamente coerentes.
• Fluência: Análise quantitativa usando perplexidade de n-gramas mostrou que o ICER gerou prompts significativamente mais naturais (perplexidade média de 0,82 $\times 10^3$) em comparação com baselines como Ring-A-Bell (69,88 $\times 10^3$) e P4D-N (175,45 $\times 10^3$).
• Transferibilidade: Mais de 30% dos prompts gerados pelo ICER transferiram-se com sucesso para sistemas comerciais fortemente moderados como DALL·E 3 (35,58%) e Midjourney (41,35%), superando todas as baselines. Isso valida que as vulnerabilidades descobertas não se limitam a arquiteturas de código aberto específicas.

Significado e Alegações

O artigo postula que o red-teaming deve ser visto não como uma coleção de tentativas independentes, mas como um problema de aprendizado. A lição central é que jailbreaks bem-sucedidos contêm estruturas reutilizáveis; uma vez capturados via replay de experiência em contexto, esses padrões tornam ataques subsequentes substancialmente mais eficazes em diferentes conceitos e modelos alvo.

Os autores enquadram isso como uma "faca de dois gumes":

• Para Defensores: Oferece um blueprint eficiente para avaliação de segurança, indo além de auditorias humanas custosas e inconsistentes ou sondagens automatizadas isoladas. Uma única campanha pode construir um manual transferível.
• Para a Comunidade de Segurança: Serve como um aviso de que defesas avaliadas apenas contra adversários independentes e sem memória podem superestimar dramaticamente sua robustez. Se o conhecimento de ataque se acumula facilmente, atores maliciosos poderiam aproveitar o conhecimento acumulado para mau uso mais barato e mais direcionado.

O trabalho conclui defendendo uma mudança na forma como a comunidade aborda o red-teaming: de uma lista de verificação estática para um processo contínuo e adaptativo, onde cada tentativa informa a próxima.