Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

Resumo Técnico: Difusão Adversária entre Modalidades

Declaração do Problema
A implantação de Grandes Modelos de Linguagem (LLMs) em domínios de alto risco exige uma avaliação de segurança rigorosa, primariamente por meio de red teaming. Embora a literatura de red teaming tenha amadurecido, ela permanece fragmentada em quatro trilhas de pesquisa amplamente desconectadas: (1) ataques baseados em difusão contra texto e LLMs, (2) ataques baseados em difusão contra classificadores de imagem, (3) pipelines de jailbreak contra modelos de visão-linguagem (VLMs) e (4) defesas de purificação de entrada baseadas em difusão. Cada trilha opera com seu próprio vocabulário, modelos de ameaça e benchmarks. Consequentemente, pesquisadores que ingressam na interseção de modelos de difusão e ataques adversários carecem de uma referência consolidada que descreva o estado da arte, a diversidade metodológica e as lacunas de avaliação. Especificamente, a literatura sobre o uso de modelos de difusão como geradores adversários contra LLMs é pequena (apenas quatro artigos publicados no momento da escrita), porém metodologicamente diversa, enquanto a literatura madura do domínio de imagem oferece receitas específicas que ainda não foram portadas para o texto.

Metodologia
Este trabalho é uma revisão narrativa com avaliação de qualidade, distinta de uma revisão sistemática em conformidade com o PRISMA. Os autores realizaram uma busca estruturada em principais bases de dados (arXiv, Google Scholar, IEEE Xplore, ACM Digital Library, etc.) e conferências (NeurIPS, ICML, CVPR, ACL, USENIX Security, etc.) utilizando palavras-chave combinando "modelo de difusão" com "adversário", "jailbreak" e "red teaming".

• Seleção: A busca inicial resultou em 154 registros candidatos. Após a triagem de título/resumo e revisão de elegibilidade de texto completo, 50 artigos foram retidos para o catálogo.
• Escopo: O catálogo inclui:
  • 4 artigos sobre ataques baseados em difusão em texto/LLMs (Família A).
  • 18 artigos sobre ataques baseados em difusão em classificadores de imagem (Família D).
  • 10 artigos sobre ataques baseados em difusão em VLMs (Família E).
  • 4 artigos sobre defesas baseadas em difusão para modelos de texto/multimodais (Família C).
  • 4 artigos sobre LLMs de difusão como vítimas (Família B, incluídos como contexto adjacente).
  • 10 baselines não baseados em difusão para comparação.
• Verificação de Qualidade: Uma verificação de concordância pós-hoc suplementar foi realizada usando dois agentes de LLM independentes para verificar a regra de inclusão, resultando em um coeficiente $\kappa$ de Cohen de 0,781.
• Síntese de Dados: Para cada artigo, os autores extraíram papéis de difusão, formulações, métodos de treinamento, conjuntos de dados, métricas, modelos alvo e disponibilidade de código.

Contribuições Principais

1. Taxonomia Unificada de Papéis de Difusão: O artigo propõe uma taxonomia de seis classes categorizando como os modelos de difusão funcionam em pipelines adversários:

   • Gerador Treinado: O modelo de difusão é treinado de ponta a ponta com um objetivo de ataque.
   • Congelado com Perturbação no Espaço Latente: Inversão DDIM mais atualizações de gradiente no espaço latente (comum em ataques de imagem).
   • Congelado com Guia de Score/Classificador: Gradientes adversários injetados no processo reverso de SDE durante a amostragem.
   • Inferência Pronta para Uso (Off-the-Shelf): Uso de um LLM de difusão pré-treinado sem treinamento ou otimização (ex: inpainting condicional à resposta).
   • Renderizador Apenas de Pipeline: A difusão gera conteúdo (imagens/cenas) que serve como entrada para um canal de ataque separado; nenhum gradiente flui através do amostrador.
   • Modelo de Difusão Vítima: O próprio modelo de difusão é o alvo do ataque.
     Esta taxonomia é aumentada por um eixo de modelo de ameaça (conhecimento do atacante, acesso a consultas, acessibilidade do alvo).

2. Framework de Avaliação de Cinco Dimensões: Os autores introduzem um framework unificado para comparar ataques entre modalidades, consistindo em:

   • Taxa de Sucesso de Ataque (ASR).
   • Transferibilidade (sucesso em diferentes modelos alvo).
   • Orçamento de Consultas (número de chamadas de modelo/reinicializações).
   • Perplexidade (proxy para evasão de filtros de entrada).
   • Evasão de Defesa (desempenho contra purificadores como DiffPure, DiffuseDef ou CoDefend).

3. Fusão Cross-Modality: A revisão integra 50 artigos de quatro fluxos anteriormente desconectados (texto/LLM, classificador de imagem, VLM, defesa) em um único framework conceitual, fornecendo um catálogo abrangente e uma planilha pública contendo metadados para todos os trabalhos incluídos.

4. Perspectiva Dual Atacante-Defensor: A revisão cobre quatro defesas baseadas em difusão (três para classificadores de texto, uma para LLMs multimodais) como o cenário de avaliação natural para novos ataques, destacando a assimetria entre o aumento de ataques e as defesas subauditadas.

Resultos e Descobertas

• Estado da Arte (Texto/LLM): A literatura sobre ataques baseados em difusão contra LLMs é incipiente (4 artigos), mas diversa. As abordagens incluem denoising latente contínuo com Gumbel-Softmax (DiffusionAttacker), perturbação no espaço de embeddings sob restrições de proximidade (DART) e inferência livre de treinamento em LLMs de difusão mascarada pré-treinados (Lüdke et al.).
• Estado da Arte (Imagem/VLM): O domínio da imagem é maduro, utilizando receitas como inversão DDIM, guia de score e retropropagação segmentada. Ataques de VLM são dominados por usos "apenas de pipeline", onde a difusão renderiza imagens para ataques no espaço de pixels, com poucos explorando gradientes de difusão diretamente.
• Lacunas de Desempenho:
  • Lacuna de Modelo Fechado: Ataques baseados em difusão apresentam taxas de sucesso significativamente menores em modelos de fronteira fechados (ex: GPT-4o, Claude-3.5) comparados a modelos de pesos abertos. Por exemplo, o IDEATOR alcançou 94% de ASR no MiniGPT-4, mas apenas 19,65% no Claude-3.5.
  • Dependência de White-Box: Três dos quatro artigos de ataque baseados em texto dependem de gradientes white-box do modelo alvo durante o treinamento, limitando a aplicabilidade direta em sistemas fechados.
  • Subuso de Difusão Discreta: Nenhum ataque de texto publicado combina um amostrador de difusão discreta real (ex: D3PM, SEDD) com uma recompensa de nocividade explícita e uma avaliação de larga escala (ex: HarmBench).
  • Evasão de Defesa: Ataques de texto atuais raramente testam contra filtros de entrada modernos (ex: Llama-Guard, SmoothLLM). Baixa perplexidade relatada é necessária, mas não é evidência suficiente de evasão de filtro.
  • Limitação de Turno Único: Todos os ataques de difusão baseados em texto produzem prompts de turno único, falhando em aproveitar o condicionamento bidirecional da difusão para ataques de diálogo de múltiplos turnos.

Significância e Alegações
O artigo posiciona-se como um exercício crítico de "fusão de informações" que reduz o esforço duplicado entre as comunidades de segurança de NLP, robustez adversária e modelagem generativa. Sua principal significância reside em:

• Clarificar o Cenário: Fornecer a primeira referência consolidada para geração adversária baseada em difusão, distinguindo entre métodos que exploram gradientes de difusão e aqueles que usam a difusão como um renderizador de caixa-preta.
• Identificar Lacunas de Pesquisa: Destacar explicitamente cinco fraquezas recorrentes na literatura atual do lado do LLM (dependência de white-box, falta de difusão discreta, avaliação de defesa fraca, restrição de turno único e falta de red teaming com restrições).
• Definir a Agenda: Propor direções de pesquisa concretas, notadamente a necessidade de ataques adaptativos que realizem retropropagação através de purificadores de texto baseados em difusão (DiffuseDef, MaskPure, CoDefend), uma lacuna que ainda não foi abordada na literatura publicada.
• Posicionamento Ético: Os autores enfatizam que consolidar esta literatura é benéfico para defensores e formuladores de políticas, priorizando a identificação de lacunas de avaliação e vulnerabilidades de defesa sobre a reprodução de payloads prejudiciais.

A revisão conclui que, embora os ataques baseados em difusão em LLMs sejam um campo jovem com um pequeno número de artigos representativos, eles oferecem um amplo espaço metodológico para trabalhos subsequentes, particularmente para preencher a lacuna entre as técnicas do domínio de imagem e a avaliação de segurança baseada em texto.