Scaling Exposes the Trigger: Input-Level Backdoor Detection in Text-to-Image Diffusion Models via Cross-Attention Scaling

Resumo Técnico: Detecção de Backdoors em Modelos de Difusão Texto-para-Imagem via Escalonamento de Atenção Cruzada

1. O Problema

Os modelos de difusão Texto-para-Imagem (T2I), como o Stable Diffusion, têm revolucionado a síntese de imagens, mas sua dependência de dados em larga escala e ecossistemas abertos introduz riscos significativos de segurança, especificamente ataques de backdoor.

• Ameaça: Adversários podem envenenar o modelo durante o treinamento ou ajuste fino, fazendo com que ele gere conteúdo malicioso ou indesejado quando um "gatilho" (trigger) específico é ativado, mantendo um comportamento normal para entradas benignas.
• Desafio Atual: As defesas existentes, especialmente as de nível de entrada (input-level), dependem de anomalias observáveis (como tokens estranhos ou respostas inconsistentes). No entanto, ataques modernos de backdoor tornaram-se sigilosos e implícitos (ex: ataques IBA), onde os gatilhos são frases naturais e semanticamente consistentes. Nessas condições, as anomalias superficiais desaparecem, degradando drasticamente a eficácia das defesas atuais.
• Questão Central: É possível explorar diferenças estáveis, implícitas e agnósticas ao gatilho entre entradas benignas e de backdoor para detecção, mesmo quando os sinais superficiais são indistinguíveis?

2. Metodologia: A Abordagem SET

Os autores propõem uma nova perspectiva de sondagem ativa (active probing) e introduzem o framework SET (Scaling-Enhanced Trigger detection). A metodologia baseia-se em três pilares principais:

A. Fenômeno Descoberto: Divergência de Resposta à Escalonamento de Atenção Cruzada (CSRD)

• Os autores observaram que, ao aplicar perturbações controladas de escalonamento (multiplicação por um fator $\lambda$) nas pontuações de atenção cruzada (cross-attention) durante o processo de denoising, entradas benignas e de backdoor exibem trajetórias de evolução de resposta sistematicamente diferentes.
• Enquanto entradas benignas mostram mudanças suaves e consistentes na resposta da atenção ao variar $\lambda$, entradas de backdoor exibem desvios maiores e menos regulares.
• Isso foi formalizado como CSRD (Cross-Attention Scaling Response Divergence), provado teoricamente como uma separabilidade local baseada na sensibilidade de segunda ordem das respostas ao escalonamento.

B. O Framework SET
O método SET opera em três etapas:

1. Extração de Recursos de Deslocamento de Resposta:
   • Para uma entrada suspeita, o sistema aplica múltiplos fatores de escalonamento ($\lambda$) nas camadas de atenção cruzada (e auto-atenção, para propagação) do modelo.
   • Calcula-se o Erro Quadrático Médio (MSE) entre a resposta escalonada e a resposta de referência (sem escalonamento) em vários passos de denoising e camadas.
   • Esses valores são concatenados para formar um vetor de características ($f(x)$) que captura o padrão de resposta multi-escala e multi-camada.
2. Aprendizado de um Espaço de Resposta Benigno:
   • Utilizando um pequeno conjunto de amostras benignas (sem necessidade de dados de backdoor), o SET normaliza os vetores de características e os codifica em um espaço de baixa dimensão.
   • Aprende-se um espaço de resposta benigno compacto utilizando um objetivo de uma classe (one-class) com limite suave (soft-boundary). Isso define um centro robusto ($c$) e um raio de decisão ($R$) que encapsulam a maioria das respostas benignas, ignorando outliers.
3. Detecção de Entrada:
   • Durante a inferência, a distância euclidiana da entrada de teste para o centro benigno no espaço de embedding é calculada.
   • Se a distância exceder o raio $R$, a entrada é classificada como um backdoor.

3. Principais Contribuições

1. Descoberta do CSRD: Identificação e análise teórica de que o escalonamento controlado da atenção cruzada revela divergências estáveis entre entradas benignas e de backdoor, independentemente do tipo de gatilho (explícito ou implícito).
2. Framework SET: Proposta de um detector de nível de entrada simples e eficaz que não requer conhecimento prévio do ataque, acesso aos dados de treinamento ou modificação dos parâmetros do modelo.
3. Robustez em Cenários Sigilosos: Demonstração de que a abordagem baseada em sondagem ativa supera as limitações dos métodos baseados em anomalias superficiais, sendo particularmente eficaz contra ataques de gatilho implícito e natural.

4. Resultados Experimentais

Os experimentos foram realizados no dataset MS-COCO com o modelo Stable Diffusion v1.4, testando contra cinco tipos de ataques de backdoor (incluindo Rickrolling, VillanDiffusion, BadT2I, EvilEdit e o sigiloso IBA).

• Desempenho Geral: O SET superou consistentemente todas as linhas de base existentes (como T2IShield, DAA, NaviT2I e UFID).
  • AUROC: Melhoria média de 9.1% sobre a melhor linha de base.
  • Acurácia (ACC): Melhoria média de 6.5%.
• Cenários Difíceis: O ganho foi mais pronunciado em ataques sigilosos como IBA (onde o gatilho é estrutural/sintático) e EvilEdit (modificação direta de parâmetros), onde métodos anteriores falharam ou tiveram desempenho muito baixo.
• Estudos de Ablação: Confirmaram que o uso combinado de escalonamento em atenção cruzada e auto-atenção, fatores de escalonamento bidirecionais (abaixo e acima de 1) e a seleção de camadas específicas (bloco up e down) são cruciais para o desempenho ótimo.

5. Significado e Impacto

Este trabalho é significativo porque muda o paradigma de detecção de backdoors em modelos generativos:

• Mudança de Paradigma: Em vez de procurar por "sinais de erro" visíveis (que podem ser escondidos por atacantes inteligentes), o SET explora a dinâmica interna da resposta do modelo sob perturbações controladas.
• Praticidade: O método é de nível de entrada, o que significa que pode ser implantado em cenários do mundo real para filtrar entradas suspeitas sem precisar re-treinar ou reparar o modelo de difusão (que pode ser de terceiros e proprietário).
• Segurança Futura: Oferece uma defesa robusta contra a evolução dos ataques de backdoor, que tendem a se tornar cada vez mais naturais e indetectáveis por métodos convencionais, garantindo a segurança de plataformas de geração de imagem.

Em resumo, o artigo demonstra que a "escala" (scaling) atua como um revelador de gatilhos ocultos, permitindo a detecção de backdoors através da análise de como o modelo reage a pequenas perturbações em seu mecanismo de atenção, em vez de apenas analisar o que o modelo produz.