Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification

1. O Problema

As Redes Neurais Profundas (DNNs) são vulneráveis a exemplos adversariais, que são entradas manipuladas com ruído imperceptível para enganar o classificador. Uma abordagem defensiva promissora é a Purificação Adversarial (AP), que utiliza modelos generativos para remover o ruído adversarial antes da classificação.

Recentemente, métodos de Purificação Baseada em Difusão (DBP) ganharam destaque. Eles funcionam em duas etapas:

1. Processo Forward: Injeta ruído gaussiano na amostra de entrada (adversarial ou limpa) até um certo nível de tempo $t^*$.
2. Processo Reverse: Um modelo de difusão pré-treinado remove o ruído gradualmente para recuperar a imagem limpa.

A Limitação Atual:
Os métodos DBP existentes (como DiffPure, GDMP, GNS) utilizam um nível de ruído constante ($t^*$) compartilhado por todas as amostras. Os autores identificam que essa abordagem é subótima:

• Para amostras limpas: Um $t^*$ alto injeta ruído desnecessário, degradando a precisão em dados limpos (clean accuracy) e dificultando a recuperação da semântica original.
• Para amostras adversariais: Um $t^*$ baixo pode não injetar ruído suficiente para "esconder" o ruído adversarial, falhando em purificar a imagem e mantendo a vulnerabilidade.
• Conclusão: O nível de ruído ótimo $t^*$ varia de amostra para amostra, dependendo de quão distante ela está da distribuição de dados limpos.

2. Metodologia: SSNI

Os autores propõem o SSNI (Sample-specific Score-aware Noise Injection), um novo framework que ajusta adaptativamente o nível de ruído $t^*$ para cada amostra individualmente.

Mecanismo Central

O SSNI utiliza a norma do escore (score norm) como métrica para estimar o desvio de uma amostra em relação à distribuição de dados limpos.

• Conceito de Escore: Em modelos de difusão, o escore é o gradiente da densidade de probabilidade logarítmica ($\nabla_x \log p_t(x)$).
• Norma do Escore: A magnitude deste gradiente ($\|\nabla_x \log p_t(x)\|$) indica quão longe um ponto de dados está de uma região de alta densidade (dados limpos).
  • Amostras limpas (próximas à distribuição) têm normas de escore baixas.
  • Amostras adversariais (distantes da distribuição) têm normas de escore altas.

Fluxo do Algoritmo

1. Estimativa do Escore: Utiliza uma rede de escores pré-treinada ($s_\theta$) para calcular a norma do escore de cada amostra de entrada. Para evitar sensibilidade a um único nível de ruído de referência, o método emprega o Expected Perturbation Score (EPS), que agrega escores sobre um espectro de níveis de ruído.
2. Função de Reponderação (Reweighting): Com base na norma do escore, uma função repondera o nível de ruído global $t^*$ para gerar um nível específico para a amostra $t(x)$.
   • Se a norma for baixa (amostra limpa) $\rightarrow$ $t(x)$ é reduzido (injeta menos ruído).
   • Se a norma for alta (amostra adversarial) $\rightarrow$ $t(x)$ é aumentado (injeta mais ruído para garantir a remoção do ataque).
3. Tipos de Funções Propostas:
   • Linear: Ajusta $t^*$ proporcionalmente à norma do escore.
   • Não-Linear (Sigmoid): Usa uma função sigmoide para suavizar a transição entre níveis de ruído, permitindo um ajuste mais flexível.
4. Termo de Viés (Bias): Adiciona um termo de viés ($b$) para permitir que o nível de ruído reponderado exceda o $t^*$ original, garantindo que ataques fortes sejam removidos mesmo que a norma do escore não seja extremamente alta.

3. Contribuições Principais

1. Descoberta Fundamental: Evidência empírica e teórica de que o nível de ruído ótimo para purificação não é universal, mas sim específico para cada amostra.
2. Framework SSNI: Proposta de um método genérico e leve que pode ser integrado a qualquer método DBP existente (DiffPure, GDMP, GNS) sem re-treinar os modelos de difusão ou classificadores.
3. Uso de Normas de Escore: Estabelecimento de uma relação direta entre a norma do escore (distância da distribuição limpa) e a quantidade de ruído necessária para purificação.
4. Flexibilidade de Purificação: Demonstração teórica de que o SSNI expande o espaço de possíveis saídas purificadas em comparação com métodos de ruído compartilhado, permitindo um equilíbrio (trade-off) superior entre precisão e robustez.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados CIFAR-10 e ImageNet-1K, utilizando classificadores como WideResNet e ResNet-50, e atacados com métodos adaptativos de caixa branca (PGD+EOT, BPDA+EOT, AutoAttack, DiffAttack).

• Desempenho Geral: A integração do SSNI com métodos DBP existentes resultou em melhorias significativas tanto na precisão em dados limpos (Standard Accuracy) quanto na precisão robusta (Robust Accuracy).
• CIFAR-10:
  • Ao combinar SSNI-N (função não-linear) com DiffPure, houve um aumento de 3,58% na precisão padrão sem comprometer a robustez.
  • Com GDMP, a precisão padrão aumentou em até 2,47% e a robustez em 4,23%.
• ImageNet-1K: O SSNI demonstrou escalabilidade, melhorando a precisão padrão e robusta em todos os métodos base, superando os baselines em ataques fortes ($\ell_\infty$).
• Generalização: O método manteve ganhos consistentes contra uma variedade de ataques, incluindo ataques baseados em difusão (Diff-PGD, DiffAttack).
• Custo Computacional: O overhead computacional é mínimo. O tempo de inferência aumentou apenas ~0,5 segundos no CIFAR-10 e ~5 segundos no ImageNet-1K por imagem, tornando o método viável para aplicações práticas.

5. Significado e Impacto

O trabalho SSNI representa um avanço significativo na defesa contra exemplos adversariais ao introduzir a adaptação granular no processo de purificação.

• Superação do Trade-off: Resolve o dilema clássico de defesas adversariais onde aumentar a robustez geralmente reduz a precisão em dados limpos. Ao injetar menos ruído em dados limpos e mais em dados atacados, o SSNI otimiza ambos os objetivos simultaneamente.
• Generalidade: Por ser um framework de "camada superior" (wrapper), ele não exige a reestruturação de modelos complexos de difusão, facilitando a adoção imediata em sistemas existentes.
• Perspectiva Futura: Abre caminho para futuras pesquisas que considerem a heterogeneidade das amostras de entrada em processos generativos, sugerindo que tratamentos "one-size-fits-all" podem ser insuficientes em tarefas de segurança de IA.

Em resumo, o SSNI demonstra que a inteligência na purificação adversarial reside em entender a "distância" de cada amostra em relação à normalidade e ajustar a agressividade da purificação de acordo, resultando em sistemas de classificação mais seguros e precisos.