Adversarial Evasion Attacks on Computer Vision using SHAP Values

Título: Ataques de Evasão Adversarial em Visão Computacional usando Valores SHAP

1. Problema

O artigo aborda a vulnerabilidade de modelos de aprendizado profundo (Deep Learning) em visão computacional contra ataques de evasão adversarial. O objetivo desses ataques é enganar o modelo, reduzindo sua confiança na saída ou induzindo classificações errôneas, enquanto as alterações nos dados de entrada são imperceptíveis ao olho humano.

• Contexto: Ataques brancos (white-box), onde o atacante tem conhecimento total do modelo e acesso aos seus parâmetros.
• Limitação dos Métodos Atuais: O método mais conhecido, Fast Gradient Sign Method (FGSM), baseia-se no gradiente da função de perda. O FGSM trata todos os pesos de forma uniforme (multiplicando o sinal do gradiente por um escalar $\epsilon$), ignorando a magnitude real da influência de cada pixel. Isso pode levar a ajustes excessivos ou insuficientes, especialmente em cenários de "ocultação de gradiente" (gradient masking), onde os gradientes se tornam não informativos ou instáveis.

2. Metodologia

Os autores propõem um novo ataque de evasão em caixa branca que substitui o uso de gradientes pelo uso de Valores SHAP (SHapley Additive exPlanations).

• Fundamentação Teórica (SHAP):

  • Os valores SHAP quantificam a contribuição de cada variável de entrada (no caso, cada pixel da imagem) para a saída do modelo, baseando-se na teoria dos jogos (valores de Shapley).
  • Eles satisfazem propriedades de precisão local, ausência (missingness) e consistência.
  • A análise revela um padrão "borboleta": pixels com valores intermediários (geralmente entre 0,3 e 0,4, dependendo do dataset) tendem a ter um impacto neutro (SHAP próximo de zero), enquanto pixels com valores extremos (próximos de 0 ou 1) têm forte influência positiva ou negativa.

• Mecanismo do Ataque SHAP:

  • O ataque visa neutralizar as influências fortes (tanto positivas quanto negativas) que levam o modelo a classificar a imagem em uma classe específica.
  • Em vez de apenas seguir o sinal do gradiente, o ataque identifica pixels com valores de SHAP ($\phi$) significativos (acima de um limiar $v$) e move seus valores de intensidade ($x$) para a "área neutra" (onde $\phi \approx 0$).
  • Fórmula do Ataque:
    $$x' = x + \epsilon \cdot \begin{cases} -|\phi|, & \text{se } x \ge 1-h \land V \\ |\phi|, & \text{se } x \le h \land V \end{cases}$$
    Onde:
    • $V$ é a condição de que o valor SHAP é forte ($\phi \ge v$ ou $\phi \le -v$).
    • $h$ é um parâmetro que garante que apenas pixels com valores absolutos aumentados sejam manipulados.
    • $\epsilon$ é a intensidade do ataque, definida como uma fração do desvio padrão dos valores SHAP ($\frac{1}{20}\sigma_\phi$).

• Experimentos:

  • Foram utilizados quatro datasets distintos com arquiteturas variadas: Animal Faces (gatos, cães, animais selvagens), Cats and Dogs Filtered (usando EfficientNetB7 profundo), MNIST (dígitos manuscritos) e Woman and Man Faces.
  • O desempenho foi comparado diretamente com o FGSM (iterativo, conforme Kurakin et al., 2017).

3. Principais Contribuições

1. Novo Vetor de Ataque: Introdução de uma abordagem de ataque adversarial baseada em valores SHAP em vez de gradientes.
2. Superioridade em Cenários de Gradient Masking: Demonstração de que o ataque SHAP é mais robusto do que o FGSM quando os gradientes do modelo são instáveis, esparsos ou mascarados.
3. Eficiência e Precisão: O método foca apenas nas regiões da imagem com alta influência (alta magnitude de SHAP), deixando áreas irrelevantes intactas, o que torna o ataque mais sutil e eficiente.
4. Análise de Padrões: Identificação de que a relação entre o valor do pixel e o valor SHAP segue um padrão previsível (forma de borboleta), permitindo a definição de uma estratégia de neutralização sistemática.

4. Resultados

A comparação entre o ataque SHAP e o FGSM em múltiplos datasets mostrou:

• Taxas de Misclassificação (Evasão):
  • Animal Faces: SHAP (73%) vs. FGSM (52%).
  • Cats and Dogs (Deep Network): FGSM (98%) vs. SHAP (89%). Nota: Neste caso específico com rede muito profunda, o FGSM teve desempenho ligeiramente superior, mas o SHAP manteve-se estável.
  • MNIST: SHAP (60%) vs. FGSM (34%).
  • Woman and Man Faces: SHAP (98%) vs. FGSM (69%).
• Estabilidade: Enquanto o FGSM apresentou instabilidade (em alguns casos, aumentou a confiança da classificação em vez de diminuí-la devido a gradientes não informativos), o ataque SHAP produziu taxas de erro consistentes e previsíveis.
• Invisibilidade: Ambos os ataques mantiveram-se imperceptíveis ao olho humano quando os parâmetros $\epsilon$ foram ajustados adequadamente, mas o ataque SHAP causou uma redução mais consistente na probabilidade da classe atacada.

5. Significado e Conclusão

• Vulnerabilidade Explicável: O estudo revela que a explicabilidade (XAI), especificamente os valores SHAP, possui um "lado duplo": é uma ferramenta para entender o modelo, mas também pode ser usada para explorar suas fraquezas de forma mais eficiente do que os métodos baseados em gradientes.
• Resiliência de Modelos: A pesquisa destaca a necessidade de desenvolver modelos de visão computacional mais robustos que não dependam excessivamente de pixels individuais ou regiões específicas, distribuindo a influência de forma mais equilibrada.
• Limitações Práticas: O ataque SHAP é computacionalmente intensivo (requer cálculo de SHAP para muitas amostras e combinações de variáveis), o que pode limitar sua aplicação em tempo real ou em vídeos de alta resolução sem hardware de alto desempenho. Além disso, requer acesso ao modelo (white-box) e dados de inferência suficientes para o cálculo.

Em suma, o artigo demonstra que ataques baseados em SHAP são uma ameaça séria e mais robusta do que os métodos tradicionais baseados em gradiente, especialmente em cenários complexos onde a otimização por gradiente falha.