Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

Resumo Técnico: Além da Taxa de Sucesso do Ataque (ASR)

1. Problema e Motivação

O uso de sistemas de aprendizado profundo (Deep Learning) na análise de imagens médicas está crescendo, mas sua vulnerabilidade a perturbações adversariais (ataques que enganam o modelo com alterações quase invisíveis) representa um risco crítico para a segurança clínica.

• Limitação Atual: A avaliação de vulnerabilidade atual depende quase exclusivamente da Taxa de Sucesso do Ataque (ASR - Attack Success Rate). A ASR é uma métrica binária que indica apenas se um ataque funcionou ou não.
• O Lacuna: A ASR ignora fatores cruciais como:
  1. A magnitude da perturbação (custo do ataque).
  2. A qualidade perceptual da imagem (se o ataque é visível ao olho humano).
  3. A transferabilidade entre arquiteturas diferentes (ex: de CNNs para Vision Transformers).
• Contexto Emergente: Com a ascensão de arquiteturas baseadas em Transformers (ViTs) desafiando as Redes Neurais Convolucionais (CNNs), não está claro se a ASR isolada consegue capturar adequadamente o comportamento adversarial nessas arquiteturas heterogêneas.

2. Metodologia

Os autores realizaram um estudo empírico sistemático e de grande escala para investigar as correlações entre a eficácia do ataque e outras métricas de qualidade.

• Datasets: Foram utilizados quatro conjuntos de dados médicos públicos:
  • PathMNIST (Histopatologia), DermaMNIST (Dermatologia), RetinaMNIST (Oftalmologia) e CheXpert (Radiografia de tórax, multi-rótulo).
• Arquiteturas de Modelo:
  • CNNs: VGG-16, ResNet-50, DenseNet-121, Inception-v3.
  • Vision Transformers (ViTs): DeiT, Swin Transformer, ViT-B/16.
• Métodos de Ataque: Sete técnicas variando de passo único a iterativo, incluindo FGSM, PGD, I-FGSM, MI-FGSM, NI-FGSM, VMI-FGSM e Ataques de Ensemble.
• Configuração Experimental:
  • Testes em 5 orçamentos de perturbação ($\epsilon$): $\{2/255, 4/255, 8/255, 16/255, 32/255\}$.
  • Cenários de ataque: White-box (surrogato = alvo) e Black-box (surrogato $\neq$ alvo).
  • Total de configurações: 3.500 experimentos combinados.
• Métricas de Avaliação:
  • Eficácia: ASR (Taxa de Sucesso) e Precisão (ACC).
  • Qualidade Perceptual/Distorção: SSIM (Structural Similarity Index Measure), PSNR (Peak Signal-to-Noise Ratio) e magnitude da perturbação $L_2$.
• Análise Estatística: Cálculo de coeficientes de correlação de Pearson e Spearman para investigar as relações entre ASR e as métricas de qualidade/distorção.

3. Contribuições Principais

1. Desacoplamento da ASR: Demonstração empírica robusta de que a ASR é fracamente correlacionada (ou não correlacionada) com métricas de qualidade perceptual (SSIM, PSNR) e magnitude de perturbação ($L_2$), tanto em CNNs quanto em ViTs.
2. Avaliação Multi-Métrica: Proposta de que a avaliação de risco em IA médica deve abandonar a dependência exclusiva da ASR e adotar frameworks multi-métricos que considerem a eficácia, a qualidade da imagem e o custo da perturbação.
3. Análise Comparativa CNN vs. ViT: Investigação detalhada de como a transferibilidade de ataques difere entre arquiteturas convolucionais e baseadas em atenção.

4. Resultados Chave

• Correlação Fraca entre ASR e Qualidade:

  • As métricas de distorção (SSIM, PSNR, $L_2$) estão fortemente correlacionadas entre si (ex: $|r| \geq 0.87$), indicando que perturbações maiores degradam a qualidade da imagem de forma consistente.
  • No entanto, a ASR apresenta correlação próxima de zero com essas métricas (ex: $|r| \leq 0.17$ para CNNs e $|r| \leq 0.05$ para ViTs).
  • Implicação: Um ataque pode ter alta taxa de sucesso com perturbações imperceptíveis ou com distorções visíveis; a ASR não consegue prever a "invisibilidade" do ataque.

• Estabilidade da ASR vs. Orçamento de Perturbação:

  • Aumentar o orçamento de perturbação ($\epsilon$) em 16 vezes (de $2/255$ para $32/255$) resultou em ganhos marginais na ASR (ex: CNN black-box subiu apenas de 75,5% para 79,0%), enquanto a qualidade da imagem degradou significativamente.
  • Isso reforça que a ASR e a magnitude da perturbação capturam dimensões diferentes do comportamento adversarial.

• Transferibilidade Arquitetural:

  • ViTs: Mostraram uma transferibilidade uniformemente alta (91,1% - 93,4% de ASR black-box) entre todos os pares de modelos, sugerindo vulnerabilidades de ataque muito similares entre Transformers.
  • CNNs: Apresentaram uma estrutura assimétrica. O Inception-v3 foi o alvo mais fácil, enquanto o ResNet-50 foi o mais resistente.
  • Anomalia CheXpert: Em dados multi-rótulo (CheXpert), a ASR black-box de CNNs caiu drasticamente (52,8%), enquanto os ViTs atingiram 100%, indicando que a arquitetura influencia fortemente a transferência em cenários complexos.

• Ataque Ensemble: O ataque de Ensemble (agregando gradientes de múltiplos modelos) reduziu a lacuna entre white-box e black-box para apenas 1,1%, confirmando que a agregação de gradientes é a estratégia mais eficaz para gerar amostras transferíveis.

5. Significado e Conclusão

O estudo conclui que a ASR isolada é uma métrica inadequada para caracterizar o risco adversarial em sistemas médicos.

• Risco Clínico: Ataques que mantêm alta fidelidade perceptual (alto SSIM/PSNR) e alta taxa de sucesso são particularmente perigosos, pois podem passar despercebidos por radiologistas ou patologistas, levando a diagnósticos errôneos e danos ao paciente.
• Recomendação: A comunidade deve adotar frameworks de avaliação multi-métrica que integrem não apenas a eficácia do ataque, mas também a metodologia e os custos associados (distorção visual).
• Futuro: Os autores propõem o desenvolvimento de uma métrica composta unificada que considere simultaneamente a eficácia, a qualidade perceptual e a magnitude da perturbação para uma avaliação de risco mais holística.

Em suma, o artigo alerta que confiar apenas na "taxa de sucesso" pode dar uma falsa sensação de segurança ou perigo, mascarando a natureza real das vulnerabilidades em modelos de IA médica, especialmente na era da transição para Transformers.