Resumo Técnico: Além da Acurácia no Diagnóstico de Malária

Declaração do Problema

A malária continua sendo uma das principais causas de mortalidade na África subsaariana, onde a infraestrutura de diagnóstico é frequentemente escassa. Embora o aprendizado profundo (DL) ofereça um caminho para a triagem automatizada, a adoção clínica é dificultada por dois fatores primários: o alto custo computacional de modelos complexos e a "opacidade" de seus processos de tomada de decisão. Em ambientes médicos de alto risco, os clínicos exigem não apenas previsões precisas, mas também justificativas mecanísticas para essas previsões. Além disso, as avaliações existentes focam apenas na acurácia preditiva, negligenciando dimensões críticas como eficiência do modelo, robustez à corrupção de imagem (comum em microscopia de recursos limitados) e a confiabilidade de explicações post-hoc.

Metodologia

Este estudo compara quatro arquiteturas distintas de aprendizado profundo no conjunto de dados NLM-Malaria, avaliando-as através de três dimensões: desempenho preditivo, eficiência computacional e explicabilidade.

1. Arquiteturas de Modelos:
O estudo compara modelos com diferentes filosofias de design e capacidades:

• ResNet-18: Uma CNN padrão que utiliza conexões de salto (skip connections).
• EfficientNet-B0: Uma CNN que enfatiza a eficiência por meio do escalonamento composto de profundidade, largura e resolução.
• MobileNet-v3-Large: Uma CNN leve que utiliza convoluções separáveis em profundidade (depthwise separable convolutions).
• Vision Transformer (ViT-B/16): Uma arquitetura baseada em Transformer que substitui convoluções por autoatenção baseada em patches.
  Todos os modelos foram pré-treinados no ImageNet e ajustados (fine-tuned) para classificação binária (saudável vs. infectado) usando validação cruzada estratificada de 5 dobras (5-fold stratified cross-validation).

2. Estrutura de IA Explicável (XAI):
Quatro métodos de atribuição post-hoc foram empregados para gerar mapas de saliência:

• Baseados em gradiente: Grad-CAM e Gradientes Integrados (Itgd-Grad).
• Sem gradiente/Baseados em score: Score-CAM.
• Teoria dos jogos: SHAP (variante baseada em gradiente).
  Esses métodos foram usados para visualizar quais regiões da imagem influenciaram a decisão do modelo.

3. Métricas de Avaliação:

• Desempenho Preditivo: Acurácia, F1-score, AUC, Sensibilidade, Especificidade, PPV e NPV.
• Eficiência: Contagem de parâmetros, FLOPs, latência de inferência e uso de pico de memória (medido em CPU).
• Robustez: Desempenho sob três tipos de corrupção de imagem (ruído Gaussiano, ruído Salt-and-Pepper e desfoque Gaussiano) em vários níveis de severidade. As métricas incluíram acurácia média e confiança prevista média.
• Qualidade da Explicação:
  • Qualitativa: Inspeção visual de mapas de saliência e análise de consistência (mapas de concordância/discordância) entre diferentes métodos de XAI.
  • Quantitativa: Pontuações de Inserção e Deleção, medindo a rapidez com que a confiança do modelo muda conforme patches de imagem importantes (ou não importantes) são revelados ou ocluídos.
• Análise Estatística: O teste de Friedman seguido por testes de postos sinalizados de Wilcoxon com correção de Bonferroni foram usados para determinar a significância estatística entre os modelos.

Principais Resultados

1. Desempenho Preditivo e Eficiência:

• Todas as quatro arquiteturas alcançaram um desempenho de diagnóstico comparável. O teste de Friedman resultou em um p-valor de 0,4717, indicando que não há diferenças estatisticamente significativas em acurácia, F1-score ou AUC entre os modelos.
• Modelos leves (MobileNet-v3 e EfficientNet-B0) igualaram o desempenho de seus equivalentes mais pesados (ResNet-18 e ViT), oferecendo ganhos substanciais de eficiência. O MobileNet-v3 demonstrou a menor latência (14,37 ms) e menores FLOPs (0,22 G), enquanto o ViT-B/16 foi o mais custoso computacionalmente (293,8 ms de latência, 16,8 G FLOPs).
• Um ensemble dos quatro modelos alcançou a maior acurácia (0,972), mas o ganho marginal sobre os modelos leves individuais foi pequeno.

2. Robustez à Corrupção:

• Os modelos demonstraram forte robustez ao ruído Salt-and-Pepper, mas foram mais sensíveis ao ruído Gaussiano e ao desfoque.
• Uma descoberta crítica foi que a confiança do modelo degradou mais rapidamente do que a acurácia sob níveis crescentes de ruído. Isso sugere que os escores de confiança podem servir como um sinal prático para disparar a revisão humana quando a qualidade da imagem é ruim, mesmo que a previsão permaneça tecnicamente correta.

3. Explicabilidade e Robustez de XAI:

• Localização: Métos baseados em CAM (Grad-CAM, Score-CAM) localizaram consistentemente regiões diagnosticamente relevantes (o parasita). Em contraste, métodos mais finos (Gradientes Integrados, SHAP) produziram explicações menos direcionadas, frequentemente distribuindo pixels de alta atribuição amplamente pela imagem, particularmente com backbones mais pesados como o ResNet-18.
• Consistência: Houve discordância estruturada entre Grad-CAM e Score-CAM, concentrada em áreas anatomicamente significativas. Por outro vez, a discordância entre Gradientes Integrados e SHAP apareceu como ruído difuso e não estruturado.
• Fragilidade de XAI: Crucialmente, nenhum método de XAI foi robusto à corrupção de imagem. A confiabilidade da explicação degradou significativamente em níveis de ruído plausíveis na prática clínica, mesmo quando as previsões subjacentes permaneceram precisas. Isso indica que as explicações não podem ser confiadas como sinais estáveis em ambientes ruidosos.
• Comportamento do ViT: O Vision Transformer focou em regiões altamente localizadas (especificamente o ponto de cromatina), contrastando com os padrões de ativação mais difusos das CNNs.

Significância e Alegações

O artigo argumenta que, para cenários clínicos de recursos limitados, modelos leves e eficientes por design (MobileNet-v3, EfficientNet-B0) são suficientes para o diagnóstico de malária, pois igualam o desempenho preditivo de modelos maiores sem o ônus computacional.

No entanto, o estudo destaca uma limitação significativa no estado atual do implantação de IA responsável: a vulnerabilidade das explicações post-hoc. Os autores alegam que, embora os modelos possam permanecer precisos sob ruído, suas explicações tornam-se não confiáveis. Esse desacoplamento entre a acurácia da previsão e a estabilidade da explicação sugere que confiar em XAI para validação clínica em ambientes ruidosos do mundo real exige cautela extrema. O trabalho apoia a implementação de arquiteturas eficientes, mas alerta que a interpretabilidade desses sistemas não é garantida sob as condições imperfeitas típicas das regiões endêmicas de malária.