When Explanations Mislead: A Systematic Audit of Saliency Map Localization Failures in Chest X-Ray AI Despite Correct Predictions

Resumo Técnico: Quando as Explicações Enganam

Problema
O artigo aborda uma lacuna crítica de segurança na radiologia clínica baseada em IA: a suposição acrítica de que predições corretas por modelos de aprendizado profundo são inerentemente acompanhadas por explicações espaciais precisas. Mapas de saliência (ex: GradCAM, Integrated Gradients) são amplamente utilizados como a camada de explicação de fato para construir a confiança do clínico. No entanto, a crença implícita de que um modelo que identifica uma patologia (ex: consolidação) está necessariamente atento à região anatômica correta permanece não verificada em escala. Os autores identificam um modo específico de "falha perigosa": casos em que um modelo faz uma predição correta com alta confiança, mas o mapa de saliência gerado falha em localizar a patologia, potencialmente induzindo o erro de clínicos que dependem da explicação visual para validar o output da IA.

Metodologia
O estudo conduz uma auditoria sistemática utilizando o conjunto de dados VinDr-CXR, que apresenta caixas delimitadoras (bounding boxes) de consenso de múltiplos radiologistas para 28 achados patológicos.

• Conjunto de Dados e Amostragem: De 18.000 imagens, os autores selecionaram uma amostra estratificada de 416 imagens através de seis patologias (Atelectasia, Cardiomegalia, Consolidação, Nódulo/Massa, Derrame Pleural, Pneumotórax). O ground truth foi definido como a média de três anotações de radiologistas.
• Modelo: Um DenseNet-121 pré-treinado (do TorchXRayVision) foi utilizado como linha de base. O modelo não foi ajustado (fine-tuned) no VinDr-CXR para evitar vazamento de dados (data leakage). As predições foram consideradas positivas se a confiança excedesse 0,5.
• Métodos de XAI: Quatro métodos de explicabilidade post-hoc foram aplicados às 336 imagens que receberam predições positivas corretas:
  1. GradCAM e GradCAM++: Mapas de ativação de classe baseados em gradiente.
  2. Integrated Gradients: Atribuição axiomática ao longo de um caminho a partir de uma base (baseline).
  3. LIME: Modelagem substituta local via perturbações de superpixels.
• Métricas de Avaliação:
  • Interseção sobre União (IoU): Mediu a sobreposição entre o mapa de saliência binarizado (50% de ativação superior) e o ground truth do radiologista.
  • Acurácia do Pointing Game: Uma métrica binária que pontua 1 se o pixel de máxima ativação cair dentro da caixa do ground truth.
  • Taxa de Falha Perigosa: A proporção de predições corretas onde o IoU ficou abaixo de 0,1. Este limiar foi selecionado para representar uma sobreposição clinicamente insignificante que poderia ativamente desviar a atenção.

Principais Resultados
A auditoria revela um desacoplamento severo entre a acurácia da predição e a fidelidade da explicação:

• Alta Taxa de Falha: Em todos os quatro métodos de XAI, 83,0% das imagens classificadas corretamente constituíram "falhas perigosas" (IoU < 0,1).
• Baixo Desempenho de Localização:
  • IoU Médio: Variou de 0,044 (LIME) a 0,062 (Integrated Gradients).
  • Acurácia do Pointing Game: Variou de 1,2% (LIME) a 27,4% (Integrated Gradients).
• Comparação de Métodos: O Integrated Gradients apresentou o melhor desempenho, mas ainda falhou em 76,2% dos casos. O LIME apresentou o pior desempenho, com uma taxa de falha de 92,0%.
• Variação de Patologia: Condições que ocupam grandes regiões anatômicas (Cardiomegalia, Derrame Pleural) mostraram valores de IoU ligeiramente superiores, enquanto condições focais (Nódulo/Massa, Pneumotórax) mostraram a menor acurácia de localização.
• Evidência Qualitativa: Casos representativos (ex: Atelectasia) mostraram modelos prevendo corretamente a condição com alta confiança (ex: 63%) enquanto o mapa de saliência se concentrava em regiões irrelevantes (ex: bases pulmonares/diafragma) em vez da patologia anotada.

Principais Contribuições

1. Quantificação do Desacoplamento: O estudo fornece evidência empírica de que, na atual IA de raio-X de tórax (especificamente DenseNet-121), alta acurácia de predição não garante explicações espacialmente fiéis.
2. Definição de "Falha Perigosa": Os autores formalizam um modo de falha distinto da simples classificação incorreta: uma predição correta pareada com uma explicação enganosa, o que representa um risco único para a segurança clínica ao explorar a confiança do clínico.
3. Benchmarking de Métodos XAI: O artigo estabelece uma linha de base comparativa para GradCAM, GradCAM++, Integrated Gradients e LIME no conjunto de dados VinDr-CXR, demonstrando que mesmo o método de melhor desempenho (Integrated Gradients) falha em atender aos padrões clínicos de localização.

Significância e Alegações
O artigo argumenta que a prática atual de implantar sistemas aumentados por XAI baseando-se apenas na acurácia da predição é fundamentalmente falha. Os autores alegam que:

• A Plausibilidade Visual é Insuficiente: Mapas de calor que parecem anatomicamente plausíveis podem ser sistematicamente errôneos em sua localização.
• Portões de Validação Obrigatórios: A acurácia da predição sozinha é insuficiente para o implante clínico. Os autores recomendam que a validação de localização contra o ground truth do radiologista se torne uma etapa obrigatória antes que as ferramentas de XAI sejam integradas aos fluxos de trabalho radiológicos.
• Recomendações Específicas:
  • Um pointing game accuracy mínimo de 60% deve ser estabelecido como limiar de implante.
  • O Integrated Gradients é preferível em relação às variantes de GradCAM e ao LIME para tarefas de raio-X de tórax, embora nenhum atenda atualmente aos padrões de segurança propostos.
  • O LIME não deve ser usado para localização neste cenário devido à sua acurácia de pointing próxima de zero.

O estudo conclui que a suposição "predição correta implica explicação confiável" não é sustentada pelos dados e que, sem uma validação rigorosa de localização, os mapas de saliência podem ativamente degradar a tomada de decisão clínica em vez de apoiá-la.