Bridging the Gap: Explainability Metrics for AI Image-Based Clinical Diagnostics

Resumo Técnico: Preenchendo a Lacuna: Métricas de Explicabilidade para Diagnósticos Clínicos Baseados em Imagens por IA

Definição do Problema
Embora a Inteligência Artificial (IA), particularmente as Redes Neurais Convolucionais (CNNs), demonstre potencial para aumentar a precisão diagnóstica em imagens médicas, sua integração nos fluxos de trabalho clínicos é dificultada pela natureza de "caixa-preta" desses modelos. Os clínicos frequentemente carecem de confiança em sistemas que não podem fornecer um raciocínio interpretável alinhado ao julgamento clínico. Os frameworks de avaliação atuais dependem fortemente de métricas estatísticas (ex: acurácia, sensibilidade, especificidade), que quantificam a correção preditiva, mas falham em avaliar se o raciocínio interno do modelo se alinha à lógica do especialista humano. Isso cria uma lacuna crítica: um modelo pode alcançar alta acurácia enquanto se baseia em correlações espúrias ou recursos de imagem irrelevantes, tornando-se clinicamente pouco confiável, apesar de seu desempenho estatístico.

Metodologia
O estudo propõe um framework de avaliação em estágios para avaliar o desempenho da IA no diagnóstico de infecções em feridas crônicas, integrando a explicabilidade como uma métrica central.

1. Conjunto de Dados e Treinamento do Modelo: Os autores utilizaram um conjunto de dados público de imagens de feridas crônicas (545 infectadas, 697 não infectadas) adquiridas sob condições clínicas do mundo real. Três arquiteturas de CNN — ResNet-50, EfficientNet V2B0 e DenseNet121 — foram treinadas utilizando transferência de aprendizado (transfer learning). Para lidar com a variabilidade de iluminação e dispositivos de aquisição, uma rede de normalização de iluminação baseada em GAN (baseada em Pix2Pix) foi aplicada como uma etapa de pré-processamento. Os modelos foram refinados usando técnicas padrão (dropout, interrupção precoce, redução da taxa de aprendizado) e avaliados em um conjunto de teste retido de 200 imagens.
2. Técnicas de Explicabilidade: Dois métodos de explicabilidade post-hoc foram aplicados a um subconjunto de 10 imagens de feridas infectadas classificadas corretamente:
   • Mapas de Saliência (Saliency Maps): Um método baseado em gradiente que computa a derivada parcial da saída em relação aos pixels de entrada para identificar regiões de alta influência.
   • LIME (Local Interpretable Model-agnostic Explanations): Um método baseado em perturbação que segmenta as imagens em superpixels (usando agrupamento SLIC), mascara-os e treina um modelo linear local substituto para aproximar o comportamento da CNN.
3. Verdade de Campo Clínico (Clinical Ground Truth): Dois especialistas em feridas crônicas revisaram independentemente as mesmas 10 imagens e chegaram a um consenso sobre as regiões específicas de pixels indicativas de infecção. Essas anotações serviram como o padrão de referência clínica.
4. Métrica Proposta (Índice de Concordância de Explicabilidade - EAI): Para quantificar o alinhamento entre as explicações da IA e o raciocínio clínico, os autores introduziram o Índice de Concordância de Explicabilidade (EAI). O EAI é calculado para casos de verdadeiros positivos, onde tanto a IA quanto os clínicos concordam com o diagnóstico. Ele é definido como a razão entre os pixels identificados como influentes pelo método de explicabilidade (LIME ou Saliência) que sobrepõem as regiões anotadas pelo clínico, dividida pelo número total de pixels anotados pelo clínico.
   • Conceito da Fórmula: EAI = \frac{|Pixels_{IA} \cap Pixels_{Clinico}| | $|Pixels_{Clinico}|$

Principais Resultados

• Desempenho Diagnóstico: Os modelos de CNN alcançaram uma classificação moderada de acurácia no conjunto de teste, com o EfficientNet V2B0 apresentando o melhor desempenho com 72% de acurácia, 64% de sensibilidade e 80% de especificidade. A ResNet-50 alcançou 71% de acurácia, e a DenseNet121 alcançou 66%.
• Desempenho de Explicabilidade: Apesar de uma acurácia de classificação razoável, o alinhamento entre as explicações geradas pela IA e o raciocínio clínico foi baixo.
  • LIME: Os valores médios de EAI variaram de 0,2119 (ResNet-50) a 0,2999 (EfficientNet V2B0).
  • Mapas de Saliência: Os valores médios de EAI variaram de 0,1946 (DenseNet121) a 0,2811 (ResNet-50).
• Discrepância: Os baixos escores de EAI (variando aproximadamente entre 0,19 e 0,30) indicam que, embora os modelos tenham identificado corretamente as feridas infectadas, as regiões visuais que eles destacaram como "importantes" para a decisão raramente coincidiram com as regiões que os clínicos identificaram como diagnosticamente relevantes.

Principais Contribuições

1. Introdução do Índice de Concordância de Explicabilidade (EAI): O artigo propõe um novo índice quantitativo projetado para medir a concordância entre as explicações visuais da IA e as anotações clínicas. Diferente das métricas tradicionais que apenas avaliam a correção da predição, o EAI avalia o raciocínio por trás da predição.
2. Validação Empírica da Lacuna "Acurácia-Explicabilidade": O estudo fornece evidências concretas de que a alta acurácia de classificação não garante a interpretabilidade clínica. A disparidade significativa entre a acurácia (até 72%) e o EAI (aprox. 0,20–0,30) destaca que os modelos atuais podem estar "certos pelos motivos errados".
3. Avaliação de Métodos de xAI Padrão no Contexto Clínico: O estudo demonstra que técnicas de explicabilidade amplamente utilizadas (LIME e Mapas de Saliência) têm dificuldade em capturar consistentemente recursos clinicamente relevantes em tarefas complexas de imagem médica, como a avaliação de feridas, sugerindo a necessidade de refinamento específico ao domínio.

Significância e Alegações
Os autores afirmam que o framework EAI proposto oferece um caminho prático para preencher a lacuna entre o desempenho algorítmico e a confiabilidade clínica. O estudo alega que, para que a IA seja integrada com segurança na saúde, a validação deve estender-se além das métricas estatísticas para incluir o alinhamento do raciocínio do modelo com a expertise clínica.

O artigo conclui modestamente que, embora o EAI seja um passo à frente, os métodos de explicabilidade atuais são insuficientes para implantação clínica sem maior refinamento. Ele enfatiza que a explicabilidade é uma dimensão necessária, embora não suficiente, da IA confiável, observando que fatores como calibração de modelo e estimativa de incerteza também desempenham papéis críticos. Os autores posicionam o EAI não como uma solução final, mas como uma ferramenta para avaliar quantitativamente e impulsionar melhorias na transparência dos sistemas de IA médica.