Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy

Resumo Técnico: Quantificando o ruído de sinal introduzido pela IA Explicável em dados de ECG com Entropia Espectral

Definição do Problema
Em aplicações de saúde, particularmente para monitoramento de ECG por dispositivos vestíveis (wearables), modelos de aprendizado profundo requerem ferramentas de IA Explicável (XAI) para justificar decisões e facilitar a verificação por especialistas. No entanto, as técnicas de XAI existentes (ex: SHAP, LIME, GRAD-CAM) dependem de heurísticas como amostragem e segmentação, que inevitavelmente introduzem "auto-ruído" na explicação. Esse ruído manifesta-se como características de destaque espúrias que não são realmente utilizadas pelo modelo. Existe uma lacuna significativa na literatura: quase metade das aplicações de XAI publicadas não avalia as explicações em si, e as diretrizes atuais (ex: FUTURE-AI) recomendam a avaliação quantitativa da sensibilidade da XAI ao ruído. Os autores identificam uma falta de métodos sistemáticos para distinguir entre o "sinal real do modelo" e o "ruído introduzido pela XAI", observando que, embora existam medidas de acurácia, elas não quantificam a precisão ou a "poluição" de uma explicação.

Metodologia
O artigo propõe a Entropia Espectral como uma métrica de aproximação (proxy) para quantificar a quantidade de auto-ruído adicionado pelas ferramentas de XAI. Os autores tratam a saída da XAI (o mapa de atribuição) como um sinal.

• Base Teórica: Baseando-se na entropia de Shannon, os autores postulam que uma "má" explicação assemelha-se ao ruído branco (alocação aleatória uniforme de importância), o que corresponde à entropia máxima. Por outro lado, uma explicação precisa com sinal concentrado deve exibir menor entropia.
• Cálculo: O método envolve o cálculo da Densidade Espectral de Potência (PSD) da explicação usando um periodograma (via scipy), normalizando a PSD e aplicando a fórmula padrão da entropia de Shannon ($PSE = -\sum p_i \log p_i$). Os autores observam que, embora as saídas de XAI não sejam séries temporais, o cálculo da entropia espectral permanece robusto independentemente da taxa de amostragem assumida.
• Configuração Experimental:
  • Dados: 1.000 registros de ECG do conjunto de dados MIT-BIH, classificados em 17 tipos de arritmia.
  • Modelo: Uma CNN 1D de 17 camadas (treinada pelos autores com base em Sun et al. [15]) alcançando 93,5% de acurácia.
  • Ferramentas de XAI Avaliadas: GRAD-CAM, LIME (variante para séries temporais), DEEP-LIFT, REX e duas variantes de SHAP (GRADIENTSHAP, KERNELSHAP).
  • Verdade Fundamental (Ground Truth): Para a classe de Contração Ventricular Prematura (PVC), 20 ECGs foram anotados manualmente por especialistas do domínio para estabelecer uma região de "verdade fundamental" de explicação.
  • Pré-processamento: Valores negativos (que indicam características que distraem da classificação) foram ignorados durante o cálculo da entropia para focar apenas nas contribuições positivas.

Principais Resultados
O estudo avaliou a entropia espectral média entre todas as 17 classes e casos específicos (PVC):

• Níveis de Ruído: As ferramentas dividiram-se em duas categorias amplas: alto ruído e baixo ruído.
  • Alto Ruído: KERNELSHAP, LIME, GRADIENTSHAP e DEEP-LIFT exibiram alta entropia espectral (ex: KERNELSHAP: 10,21, LIME: 10,20), indicando um sinal próximo ao ruído branco ou picos espúrios significativos.
  • Baixo Ruído: GRAD-CAM (1,07) e REX (1,93) mostraram entropia significativamente menor, sugerindo menos auto-ruído.
• Acurácia vs. Entropia: Os autores observaram que a baixa entropia não garante a acurácia. Por exemplo, o LIME apresentou baixa entropia, mas falhou em destacar a região correta de PVC. Inversamente, o GRADIENTSHAP apresentou alta entropia, mas identificou corretamente os picos relevantes, embora com ruído espúrio.
• Consistência: Para a maioria das ferramentas, a entropia permaneceu relativamente constante entre as diferentes classes de arritmia, sugerindo que a métrica captura o ruído de heurística basal inerente à ferramenta, em vez de variações específicas da classe. O REX foi uma exceção, mostrando alta variância, potencialmente devido à sua capacidade de gerar múltiplas explicações.
• Descobertas Específicas: O KERNELSHAP foi considerado inadequado para este tipo de dado devido ao seu perfil de ruído. O GRAD-CAM mostrou ruído mínimo, mas sofreu com artefatos de upsampling que desalinharam o sinal com a verdade fundamental.

Significância e Alegações
O artigo afirma que a entropia espectral serve como uma medida de aproximação (proxy) de baixo custo e tempo real para quantificar a "precisão" de uma explicação, especificamente o grau de informação espúria adicionada pela própria ferramenta de XAI.

• Distinção da Acurácia: Os autores afirmam explicitamente que a entropia espectral mede a concentração do sinal (precisão) em vez da correção da localização (acurácia). Uma explicação de baixa entropia ainda pode estar no lugar errado, mas uma explicação de alta entropia é provavelmente muito difusa para ser útil.
• Escalabilidade: A principal contribuição é um método para escalar a avaliação de ferramentas de XAI além das limitações de recursos da anotação manual por especialistas. Ele complementa métricas existentes (como curvas de deleção/inserção ou fidelidade) ao focar nas características de ruído interno do processo de geração da explicação.
• Limitações: Os autores mantêm-se modestos, reconhecendo que a entropia não pode determinar se os critérios de um modelo se alinham com especialistas humanos e que não é uma medida isolada de "veracidade". É proposta como uma ferramenta para aumentar, e não substituir, a avaliação de especialistas do domínio.