Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy

Resumen Técnico: Cuantificación del ruido de señal introducido por la IA explicable en datos de ECG mediante la entropía espectral

Planteamiento del problema
En las aplicaciones de atención médica, particularmente para el monitoreo de ECG mediante dispositivos vestibles (wearables), los modelos de aprendizaje profundo requieren herramientas de IA explicable (XAI) para justificar decisiones y facilitar la verificación de expertos. Sin embargo, las técnicas de XAI existentes (por ejemplo, SHAP, LIME, GRAD-CAM) dependen de heurísticas como el muestreo y la segmentación, lo que inevitablemente introduce "auto-ruido" en la explicación. Este ruido se manifiesta como un resaltado espurio de características de la señal que no son realmente utilizadas por el modelo. Existe una brecha significativa en la literatura: casi la mitad de las aplicaciones de XAI publicadas no evalúan las explicaciones mismas, y las directrices actuales (por ejemplo, FUTURE-AI) recomiendan la evaluación cuantitativa de la sensibilidad de la XAI al ruido. Los autores identifican una falta de métodos sistemáticos para distinguir entre la "señal real del modelo" y el "ruido introducido por la XAI", señalando que, si bien existen medidas de precisión, estas no cuantifican la precisión o el "desorden" de una explicación.

Metodología
El artículo propone la Entropía Espectral como una métrica de aproximación (proxy) para cuantificar la cantidad de auto-ruido añadido por las herramientas de XAI. Los autores tratan la salida de la XAI (el mapa de atribución) como una señal.

• Base teórica: Basándose en la entropía de Shannon, los autores postulan que una "mala" explicación se asemeja al ruido blanco (asignación aleatoria uniforme de importancia), lo que corresponde a una entropía máxima. Por el contrario, una explicación precisa con una señal concentrada debería exhibir una entropía menor.
• Cálculo: El método consiste en calcular la Densidad Espectral de Potencia (PSD) de la explicación utilizando un periodograma (vía scipy), normalizar la PSD y aplicar la fórmula estándar de la entropía de Shannon ($PSE = -\sum p_i \log p_i$). Los autores señalan que, aunque las salidas de XAI no son series temporales, el cálculo de la entropía espectral sigue siendo robusto independientemente de la frecuencia de muestreo asumida.
• Configuración experimental:
  • Datos: 1,000 grabaciones de ECG del conjunto de datos MIT-BIH, clasificadas en 17 tipos de arritmia.
  • Modelo: Una CNN 1D de 17 capas (entrenada por los autores basándose en Sun et al. [15]) que alcanza un 93.5% de precisión.
  • Herramientas de XAI evaluadas: GRAD-CAM, LIME (variante para series temporales), DEEP-LIFT, REX y dos variantes de SHAP (GRADIENTSHAP, KERNELSHAP).
  • Verdad de campo (Ground Truth): Para la clase de Contracción Ventricular Prematura (PVC), 20 ECGs fueron anotados manualmente por expertos en el dominio para establecer una región de "verdad de campo" de la explicación.
  • Preprocesamiento: Se ignoraron los valores negativos (que indican características que distraen de la clasificación) durante el cálculo de la entropía para centrarse únicamente en las contribuciones positivas.

Resultos clave
El estudio evaluó la entropía espectral promedio a través de todos los 17 tipos de arritmia y casos de estudio específicos (PVC):

• Niveles de ruido: Las herramientas se dividieron en dos categorías amplias: alto ruido y bajo ruido.
  • Alto ruido: KERNELSHAP, LIME, GRADIENTSHAP y DEEP-LIFT exhibieron una alta entropía espectral (por ejemplo, KERNELSHAP: 10.21, LIME: 10.20), lo que indica una señal cercana al ruido blanco o picos espurios significativos.
  • Bajo ruido: GRAD-CAM (1.07) y REX (1.93) mostraron una entropía significativamente menor, lo que sugiere menos auto-ruido.
• Precisión vs. Entropía: Los autores observaron que una baja entropía no garantiza la precisión. Por ejemplo, LIME tuvo una entropía baja pero no logró resaltar la región correcta de la PVC. Por el contrario, GRADIENTSHAP tuvo una entropía alta pero identificó correctamente los picos relevantes, aunque con ruido espurio.
• Consistencia: Para la mayoría de las herramientas, la entropía se mantuvo relativamente constante a través de las diferentes clases de arritmia, lo que sugiere que la métrica captura el ruido heurístico base inherente a la herramienta más que variaciones específicas de la clase. REX fue una excepción, mostrando una alta varianza, potencialmente debido a su capacidad para generar múltiples explicaciones.
• Hallazgos específicos: KERNELSHAP se consideró inadecuado para este tipo de datos debido a su perfil de ruido. GRAD-CAM mostró un ruido mínimo pero sufrió de artefactos de sobremuestreo (upsampling) que desalinearon la señal con la verdad de campo.

Significado y afirmaciones
El artículo afirma que la entropía espectral sirve como una medida de aproximación económica y en tiempo real para cuantificar la "precisión" de una explicación, específicamente el grado de información espuria añadida por la propia herramienta de XAI.

• Distinción de la precisión (Accuracy): Los autores declaran explícitamente que la entropía espectral mide la concentración de la señal (precisión/precision) más que la corrección de la ubicación (exactitud/accuracy). Una explicación de baja entropía aún puede estar en el lugar equivocado, pero una explicación de alta entropía es probablemente demasiado difusa para ser útil.
• Escalabilidad: La principal contribución es un método para escalar la evaluación de las herramientas de XAI más allá de las limitaciones de recursos de la anotación manual de expertos. Complementa las métricas existentes (como las curvas de eliminación/inserción o la fidelidad) al centrarse en las características de ruido internas del proceso de generación de la explicación.
• Limitaciones: Los autores mantienen la modestia, reconociendo que la entropía no puede determinar si los criterios de un modelo se alinean con los expertos humanos y que no es una medida de "veracidad" por sí sola. Se propone como una herramienta para aumentar, no para reemplazar, la evaluación del experto en el dominio.