Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease

Este artículo propone un marco de explicabilidad multi-nivel que valida la robustez y consistencia de las explicaciones SHAP en modelos de aprendizaje automático para el diagnóstico y pronóstico de la enfermedad de Alzheimer, demostrando que las explicaciones basadas en marcadores cognitivos y funcionales son estables y transferibles entre diferentes etapas de la enfermedad y arquitecturas de modelos.

Lo esencial

¡Hola! Imagina que la Inteligencia Artificial (IA) es como un médico genio que ha estudiado millones de historiales clínicos para detectar el Alzheimer. Este médico es increíblemente bueno: puede decirte si una persona está sana, si tiene un deterioro cognitivo leve (MCI) o si ya tiene Alzheimer, y hasta puede predecir cómo evolucionará la enfermedad en el futuro.

Sin embargo, hay un problema: este médico es un "caja negra". Te da el diagnóstico, pero no te explica por qué llegó a esa conclusión. Para un doctor real, esto es peligroso; no pueden confiar en una receta si no saben qué ingredientes la componen.

Aquí es donde entra este paper. Los autores (Pablo y Enrique) no solo quieren que el médico sea bueno, quieren que sea transparente, honesto y consistente.

El Problema: "¿Es el médico de fiar?"

Hasta ahora, los científicos usaban una herramienta llamada SHAP (piensa en ella como una "lupa mágica") para ver qué factores (memoria, orientación, genética) pesaban más en la decisión del médico. Pero había un fallo:

• Si le preguntabas al médico sobre un paciente sano vs. uno enfermo, la lupa mostraba ciertas razones.
• Si le preguntabas sobre un paciente con deterioro leve, la lupa mostraba otras.
• Si le pedías que predijera el futuro, volvía a cambiar de opinión.

Esto generaba desconfianza. ¿Estaba el médico siendo inconsistente? ¿O estaba "alucinando" razones que no eran reales?

La Solución: El "Inspector de Calidad"

Este paper propone un marco de trabajo (una metodología) para actuar como un inspector de calidad. En lugar de mirar solo una explicación, comparan tres niveles de consistencia:

1. Coherencia Interna: ¿Dice el médico lo mismo que su propia lógica interna? (Comparan la "lupa" SHAP con la lista de prioridades del modelo).
2. Estabilidad entre Escenarios: ¿Si el paciente cambia de "sano" a "enfermo", las razones principales siguen siendo las mismas? (¿Es la lupa consistente?).
3. Transferencia entre Tareas: ¿Las razones para diagnosticar hoy son las mismas que las razones para predecir el futuro?

La Analogía del "Gourmet de la Comida"

Imagina que el Alzheimer es un plato de comida complejo.

• El Diagnóstico es decir: "Este plato es picante".
• El Pronóstico es decir: "Este plato se va a quemar en 10 minutos".

Antes, los investigadores miraban el plato y decían: "¡Ah! El picante viene del chile". Pero si mirabas otro plato similar, decían: "¡Ah! El picante viene del pimentón". ¡Confusión!

Los autores de este paper hicieron un experimento masivo:

• Usaron una base de datos gigante (NACC) con miles de pacientes.
• Entrenaron a 8 "chef-médicos" diferentes usando AutoML (una herramienta que automatiza la creación de estos modelos, como si fuera un robot que prueba miles de recetas hasta encontrar la perfecta).
• Luego, usaron su "Inspector de Calidad" para ver si todos los chefs usaban los mismos ingredientes principales para explicar sus decisiones.

¿Qué descubrieron? (Los Resultados)

¡La noticia es excelente! El "Inspector" confirmó que el médico es muy confiable:

1. Los ingredientes clave son siempre los mismos: En casi todos los casos, lo que más pesaba para el diagnóstico y el pronóstico eran las pruebas de cognición y función (como la memoria, la capacidad de orientarse, hacer las cuentas o prestar atención).
   • Analogía: Es como si todos los chefs dijeran: "Este plato es picante porque tiene mucho chile", sin importar si es un plato de entrada o un postre. El "chile" (la memoria y la orientación) es el factor indiscutible.
2. La dirección es la misma: No solo usaban los mismos ingredientes, sino que los usaban de la misma manera. Si la memoria baja, el riesgo sube. Siempre.
3. El cambio es mínimo: Al comparar el diagnóstico con el pronóstico, las explicaciones cambiaron muy poco. Es decir, las razones por las que un paciente tiene Alzheimer hoy, son las mismas razones por las que se predice que empeorará mañana.

¿Por qué es importante esto?

Imagina que eres un doctor. Antes, tenías miedo de usar la IA porque las explicaciones eran confusas y cambiaban según el día. Ahora, gracias a este estudio, tienes una garantía de calidad.

• Confianza: Sabes que la IA no está "alucinando" razones aleatorias.
• Consistencia: Sabes que si la IA dice que un paciente tiene riesgo, es porque sus pruebas de memoria y orientación son bajas, y eso es algo que tú, como humano, puedes entender y verificar.
• Futuro: Esto abre la puerta para que la IA se use en hospitales reales, ayudando a los médicos a tomar decisiones más rápidas y seguras, no solo para diagnosticar, sino para planificar el futuro del paciente.

En resumen

Este paper no inventó un nuevo modelo mágico, sino que creó un sistema de auditoría para asegurar que las explicaciones de la Inteligencia Artificial sobre el Alzheimer sean sólidas, estables y honestas. Demostraron que, cuando se hace bien, la IA no es una caja negra misteriosa, sino una herramienta transparente que se apoya en los mismos pilares que la medicina humana: la memoria, la orientación y la función diaria.

¡Es un paso gigante para que la tecnología deje de ser un misterio y se convierta en un aliado de confianza para los médicos y pacientes!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Mejora de la Explicabilidad SHAP para Modelos de ML Diagnósticos y Pronósticos en la Enfermedad de Alzheimer

1. Planteamiento del Problema

La detección temprana y el pronóstico de la Enfermedad de Alzheimer (EA) dependen cada vez más de modelos de Aprendizaje Automático (ML). Sin embargo, su adopción clínica se ve limitada por dos factores principales:

• Complejidad técnica: La necesidad de expertos para entrenar e interpretar modelos complejos ("cajas negras").
• Falta de robustez en las explicaciones: Aunque métodos como SHAP (SHapley Additive exPlanations) son comunes, los estudios existentes suelen centrarse en explicaciones aisladas para tareas individuales. Existe una carencia de evidencia sobre la robustez, estabilidad y transferibilidad de estas explicaciones a través de diferentes etapas de la enfermedad, arquitecturas de modelos u objetivos de predicción (diagnóstico vs. pronóstico). Sin validación cuantitativa, los clínicos no pueden confiar plenamente en que los marcadores explicativos sean consistentes.

2. Metodología

El estudio propone un marco de explicabilidad multinivel para cuantificar la coherencia, estabilidad y consistencia de las explicaciones.

• Datos: Se utilizó el National Alzheimer's Coordinating Center - Uniform Data Set (NACC-UDS), que incluye datos longitudinales de 53.318 participantes (195.196 instancias) con variables demográficas, clínicas, neuropsicológicas y genéticas.
• Pipeline de Datos:
  • Preprocesamiento: Eliminación de características con >50% de valores faltantes, imputación (mediana para numéricos, moda para categóricos) y escalado.
  • Codificación: One-hot encoding para baja cardinalidad y codificación por frecuencia para alta cardinalidad.
• Automatización (AutoML): Se empleó PyCaret para optimizar y entrenar modelos sin intervención manual extensa.
  • Tareas:
    1. Diagnóstico: Clasificación de estados cognitivos (NC: Control Normal, MCI: Deterioro Cognitivo Leve, EA).
    2. Pronóstico: Predicción del estado cognitivo 4 años después de la visita inicial.
  • Escenarios: Se entrenaron 8 modelos en total (4 diagnósticos y 4 pronósticos) cubriendo combinaciones binarias (NC vs AD, NC vs MCI, MCI vs AD) y multiclase (NC vs MCI vs AD).
• Métricas de Explicabilidad: Se generaron gráficos de Importancia de Características (FI) y SHAP para cada modelo. La estabilidad se evaluó mediante:
  1. Coherencia intra-modelo: Correlación entre FI y SHAP (Spearman, Kendall, Jaccard@k).
  2. Estabilidad inter-escenario: Consistencia de SHAP entre diferentes etapas de la enfermedad (ej. NC vs AD vs MCI).
  3. Transferencia inter-tarea: Consistencia entre modelos de diagnóstico y pronóstico.
  • Métricas específicas: Correlación de rangos (Spearman $\rho$, Kendall $\tau$), superposición de características principales (Jaccard@10/20), consistencia de signos (dirección de la influencia) y cambio en la magnitud explicativa ($\Delta|SHAP|$).

3. Contribuciones Clave

• Marco de Validación Cuantitativa: Propone tratar la explicabilidad no solo como un elemento cualitativo, sino como una propiedad medible mediante métricas de estabilidad y coherencia.
• Análisis Multinivel: Evalúa la explicabilidad en tres dimensiones: dentro del modelo, entre escenarios clínicos y entre tareas (diagnóstico vs. pronóstico).
• Integración AutoML-XAI: Demuestra la viabilidad de usar plataformas AutoML (PyCaret) para generar modelos clínicamente relevantes con explicaciones robustas, reduciendo la barrera técnica.
• Validación de Marcadores: Confirma que los marcadores cognitivos y funcionales son estables y transferibles, proporcionando una base sólida para la interpretación clínica.

4. Resultados

• Rendimiento del Modelo: Los modelos alcanzaron un alto rendimiento. En diagnóstico (NC vs AD), XGBoost logró una precisión de 0.986 y AUC de 0.998. En pronóstico, LightGBM alcanzó 0.926 de precisión y 0.976 de AUC.
• Marcadores Dominantes: Las características cognitivas y funcionales (ej. MEMORY, JUDGMENT, ORIENT, PAYATTN del CDR y MMSE) dominaron las explicaciones SHAP en todas las tareas, superando a los marcadores genéticos.
• Estabilidad Intra-Modelo: Se observó una coherencia moderada a alta entre FI y SHAP (Spearman $\rho$ entre 0.50 y 0.95), indicando que las explicaciones post-hoc reflejan fielmente la lógica interna del modelo.
• Estabilidad Inter-Escenario:
  • La consistencia SHAP fue alta en comparaciones de etapas avanzadas (ej. MCI vs AD), pero menor en transiciones tempranas (NC vs MCI), reflejando la heterogeneidad de la progresión temprana.
  • La consistencia de signos fue del 100% en la mayoría de las comparaciones, indicando que los marcadores mantienen su dirección de influencia.
• Transferencia Diagnóstico-Pronóstico:
  • Alta correlación de rangos entre tareas ($\rho$ = 0.61–0.94).
  • Cambio mínimo en la magnitud explicativa ($\Delta|SHAP| < 0.03$).
  • Los vectores de contribución por dominio mostraron que las características de CDR y FAQ mantienen su peso, con un ligero aumento en el peso de características genéticas en el pronóstico.

5. Significado e Impacto

• Confianza Clínica: Al demostrar que las explicaciones de SHAP son estables y consistentes a través de diferentes modelos y objetivos, se reduce la incertidumbre para los clínicos, facilitando la integración de estas herramientas en flujos de trabajo médicos.
• Validación de Mecanismos de Enfermedad: La estabilidad de los marcadores cognitivos (CDR, MMSE) confirma que los modelos aprenden patrones biológicamente relevantes y no artefactos de datos.
• Metodología Reproducible: El marco propuesto ofrece un estándar para evaluar la robustez de la explicabilidad en otras aplicaciones clínicas más allá de la EA.
• Limitaciones y Futuro: El estudio se limita a datos tabulares clínicos. Futuras investigaciones deberían extender este marco a datos multimodales (neuroimagen como MRI/PET) y realizar análisis longitudinales dinámicos de la importancia de las características a lo largo del tiempo.

En resumen, el artículo demuestra que es posible construir sistemas de ML para la EA que no solo sean precisos, sino también explicables de manera robusta y verificable, un paso crucial para su adopción real en entornos clínicos.