Investigating Trustworthiness of Nonparametric Deep Survival Models for Alzheimer's Disease Progression Analysis

Resumen Técnico: Investigación de la Confiabilidad de Modelos de Supervivencia Profundos No Paramétricos para el Análisis de la Progresión de la Enfermedad de Alzheimer

Enunciado del Problema
La Enfermedad de Alzheimer (EA) es un trastorno neurodegenerativo progresivo caracterizado por una heterogeneidad significativa en las tasas de progresión, lo que complica la toma de decisiones clínicas y la planificación de la atención a largo plazo. Si bien el análisis de supervivencia es un marco estándar para modelar datos de tiempo hasta el evento (como la conversión de un diagnóstico no EA a EA), los avances recientes en Aprendizaje Profundo (DL) han introducido Modelos de Supervivencia Profundos No Paramétricos (NDSMs). Estos modelos ofrecen la capacidad de aprender distribuciones de supervivencia individualizadas (ISDs) sin suposiciones paramétricas restrictivas. Sin embargo, las evaluaciones existentes de los NDSMs en la progresión de la EA se centran en gran medida en el rendimiento discriminativo (por ejemplo, el Índice de Concordancia), descuidando aspectos críticos de confiabilidad como la calibración, la interpretabilidad y la equidad. Además, las métricas de equidad estándar a menudo dependen de puntuaciones de riesgo o razones de riesgo inherentes a métodos semiparamétricos, lo que las hace inadecuadas para modelos no paramétricos que generan distribuciones completas de supervivencia. Esta brecha plantea preocupaciones de que los NDSMs puedan exhibir sesgos aprendidos contra grupos marginados (por ejemplo, basados en sexo, raza o educación), potencialmente amplificando las disparidades existentes en la atención sanitaria.

Metodología
Los autores proponen una tubería de evaluación integral para evaluar la confiabilidad de los NDSMs utilizando datos del Centro Nacional de Coordinación de Alzheimer (NACC), que comprende más de 55.000 pacientes y 1.000 características. El estudio se centra en tres atributos sensibles: sexo, raza y educación.

1. Preprocesamiento de Datos: El conjunto de datos fue procesado para definir el tiempo de supervivencia como el intervalo entre la visita inicial y la conversión a un diagnóstico de EA. Se aplicó censura a la derecha a los pacientes que no se convirtieron para su última visita. Las etiquetas de tiempo continuo se agruparon en 10 intervalos discretos para acomodar las arquitecturas NDSM. Las características se seleccionaron basándose en la relevancia clínica, se imputaron (media para continuas, moda para categóricas) y se normalizaron.
2. Modelos Evaluados: El estudio comparó cinco NDSM de última generación: Negativo Log-Likelihood (NLL), Regresión Logística Neuronal Multi-Tarea (N-MTLR), DeepHit, Puntuación de Probabilidad de Ranking (RPS) y RPS+Rank.
3. Métricas de Evaluación:
   • Discriminación: Medida a través del Índice de Concordancia Dependiente del Tiempo (C-td).
   • Calibración: Evaluada utilizando la puntuación de calibración de Kaplan-Meier (KM) (divergencia KL entre la curva KM y las predicciones promedio del modelo) y la Puntuación Brier Integrada (IBS).
   • Equidad: Los autores introdujeron dos métricas novedosas específicamente para modelos no paramétricos:
     • Impureza de Concordancia Dependiente del Tiempo (CI-td): Mide la variación en el rendimiento discriminativo entre subgrupos calculando la diferencia en las fracciones de concordancia entre grupos.
     • Calibración KM-Fair: Una métrica de remuestreo (bootstrapped) que compara las puntuaciones de calibración KM por grupo para determinar si un modelo está sesgado hacia subgrupos específicos.
   • Interpretabilidad: Se realizó un análisis de importancia de características basado en permutaciones para identificar predictores estables de la progresión de la EA.
4. Estudio de Ablación: Los autores evaluaron el impacto de eliminar los atributos sensibles (sexo, raza, educación) de los datos de entrenamiento para determinar si estas características introducen sesgo sin mejorar el rendimiento predictivo.

Contribuciones Clave

1. Nuevas Métricas de Equidad: El artículo introduce CI-td y KM-Fair, dos métricas diseñadas para cuantificar el sesgo en modelos de supervivencia profundos no paramétricos donde las métricas de equidad tradicionales basadas en puntuaciones de riesgo son inaplicables.
2. Marco de Evaluación Integral: Los autores presentan una tubería rigurosa que analiza conjuntamente la discriminación, la calibración, la equidad y la interpretabilidad para los NDSM en un entorno clínico del mundo real (progresión de la EA), yendo más allá de la evaluación centrada en el rendimiento.
3. Análisis Empírico del Sesgo: El estudio proporciona un análisis extenso del sesgo a través del sexo, la etnia y la educación, demostrando que, aunque los NDSM son herramientas robustas, a menudo exhiben una injusticia significativa hacia grupos demográficos subrepresentados o específicos.

Resultados

• Compensación entre Rendimiento y Calibración: Se observó una clara compensación entre discriminación y calibración. Los métodos basados en RPS lograron una calibración superior pero exhibieron un rendimiento discriminativo más débil y una mayor inestabilidad (desviación estándar >0.1). Por el contrario, el modelo NLL más simple produjo el rendimiento discriminativo más fuerte.
• Hallazgos sobre Equidad: Todos los modelos exhibieron baja impureza para el atributo "sexo" (probablemente debido al equilibrio del conjunto de datos), pero mostraron un sesgo considerable con respecto a la raza y la educación.
  • Los métodos basados en RPS mostraron mejor equidad con respecto a la raza pero peor equidad con respecto a la educación.
  • Otros modelos (NLL, DeepHit, N-MTLR) mostraron el patrón inverso.
  • El análisis KM-Fair indicó que los modelos generalmente favorecieron a las poblaciones con mayor representación en el conjunto de datos (por ejemplo, pacientes blancos y negros, aquellos con títulos universitarios).
• Impacto de los Atributos Sensibles: Omitir las características demográficas sensibles (sexo, raza, educación) de los datos de entrenamiento generalmente mejoró las métricas de equidad con poca o ninguna degradación en el rendimiento de supervivencia. En algunos casos (por ejemplo, NLL, DeepHit), omitir la raza mejoró realmente el rendimiento discriminativo. Cabe destacar que N-MTLR no mostró mejoras en la equidad cuando se eliminaron las características sensibles, lo que sugiere que su sesgo se aprende implícitamente a partir de variables no demográficas.
• Importancia de las Características: El análisis de permutación reveló que las cinco características predictivas principales (MEMORY, ORIENT, NACCAGE, JUDGEMENT, CDRSUM) fueron consistentes en los cinco NDSM, lo que indica que el rendimiento del modelo está impulsado por biomarcadores clínicos y cognitivos estables en lugar de optimizaciones específicas de funciones de pérdida.

Significado y Afirmaciones
El artículo afirma que, si bien los modelos de supervivencia impulsados por aprendizaje profundo son herramientas robustas capaces de ayudar en la toma de decisiones clínicas para el cuidado de la EA, no son inherentemente justos y a menudo exhiben un sesgo considerable. Los autores argumentan que las métricas de equidad establecidas son insuficientes para los modelos no paramétricos y que sus métricas propuestas (CI-td y KM-Fair) son necesarias para cuantificar estos sesgos.

El estudio concluye que eliminar las características demográficas sensibles de los datos de entrenamiento es una estrategia viable para mitigar el sesgo sin sacrificar la precisión predictiva. Sin embargo, los autores notan modestamente que este enfoque no elimina completamente el sesgo, ya que los modelos aún pueden aprender sesgos implícitos de otras variables correlacionadas. El trabajo destaca la necesidad de una evaluación multidimensional (incluyendo equidad y calibración) para asegurar la preparación clínica y la equidad de los modelos de supervivencia profunda, especialmente dado el ruido inherente en el diagnóstico de la EA y los posibles sesgos de muestra en el conjunto de datos del NACC.