A Cost-Sensitive and Explainable Evaluation Framework for Chronic Kidney Disease Prediction Models

Resumen Técnico: Un Marco de Evaluación Sensible al Costo y Explicable para Modelos de Predicción de la Enfermedad Renal Crónica

Planteamiento del Problema
La enfermedad renal crónica (ERC) afecta aproximadamente al 14% de los adultos a nivel mundial, progresando a menudo de forma asintomática hasta etapas avanzadas donde la intervención es difícil. Si bien el aprendizaje automático (ML) ofrece potencial para la detección temprana, una barrera significativa para su despliegue clínico es la naturaleza de "caja negra" de los modelos de ensamble de alto rendimiento, que carecen de la interpretabilidad de los modelos estadísticos tradicionales. Además, las métricas de evaluación estándar (p. ej., la exactitud) a menudo no tienen en cuenta las consecuencias asimétricas de la clasificación errónea: un falso negativo (diagnóstico omitido) representa un riesgo mucho mayor para los resultados de los pacientes que un falso positivo (cribado innecesario). La literatura existente frecuentemente prioriza la exactitud predictiva sobre la evaluación conjunta de la interpretabilidad, la contribución de las características y las compensaciones sensibles al costo, lo que limita la utilidad práctica de estos modelos en los sistemas de soporte a la decisión clínica.

Metodología
El estudio evalúa tres modelos de aprendizaje supervisado—Regresión Logística (LR), Bosque Aleatorio (RF) y Extreme Gradient Boosting (XGBoost)—utilizando un conjunto de datos sintético de ERC que contiene 1,659 registros de pacientes (1,524 casos positivos, 135 casos negativos). La metodología emplea un marco de evaluación multifacético:

1. Preprocesamiento de Datos: Los valores numéricos faltantes se imputaron utilizando la mediana, y las variables categóricas se convirtieron en variables dummy. Las variables altamente correlacionadas (p. ej., subtipos específicos de colesterol) se agruparon o eliminaron para abordar la multicolinealidad, particularmente para el modelo LR. Los datos se dividieron en conjuntos de entrenamiento (80%) y de prueba (20%) mediante un muestreo estratificado.
2. Evaluación del Desempeño: Los modelos se evaluaron mediante métricas estándar (exactitud, precisión, exhaustividad [recall], puntuación F1, AUC) y validación cruzada de cinco pliegues. Crucialmente, el estudio va más allá del umbral de clasificación predeterminado de 0.5 para realizar una optimización de umbrales.
3. Análisis Sensible al Costo: Se aplicó un marco de costos donde se asignó una penalización de $9,000 a los falsos negativos y de $5,000 a los falsos positivos. Esto refleja la realidad clínica de que los diagnósticos omitidos conducen a una progresión severa de la enfermedad, mientras que los falsos positivos resultan en cribados adicionales y menos perjudiciales. Se variaron los umbrales para identificar el punto que minimizara el costo total.
4. Interpretabilidad:
   • Regresión Logística: Analizada mediante análisis de coeficientes e importancia por permutación.
   • Modelos de Ensamble (RF, XGBoost): Evaluados mediante importancia por permutación y explicaciones SHapley Aditivas (SHAP) para proporcionar explicaciones tanto globales como locales de las contribuciones de las características.

Resultos Clave

• Desempeño Predictivo: Con el umbral predeterminado de 0.5, todos los modelos alcanzaron aproximadamente un 92% de exactitud. Sin embargo, debido al severo desequilibrio de clases, la exactitud se consideró menos informativa que la exhaustividad, la precisión y la puntuación F1, las cuales se mantuvieron altas (F1 ~96%) en todos los modelos.
• Optimización Sensible al Costo: La optimización de umbrales alteró significamente los resultados de los modelos.
  • Falsos Negativos: En sus respectivos umbrales óptimos, tanto el Bosque Aleatorio como el XGBoost eliminaron por completo las predicciones de falsos negativos. La Regresión Logística, aunque produjo la menor cantidad de falsos positivos, fue el único modelo en retener falsos negativos.
  • Costo Total: A pesar de tener menos falsos positivos, la Regresión Logística incurrió en el costo general más alto debido a la presencia de falsos negativos y a la mayor penalización asignada a estos. XGBoost y el Bosque Aleatorio lograron costos totales más bajos al eliminar los falsos negativos, incluso con un ligero aumento en los falsos positivos.
• Estabilidad: XGBoost demostró el mayor Área Bajo la Curva (AUC) y la mayor estabilidad en la validación cruzada, lo que sugiere capacidades de generalización superiores en comparación con LR y RF.
• Importancia de las Características: Todos los modelos identificaron consistentemente predictores clínicamente plausibles.
  • Consenso Global: La Tasa de Filtración Glomerular (GFR) y la creatinina sérica fueron identificadas como los contribuyentes más significativos en todos los modelos.
  • Especificidad del Modelo: XGBoost también destacó la proteína en la orina, la presión arterial (sistólica/diastólica) y la glucosa en sangre en ayunas. El análisis SHAP confirmó que los aumentos en la creatinina, la urea (BUN) y la presión arterial, junto con las disminuciones en la GFR, impulsaron las predicaciones de mayor riesgo.
  • Alineación Clínica: Las características identificadas por los modelos de "caja negra" (RF y XGBoost) se alinearon con factores de riesgo clínicos establecidos (p. ej., diabetes e hipertensión), validando su plausibilidad clínica.

Significancia y Reivindicaciones
El artículo sostiene que extender la evaluación de los modelos más allá de la exactitud predictiva tradicional para incluir la optimización de umbrales, el análisis sensible al costo y las técnicas de explicabilidad proporciona un marco más clínicamente relevante para evaluar la idoneidad del despliegue de ML.

• Idoneidad Clínica: El estudio demuestra que los modelos de ensamble, a menudo descartados como "cajas negras", pueden hacerse clínicamente confiables cuando se combinan con IA explicable (SHAP) y umbrales sensibles al costo. Específicamente, la capacidad de XGBoost y RF para eliminar los falsos negativos en umbrales optimizados los hace operativamente superiores para la detección temprana de enfermedades en comparación con la Regresión Logística, que es más interpretable pero más costosa en este contexto específico.
• Construcción de Confianza: Al demostrar que los predictores más influyentes en los modelos complejos se alinean con la investigación médica establecida (p. ej., el papel crítico de la GFR y la creatinina), el marco ayuda a cerrar la brecha entre el alto rendimiento del ML y la confianza del clínico.
• Contribución Metodológica: La investigación destaca que los umbrales predeterminados suelen ser subóptimos para las aplicaciones de salud. Argumenta a favor de un cambio hacia marcos de evaluación que ponderen explícitamente los costos asimétricos de la clasificación errónea para guiar la selección y el despliegue de modelos.

Limitaciones
Los autores reconocen que el estudio se basa en un conjunto de datos sintético generado con fines educativos, lo que limita la generalizabilidad de los hallazgos a los registros clínicos del mundo real. Además, los valores de costo ($9,000 vs. $5,000) son supuestos diseñados para estimular los compromisos clínicos en lugar de reflejar la economía de la salud real. También se señala como una limitación la falta de validación externa debido a la escasez de conjuntos de datos clínicos comparables con variables de GFR.