Comparative Analysis of Machine Learning Models vs. Traditional Clinical Calculators for Cardiovascular Risk Prediction

Resumen Técnico: Análisis Comparativo de Modelos de Aprendizaje Automático frente a Calculadoras Clínicas Tradicionales para la Predicción del Riesgo Cardiovascular

Planteamiento del Problema
Las enfermedades cardiovasculares (ECV) siguen siendo la principal causa de mortalidad mundial; sin embargo, las estrategias de prevención primaria dependen en gran medida de las calculadoras de riesgo tradicionales (p. ej., Framingham, ASCVD, SCORE, HEARTS). Una limitación crítica de estas herramientas es que derivan de poblaciones de ingresos altos de Europa y América del Norte, lo que conduce a una pobre calibración y precisión predictiva cuando se aplican a contextos epidemiológicos diversos, particularmente en comunidades hispanas/latinas. Si bien el aprendizaje automático (ML) ofrece el potencial de capturar interacciones no lineales en datos biomédicos, su aplicación en la predicción clínica de ECV enfrenta desafíos relacionados con el severo desequilibrio de clases (los sobrevivientes superan ampliamente en número a los eventos) y la necesidad de una calibración de probabilidad rigurosa para asegurar la utilidad clínica. Este estudio aborda la brecha en el desempeño comparativo entre los modelos de ML de vanguardia y once calculadoras clínicas convencionales dentro de una cohorte diversa en los EE. UU.

Metodología
El estudio utilizó datos de la Encuesta Nacional de Examen de Salud y Nutrición (NHANES) 1999–2018, vinculados con el Índice Nacional de Defunciones para el seguimiento de la mortalidad hasta 2019.

• Conjunto de Datos: Se derivó una cohorte analítica final de 12,847 participantes a partir de aproximadamente 230,000 registros brutos tras un proceso de limpieza de nueve etapas. El desenlace fue la mortalidad cardiovascular (tasa de eventos del 15.9%).
• Variables: El modelo utilizó 16 variables predictoras (incluyendo edad, sexo, presión arterial, lípidos, diabetes, tabaquismo) y 5 características de ingeniería (p. ej., IMC, Índice Aterogénico), sumando un total de 21 entradas para los modelos basados en árboles.
• Desarrollo del Modelo: Se evaluaron seis algoritmos: Regresión Logística, Riesgos Proporcionales de Cox, Gradient Boosting, AdaBoost, Random Forest y Extra Trees. Estos se combinaron con seis estrategias de equilibrio de clases (incluyendo sobremuestreo aleatorio en proporciones 1:1, 2:1, 3:1, submuestreo y SMOTE), produciendo 36 configuraciones de modelos distintas.
• Calibración: Para abordar la inflación artificial de la prevalencia de eventos causada por el sobremuestreo, las probabilidades predichas se corrigieron utilizando el método de ajuste de probabilidad previa de Saerens.
• Comparación: Los modelos de ML se compararon con once calculadoras convencionales (ASCVD Original/Colombia, Framingham Original/Colombia, High/Low SCORE, SCORE2, HEARTS Caribe/Norteamérica/Colombia, PROCAM y REGICOR).
• Métricas de Evaluación: El desempeño se evaluó mediante AUC-ROC, sensibilidad, especificidad, puntuación F1 y una puntuación compuesta ponderada (40% AUC, 20% sensibilidad, 20% F1, 10% Kappa, 10% inverso de Brier). La significancia estadística de las diferencias de AUC se determinó mediante la prueba de DeLong.
• Herramientas: Se desarrolló una plataforma web, "CardioPrediQ", para integrar estas calculadoras y modelos de ML, operando enteramente en el lado del cliente para garantizar la privacidad de los datos.

Resultados Clave

• Desempeño de los Modelos: El Gradient Boosting Machine (GBM) con sobremuestreo 2:1 y calibración de Saerens alcanzó el mayor desempeño (AUC = 0.8934; puntuación compuesta = 0.7904). Las seis primeras posiciones en el ranking compuesto fueron ocupadas exclusivamente por modelos de ML y estadísticos.
• Comparación con Calculadoras Tradicionales: La mejor calculadora tradicional fue ASCVD Original (AUC = 0.8843). Las pruebas de DeLong revelaron que el modelo GBM superó significativamente a las calculadoras derivadas de poblaciones no estadounidenses (High/Low SCORE, Framingham, PROCAM, REGICOR; p < 0.05). Sin embargo, la diferencia entre el modelo GBM y las calculadoras tradicionales de mejor desempeño (ASCVD Original, HEARTS Caribe, ASCVD Colombia, SCORE2, HEARTS Norteamérica) no fue estadísticamente significativa.
• Compromisos (Trade-offs): Las calculadoras tradicionales como ASCVD Original y HEARTS Caribe exhibieron una alta sensibilidad (0.89–0.95) pero una menor especificidad (0.59–0.71), lo que indica una tendencia hacia la sobrepredicción del riesgo. En contraste, el modelo GBM mantuvo un compromiso más equilibrado (Sensibilidad: 0.8515; Especificidad: 0.8167).
• Calibración: El método de calibración de Saerens mejoró sustancialmente la calibración del modelo, reduciendo el puntaje de Brier de 0.1286 a 0.1158.
• Importancia de las Características: La edad fue el predictor dominante (41.2% de importancia relativa), seguida de la presión arterial sistólica (18.7%) y el colesterol total (9.4%). Las características de ingeniería contribuyeron modestamente, sugiriendo que las variables clínicas primarias son suficientes para la mayor parte de la capacidad discriminativa.

Significancia y Reivindicaciones
El artículo sostiene que los modelos de ML de conjunto con un equilibrio de clases y una calibración de probabilidad adecuados logran mejoras modestas pero estadísticamente significativas en la discriminación del riesgo cardiovascular en comparación con las calculadoras tradicionales, particularmente cuando estas últimas han sido derivadas de poblaciones con perfiles epidemiológicos distintos.

• Superioridad Dependiente del Contexto: El estudio valida que, si bien los modelos de ML superan a las calculadoras derivadas de Europa en esta cohorte de EE. UU., su ventaja sobre las calculadoras derivadas de EE. UU. (como ASCVD) es estadísticamente insignificante en términos de discriminación únicamente.
• Utilidad de la Calibración: Una contribución primaria es la demostración de que la calibración de Saerens corrige eficazmente la sobreestimación sistemática del riesgo que suele observarse en los modelos de ML entrenados con sobremuestreo, transformándolos en herramientas con una excelente calibración de probabilidad aptas para la toma de decisiones compartidas.
• Integración de Herramientas: La plataforma "CardioPrediQ" se presenta como una solución escalable para la evaluación de riesgo integrada, permitiendo a los clínicos realizar la validación cruzada de las estimaciones a través de múltiples herramientas y modelos de ML sin que los datos salgan del dispositivo local.
• Implicaciones para América Latina: Los hallazgos respaldan el uso continuo de herramientas específicas de la región como el programa OMS HEARTS en entornos latinoamericanos, al tiempo que sugieren que los modelos de ML calibrados podrían ofrecer una alternativa viable donde no se dispone de datos de resultados locales para la recalibración.

Los autores concluyen que, aunque el ML ofrece un desempeño compuesto superior, su integración en la práctica clínica debe ir acompañada de una calibración rigurosa para asegurar una estimación de riesgo precisa y evitar el sobretratamiento. El estudio enfatiza que la elección de la calculadora de riesgo debe guiarse por la población de derivación de la cohorte objetivo.