A reproducible and extensible framework for benchmarking competing risks survival models

Resumen Técnico: Un Marco Reproducible y Extensible para la Evaluación de Modelos de Supervivencia con Riesgos Compitentes

Planteamiento del Problema

El análisis de supervivencia en el cuidado de la salud a menudo involucra riesgos competentes (RC), donde la ocurrencia de un evento (por ejemplo, muerte por cáncer) impide la ocurrencia de otros (por ejemplo, muerte cardiovascular). Aunque se han propuesto numerosos métodos estadísticos y de aprendizaje automático para manejar los RC, su evaluación sistemática y su adopción clínica siguen siendo limitadas. La literatura actual sufre de tres brechas principales:

1. Falta de Benchmarks Reproducibles: Los estudios suelen utilizar conjuntos de datos dispares, pasos de preprocesamiento no reportados o métricas de evaluación inconsistentes (frecuentemente limitadas a la discriminación), lo que conduce a un optimismo excesivo y dificulta la comparación de nuevos métodos.
2. Integración de Software Limitada: Los métodos novedosos suelen implementarse como código ad-hoc sin integración en marcos de trabajo de aprendizaje automático más amplios, lo que dificulta su accesibilidad.
3. Desafíos de Interpretabilidad: A diferencia de los modelos de regresión que proporcionan estimaciones directas de coeficientes, los modelos complejos de aprendizaje automático (por ejemplo, aprendizaje profundo) requieren pasos de interpretabilidad post-hoc, que a menudo no están estandarizados para entornos de RC.

Además, tratar los eventos de RC como censura viola el supuesto de censura no informativa, lo que conduce a una sobreestimación de los riesgos y a un posible sesgo algorítmico, particularmente en poblaciones envejecidas con multimorbilidad.

Metodología

Los autores desarrollaron un flujo de trabajo de benchmarking de código abierto y reproducible diseñado para evaluar modelos de RC a través de múltiples conjuntos de datos bajo un entorno experimental unificado. El marco está implementado tanto en R como en Python, asegurando la interoperabilidad.

1. Datos y Modelos:

• Conjuntos de Datos: El estudio utilizó cinco conjuntos de datos con variaciones en tamaño de muestra y tasas de eventos (PBC, HD, METABRIC, Framingham y un subconjunto de SEER Breast Cancer), asegurando una tasa mínima de eventos de riesgo competente de aproximadamente el 10%.
• Modelos: Se evaluó un conjunto diverso de seis métodos, que van desde la regresión clásica hasta el aprendizaje profundo:
  • Basados en Regresión: Cox PH de causa específica (csCPH), regresión de Fine-Gray (FGR), Proporcional de Riesgo de Subdistribución Penalizado (FGRP).
  • Basados en Árboles: Random Survival Forests (RSF).
  • Aprendizaje Profundo: DeSurv (tiempo continuo) y DeepHit (tiempo discreto).
• Validación: Se empleó un enfoque de validación cruzada anidada para prevenir la fuga de datos (data leakage). El bucle externo manejó la evaluación del modelo, mientras que el bucle interno gestionó el ajuste de hiperparámetros.
• Datos Faltantes: Las estrategias incluyeron análisis de caso completo, imputación univariante (mediana/moda) e Imputación Múltiple por Ecuaciones Encadenadas (MICE), todas aplicadas dentro de los pliegues de la validación cruzada para evitar la fuga de datos.

2. Métricas de Desempeño:
El marco evalúa cuatro aspectos complementarios del desempeño predictivo:

• Calibración: Gráficos visuales, Índice de Calibración Integrado (ICI) y relaciones Observado-a-Esperado (O/E), utilizando pseudo-observaciones para manejar la censura.
• Discriminación: AUC dependiente del tiempo (tdAUC) para horizontes fijos y variantes del C-index ($C_{td}$ y $C_{\tau}$) para una evaluación global. Este último utiliza el Tiempo Medio de Pérdida Restringida (RMTL) para resumir las Funciones de Incidencia Acumulada (CIF).
• Error de Predicción Global: Brier Score ponderado (BS) e Integrated Brier Score (IBS).
• Utilidad Clínica: Análisis de Curva de Decisión (DCA) para evaluar el beneficio neto frente a las estrategias de "tratar a todos" y "no tratar a nadie".

3. Interpretabilidad:

• Específicos del Modelo: Coeficientes de regresión para modelos paramétricos.
• Agnósticos al Modelo:
  • Importancia por Permutación: Medida a través de la degradación del IBS.
  • CifSHAP(t): Una nueva extensión de SurvSHAP(t) para entornos de RC. Este método descompone la Función de Incidencia Acumulada (CIF) de la causa específica a lo largo del tiempo para proporcionar contribuciones de características dependientes del tiempo y agnósticas al modelo.

4. Diseño Experimental:
El ajuste de hiperparámetros se estandarizó entre los modelos utilizando una búsqueda de cuadrícula (grid search) optimizada para el IBS (minimizando el error de predicción global) para asegurar comparaciones justas, en lugar de funciones de pérdida específicas del modelo. Los modelos de aprendizaje profundo se entrenaron con un presupuesto fijo de épocas (300) para evitar sesgar el ajuste hacia funciones de pérdida específicas mediante la parada temprana (early stopping).

Resultados Clave

• Consistencia de Predicción: Los modelos de regresión clásica (csCPH, FGR, FGRP) mostraron una concordancia casi perfecta en las predicciones a nivel individual. Los modelos de aprendizaje automático (RSF, DeSurv, DeepHit) produjeron asignaciones de riesgo más distintas, siendo DeepHit el que mostró la menor correlación con los modelos basados en regresión.
• Variabilidad de Desempeño: Ningún modelo único dominó en todas las métricas y conjuntos de datos.
  • DeSurv a menudo superó a los demás en medidas globales (IBS, $C_{\tau}$) en conjuntos de datos más grandes como METABRIC.
  • FGRP (Fine-Gray Penalizado) se mantuvo altamente competitivo, particularmente en conjuntos de datos más grandes (Framingham, SEER), liderando frecuentemente en discriminación ($C_{td}$).
  • DeepHit frecuentemente resultó ser el peor ejecutor en este benchmark, particularmente respecto a la calibración en puntos temporales tardíos.
• Sensibilidad de las Métricas: Los rankings de los modelos fueron altamente sensibles a la métrica elegida. Por ejemplo, un modelo con el IBS más bajo no necesariamente tenía el C-index más alto. Esto subraya el riesgo de "manipulación de métricas" (metric-hacking) si los criterios de evaluación no se preespecifican según los objetivos clínicos.
• Interpretabilidad: Tanto la importancia por permutación como CifSHAP(t) arrojaron rankings de covariables altamente consistentes (por ejemplo, Quimioterapia, MKI67, PGR fueron los principales predictores en METABRIC). CifSHAP(t) reveló además que las contribuciones de las covariables (por ejemplo, la quimioterapia) podían variar en signo y magnitud dependiendo del tipo de evento observado (causa 1 vs. causa 2) y el tiempo.
• Impacto de la Optimización: El ajuste de hiperparámetros basado en IBS produjo modelos más equilibrados (mejor calibración y discriminación) en comparación con el ajuste basado en funciones de pérdida de modelos específicos o $C_{td}$, que a menudo sacrificaban la calibración en favor de la discriminación.
• Tiempo de Ejecución: Los métodos basados en regresión fueron computacionalmente eficientes. Los métodos de aprendizaje automático, particularmente RSF y DeSurv, incurrieron en costos computacionales significativamente mayores, siendo RSF el que presentó la mayor carga debido al ajuste de bosques de árboles (ensemble tree fitting).

Significación y Reivindicaciones

El artículo posiciona este trabajo no como un ranking definitivo del "mejor" modelo, sino como una base reproducible y extensible para la evaluación sistemática de métodos de riesgos competentes.

• Estandarización: El marco aborda la falta de estudios de comparación imparciales al proporcionar un entorno experimental común, un preprocesamiento consistente y un conjunto unificado de métricas de evaluación.
• Relevancia Clínica: Al ir más allá de la discriminación para incluir la calibración, el error global y la utilidad clínica (DCA), el marco alinea la evaluación de modelos con las necesidades prácticas de la toma de decisiones clínicas.
• Innovación en Interpretabilidad: La introducción de CifSHAP(t) extiende la interpretabilidad de los modelos a contribuciones dependientes del tiempo y de la causa específica, llenando un vacío en la comprensión de cómo las covariables impulsan el riesgo en entornos de RC.
• Guía Práctica: Los autores enfatizan que los métodos de regresión más simples (como FGRP) a menudo alcanzan un desempeño competitivo con menores costos computacionales, sugiriendo que deben servir como bases sólidas. También destacan que los criterios de ajuste de hiperparámetros (por ejemplo, IBS vs. Pérdida) influyen críticamente en el comportamiento y los rankings de los modelos, instando a la transparencia en el reporte de las estrategias de ajuste.

Los autores concluyen que, si bien sus hallazgos son condicionales a los conjuntos de datos y la configuración utilizados, el marco facilita el desarrollo, la validación y la adopción de futuros modelos de predicción de riesgos competentes al proporcionar una herramienta robusta y de código abierto para desarrolladores y profesionales.