Resumen Técnico: ¿Cuándo son adecuadas las reglas de puntuación? Uniendo la teoría y la práctica en la evaluación de modelos de supervivencia

1. Planteamiento del problema

En el análisis de supervivencia, la evaluación de modelos se ha basado tradicionalmente en índices de concordancia, que evalúan únicamente la capacidad de clasificación (discriminación) de las predicciones. Sin embargo, los modelos de supervivencia modernos suelen generar pronósticos probabilísticos de la distribución completa del tiempo hasta el evento, lo que requiere métricas de evaluación que incorporen tanto la calibración como la discriminación. Las reglas de puntuación (scoring rules), como el Brier score y el Log-Loss, son un estándar para este propósito en la clasificación y la regresión.

El problema central abordado en este artículo es la adecuación (properness) de estas reglas de puntuación en el contexto de datos de supervivencia con censura por la derecha. Una regla de puntuación es "adecuada" (proper) si la pérdida esperada se minimiza cuando la distribución predicha coincide con la verdadera distribución generadora de datos. Aunque la adecuación está bien comprendida para datos no censurados, su comportamiento bajo censura —particularmente bajo censura independiente y en muestras finitas— no está totalmente caracterizado. Específicamente, no está claro si las métricas comúnmente utilizadas, como el Survival Brier Score (SBS), el Integrated Survival Brier Score (ISBS) y el Right-Censored Log-Loss (RCLL), siguen siendo estrictamente adecuadas cuando se violan las condiciones de regularidad (como el desvanecimiento de las colas), lo cual es común en estudios del mundo real con seguimiento finito o fracciones de curación.

2. Metodología

Los autores emplean un enfoque dual que combina la derivación teórica y experimentos de simulación extensos.

Marco Teórico

• Adecuación Marginal: El artículo define la adecuación basándose en resultados observables $(T, \Delta)$, donde $T = \min(Y, C)$ es el tiempo observado y $\Delta$ es el indicador de evento. Esta definición "marginal" asume censura independiente ($Y \perp\!\!\perp C$) pero permite que las predicciones dependan de covariables. Esto contrasta con las definiciones de adecuación condicional que condicionan sobre las covariables $X$.
• Condiciones de Regularidad: El análisis distingue entre dos entornos:
  1. Idealizado: Las distribuciones de supervivencia y de censura son absolutamente continuas con colas que se desvanecen ($\lim_{t\to\infty} S(t) = 0$).
  2. Práctico: Las distribuciones pueden tener colas no evanescentes (masa residual) debido al seguimiento finito o fracciones de curación.
• Funciones de Pérdida Analizadas:
  • Pérdidas Exactas: Survival Continuous Ranked Probability Score (SCRPS), Negative Log-Likelihood (NLL) y Right-Censored Log-Loss (RCLL).
  • Pérdidas IPCW: Survival Brier Score (SBS), Integrated Survival Brier Score (ISBS), Integrated Binomial Log-Loss (IBLL) e Integrated Survival Absolute Score (ISAS). Estas utilizan el Ponderado por la Probabilidad Inversa de Censura (IPCW) para ajustar la censura.

Experimentos de Simulación

Se realizaron dos estudios de simulación principales para validar los hallazgos teóricos y evaluar el comportamiento en muestras finitas:

1. Evaluación de la Adecuación Empírica: Utilizando 10,000 simulaciones con tiempos de evento y censura distribuidos según Weibull, los autores evaluaron la diferencia de pérdida empírica entre la distribución real y las predicciones mal especificados a través de varios tamaños de muestra ($n=10$ a $10,000$). Esto probó si los modelos mal especificados podían lograr pérdidas esperadas menores que la verdad (violaciones de la adecuación).
2. Sensibilidad a la Mal la Especificación: Los datos se generaron a partir de un modelo log-normal de riesgos no proporcionales con curvas de supervivencia que se cruzan. El estudio comparó un modelo "Oráculo" correctamente especificado contra una secuencia de modelos progresivamente mal especificados (por ejemplo, omisión de interacciones, familias paramétricas erróneas, modelos de Cox, Random Survival Forests). La capacidad de las reglas de puntuación para discriminar entre estos modelos se evaluó bajo tasas de censura bajas y altas.
3. Sensibilidad a la Resolución de la Rejilla: Para el RCLL, que requiere estimación de densidad, se probó el impacto de la resolución de la rejilla de predicción en los puntajes absolutos y los rankings relativos.

3. Contribuciones Clave y Resultados

Hallazgos Teóricos

• RCLL: Bajo censura independiente y condiciones de regularidad estándar (colas evanescentes), el Right-Censored Log-Loss (RCLL) es estrictamente adecuado. Sin embargo, si se violan las condiciones de regularidad (es decir, si tanto la distribución de eventos como la de censura tienen masa residual positiva), el RCLL puede volverse inadecuado, favoreciendo predicciones con menor masa residual.
• SBS y ISBS: El Survival Brier Score (SBS) y el Integrated Survival Brier Score (ISBS) son estrictamente adecuados solo si la masa residual de la cola es cero. Cuando existe masa residual (común en seguimiento finito), estos puntajes se vuelven inadecuados.
  • Mecanismo de Inadecuación: El SBS esperado es minimizado por una probabilidad de supervivencia que subestima sistemáticamente la verdadera probabilidad de supervivencia. La magnitud de este sesgo es impulsada por la masa residual de la cola ($\epsilon$) y la razón entre la probabilidad de evento acumulada y la probabilidad de supervivencia de la censura en el momento de la evaluación.
  • Dependencia Temporal: El sesgo es insignificante en tiempos de evaluación tempranos, pero se vuelve pronunciado en tiempos posteriores (por ejemplo, el percentil 90) y bajo censura pesada.
• Pérdidas Exactas: Se demostró que el SCRPS y el NLL son inadecuados bajo censura independiente, incluso bajo condiciones idealizadas, debido a la incapacidad de contabilizar adecuadamente el mecanismo de censura sin un ponderado explícito o supuestos de densidad.

Hallazgos Empíricos

• Violaciones en Muestras Finitas: En muestras pequeñas ($n < 50$), el SBS y el ISBS exhiben frecuentemente violaciones de adecuación, donde modelos mal especificados logran pérdidas menores que la verdad. La frecuencia de estas violaciones disminuye a medida que el tamaño de la muestra aumenta y la masa residual de la cola disminuye.
• Poder Discriminatorio:
  • SBS: Exhibe una pobre discriminación entre modelos, especialmente en tiempos de evaluación tardíos, debido al sesgo sistemático introducido por la masa residual.
  • ISBS: Es más robusto que el SBS debido a la integración temporal, pero aún muestra una reducción en el poder de discriminación y una inadecuación ocasional en muestras pequeñas o bajo censura pesada.
  • RCLL: Demostró el comportamiento más consistente. Mantuvo la adecuación estricta en las simulaciones y proporcionó una separación superior entre modelos correctamente especificados y mal especificados en comparación con el ISBS.
• Efectos de la Resolución de la Rejilla: Los valores absolutos del RCLL son sensibles a la aproximación de la densidad de la rejilla. Las rejillas más gruesas pueden reducir artificialmente el RCLL para modelos mal especificados. Sin embargo, los rankings relativos de los modelos permanecen estables a través de diferentes resoluciones de rejilla, siempre que todos los modelos se evalúen en la misma rejilla.
• Impacto de la Tasa de Censura: Los valores absolutos del RCLL están fuertemente influenciados por la tasa de censura (una mayor censura desplaza el peso de los términos de densidad hacia los términos de supervivencia). Por lo tanto, comparar valores absolales de RCLL entre conjuntos de datos con diferentes tasas de censura es engañoso; los rankings relativos dentro de un conjunto de datos son la métrica apropiada.

4. Significancia y Recomendaciones

El artículo demuestra que la inadecuación teórica en las reglas de puntuación de supervivencia puede traducirse en comparaciones de modelos engañosas en la práctica. Específicamente, los ampliamente utilizados ISBS y SBS pueden favorecer la subestimación de las probabilidades de supervivencia cuando el seguimiento es finito o existen fracciones de curación, lo que potencialmente lleva a la selección de modelos subóptimos.

Directrices Prácticas Propuestas:

1. Evite el SBS puntual: No utilice el Survival Brier Score puntual, particularmente en tiempos de evaluación tardíos, ya que es altamente susceptible a la inadecuación.
2. Use el ISBS con Cautela: Si utiliza el ISBS, trunque el horizonte de integración (por ejemplo, hasta el percentil 80–90 del seguimiento) para mitigar la inestabilidad de la cola y asegúrese de que el tamaño de la muestra de prueba sea moderado ($n \ge 50-100$).
3. Prefiera el RCLL: El Right-Censored Log-Loss se recomienda como una alternativa teóricamente fundamentada y empíricamente robusta. Para usarlo eficazmente:
   • Asegúrese de que las densidades predichas se aproximen en una rejilla de predicción densa y consistente en todos los modelos comparados.
   • Enfatice los rankings relativos de los modelos en lugar de los valores de puntaje absolutos, especialmente en benchmarks de múltiples conjuntos de datos o cuando las tasas de censura varían.
4. Tamaño de la Muestra: Una evaluación fiable requiere tamaños de conjunto de prueba adecuados ($n \ge 50-100$) para minimizar las violaciones de muestras finitas.

Los autores concluyen que, si bien los benchmarks previos que dependen del ISBS siguen siendo mayormente confiables bajo condiciones estándar, el campo requiere un mayor desarrollo metodológico para manejar la censura y el comportamiento de las colas de manera más rigurosa. El estudio subraya la necesidad de complementar el análisis de adecuación teórica con estudios empíricos sistemáticos de discriminación y robustez.