Bayesian sample size calculations for external validation studies of risk prediction models

Aquí presento un resumen técnico detallado del artículo "Bayesian sample size calculations for external validation studies of risk prediction models" (Cálculos de tamaño muestral bayesianos para estudios de validación externa de modelos de predicción de riesgo), escrito por Sadatsafavi et al. (mayo 2025).

1. Planteamiento del Problema

La validación externa de modelos de predicción de riesgo es una inversión crítica en tiempo y recursos. Los métodos actuales para calcular el tamaño muestral necesario (como los propuestos por Riley et al.) se basan en un enfoque frecuentista que presenta limitaciones significativas:

• Suposición de valores fijos: Estos métodos requieren que el investigador especifique valores fijos y conocidos para las métricas de rendimiento del modelo (discriminación, calibración) en la población objetivo. Sin embargo, debido a la variabilidad muestral de los estudios previos, existe incertidumbre inherente sobre el rendimiento real del modelo.
• Incertidumbre no cuantificada: Al tratar los parámetros de rendimiento como verdades absolutas, los métodos convencionales ignoran la incertidumbre sobre el modelo mismo, lo que puede llevar a tamaños muestrales subóptimos o a una falsa sensación de seguridad.
• Limitaciones en la utilidad clínica: Para la Utilidad Neta (Net Benefit - NB), una métrica de decisión clínica, los criterios basados únicamente en la precisión de intervalos de confianza (CI) son cuestionables. La inferencia tradicional no aborda directamente la probabilidad de tomar la decisión clínica correcta.

2. Metodología Propuesta

Los autores proponen un marco general bayesiano para el cálculo de tamaños muestrales en modelos de predicción para resultados binarios. Este enfoque trata las métricas de rendimiento futuras y los parámetros del modelo como entidades aleatorias.

A. Enfoque Bayesiano Mixto (Likelihood-Prior)

• Prior ($P(\theta)$): Se utiliza la evidencia existente (estudios previos) para cuantificar la incertidumbre sobre el rendimiento del modelo en la población objetivo. Los parámetros $\theta$ incluyen la prevalencia ($\phi$), el estadístico $c$ (discriminación) y la función de calibración ($h$).
• Likelihood: Una vez obtenida la nueva muestra de validación, se asume que la inferencia se basa únicamente en los datos observados.
• Identificabilidad: El marco demuestra que, bajo ciertas condiciones de regularidad (monotonía de la función de calibración e identificabilidad cuantílica), la distribución conjunta de riesgos predichos y resultados observados se puede identificar completamente especificando la distribución de la prevalencia, el estadístico $c$ y la función de calibración.

B. Algoritmos de Muestreo Monte Carlo

Se desarrollan algoritmos para generar la distribución pre-posterior (la distribución anticipada de las métricas de interés tras obtener una muestra de tamaño $N$):

1. Se muestrean parámetros $\theta$ de sus distribuciones previas.
2. Se simulan muestras de validación ($D_N$) basadas en esos parámetros.
3. Se calculan las métricas de rendimiento (anchos de CI, Utilidad Neta) para cada simulación.
4. Se repite el proceso miles de veces para obtener la distribución completa de los resultados esperados.

C. Reglas de Tamaño Muestral Propuestas

El marco introduce tres tipos de reglas para determinar $N$:

1. Precisión Esperada (ECIW): Se busca el tamaño muestral mínimo tal que el ancho esperado del intervalo de confianza (95%) cumpla un umbral $\tau$.
2. Reglas de Garantía (Assurance): En lugar de promedios, se busca el tamaño muestral que garantice una probabilidad (ej. 90%) de que el ancho del CI sea menor o igual al objetivo. Esto protege contra el riesgo de que una sola muestra aleatoria no cumpla la precisión deseada.
   • Ejemplo: $P(\text{CI width} \leq \tau) \geq 0.90$.
3. Valor de la Información (VoI) para Utilidad Neta:
   • Garantía de Optimalidad: Probabilidad de que la estrategia clínica seleccionada en la muestra de validación sea realmente la óptima en la población.
   • Valor Esperado de la Información Muestral (EVSI): Cuantifica la ganancia esperada en Utilidad Neta al realizar el estudio, comparado con la decisión tomada con la información actual.
   • EVSI Relativo (rEVSI): Ratio entre EVSI y el Valor Esperado de la Información Perfecta (EVPI), permitiendo evaluar el retorno de la inversión en términos de porcentaje de reducción de la pérdida de utilidad.

D. Implementación

Se ha desarrollado el paquete de software R bayespmtools, que incluye funciones para:

• bayespm_prec(): Calcular precisión y VoI para un tamaño muestral fijo.
• bayespm_samp(): Determinar el tamaño muestral mínimo que satisface criterios de precisión o VoI específicos, utilizando algoritmos de búsqueda de raíces estocásticos (Robbins-Monro y Optimización Simultánea).

3. Estudio de Caso: Deterioro de Pacientes con COVID-19

Los autores aplicaron su marco a la validación del modelo ISARIC 4C para predecir el deterioro de pacientes hospitalizados con COVID-19 en la región de Londres (UK).

• Datos de entrada: Se utilizaron los resultados de una meta-análisis de validación interna-externa de 8 regiones del Reino Unido para construir las distribuciones previas de la prevalencia, el estadístico $c$, la calibración media y la pendiente de calibración.
• Comparación:
  • Enfoque de Riley (Convencional): Requería un tamaño muestral de 1,056 (dictado por la precisión de la pendiente de calibración).
  • Enfoque Bayesiano (Precisión Esperada): Similar al convencional (~1,064).
  • Enfoque Bayesiano (Garantía del 90%): Requería 1,181 muestras para asegurar que la pendiente de calibración cumpliera el criterio con un 90% de probabilidad.
• Análisis de Valor de la Información (VoI):
  • Al analizar la curva EVSI, se observó que aumentar la muestra de 522 (dictado por otras métricas) a 1,181 (dictado por la calibración) resultaba en un aumento marginal de la utilidad clínica esperada (solo un 8.8% de ganancia adicional).
  • Conclusión del caso: Dado el bajo retorno marginal en utilidad clínica y la inspección visual de los errores de calibración, los autores recomendaron un tamaño muestral más pequeño de 522, relajando el criterio estricto de la pendiente de calibración sin comprometer significativamente la utilidad clínica.

4. Contribuciones Clave

1. Cuantificación explícita de la incertidumbre: Permite incorporar la incertidumbre sobre el rendimiento del modelo (basada en estudios previos) directamente en el diseño del estudio, en lugar de asumir valores fijos.
2. Reglas de decisión basadas en la probabilidad: Introduce reglas de "garantía" (assurance) que aseguran que los objetivos de precisión se cumplan con una probabilidad alta, no solo en promedio.
3. Integración de la Utilidad Neta con VoI: Propone un cambio de paradigma para la métrica de Utilidad Neta, alejándose de los intervalos de confianza tradicionales hacia análisis de Valor de la Información (EVSI) y Garantía de Optimalidad, que son más relevantes para la toma de decisiones clínicas.
4. Herramienta de Software: Pone a disposición la comunidad el paquete bayespmtools para facilitar la implementación de estos cálculos complejos.

5. Significado e Impacto

• Eficiencia en la investigación: El enfoque bayesiano puede revelar que los tamaños muestrales requeridos por métodos convencionales (especialmente aquellos dictados por la calibración) son excesivos si el objetivo principal es la utilidad clínica, permitiendo ahorrar recursos.
• Toma de decisiones más robusta: Al considerar la probabilidad de éxito (garantía) y el valor de la información, los investigadores pueden diseñar estudios que minimicen el riesgo de resultados ambiguos o decisiones clínicas subóptimas.
• Cambio cultural: Fomenta un cambio hacia la aceptación y comunicación de la incertidumbre en la predicción de riesgos, alineando el diseño de estudios con la realidad de que los modelos entrenados en muestras finas son inherentemente inciertos.
• Flexibilidad: El marco permite enfoques híbridos, donde se puede fijar el tamaño muestral basado en criterios de precisión para algunas métricas y evaluar las consecuencias en términos de utilidad clínica para otras.

En resumen, este trabajo proporciona un marco riguroso y flexible para el diseño de estudios de validación externa, superando las limitaciones de los métodos frecuentistas al integrar la incertidumbre del modelo y los objetivos de decisión clínica en un solo marco probabilístico.