📊 statistics

Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

Este artículo propone un nuevo marco para los cálculos del tamaño de la muestra en el desarrollo de modelos de predicción de riesgos que va más allá de centrarse en las métricas de rendimiento esperadas para considerar explícitamente la variabilidad del rendimiento, asegurando así una alta probabilidad de lograr una calibración y robustez del modelo aceptables.

Autores originales: Menelaos Pavlou, Rumana Z. Omar, Gareth Ambler

Publicado 2026-07-16

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Menelaos Pavlou, Rumana Z. Omar, Gareth Ambler

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando crear la receta perfecta para un nuevo plato. Tienes una lista de ingredientes (predictores) y quieres cocinar una receta (un modelo) que sepa exactamente bien para todos los que la prueben. En el mundo de la medicina, estas "recetas" se llaman modelos de predicción de riesgo. Ayudan a los médicos a adivinar qué tan probable es que un paciente tenga un evento de salud específico, como un ataque cardíaco o una infección, basándose en cosas como su edad, peso e historial médico. Pero aquí está la parte difícil: el hecho de que una receta sepa increíble en tu propia cocina no significa que sepa igual en todas las demás cocinas. Si solo cocinas unos pocos lotes para probar tu receta, podrías tener suerte y dar con el sabor perfecto por azar, o podrías obtener un lote extraño y salado solo porque no mezclaste suficientes ingredientes. Este es el problema de la "variabilidad". Los científicos necesitan saber exactamente cuántos lotes (o pacientes) necesitan probar para estar seguros de que su receta es confiable, no solo un golpe de suerte.

Durante mucho tiempo, la forma estándar de determinar cuántos pacientes se necesitaban era apuntar a un resultado "promedio" perfecto. Era como decir: "Si cocinamos 1,000 lotes, el sabor promedio debería ser delicioso". Pero los autores de este artículo, Menelaos Pavlou, Rumana Z. Omar y Gareth Ambler, se dieron cuenta de que apuntar al promedio no es suficiente. A veces, incluso si el promedio es excelente, podrías terminar con un lote que es completamente incomestible simplemente debido a la mala suerte con los ingredientes. Ellos argumentan que debemos cambiar el objetivo: en lugar de solo esperar que el promedio sea bueno, debemos aspirar a que la mayoría de los lotes que cocinamos sean realmente buenos. Ellos llaman a esto la "Probabilidad de Desempeño Aceptable". Es como decir: "Necesitamos cocinar suficientes lotes para que haya un 80% de probabilidad de que cualquier lote que saquemos del horno sepa genial", en lugar de solo esperar que el promedio de todos los lotes sea bueno.

El artículo sugiere que la vieja forma de calcular los tamaños de muestra a menudo conduce a modelos que son inestables, especialmente cuando el modelo tiene pocos ingredientes (predictores). Si intentas hornear un pastel con solo dos ingredientes, necesitas una cocina mucho más grande (más datos) para estar seguro de que no solo estás teniendo suerte con la mezcla. Los autores utilizaron simulaciones por computadora para mostrar que, cuando ignoras esta "variabilidad", podrías terminar con un modelo que se ve bien en el papel pero falla en el mundo real. Proponen un nuevo método que tiene en cuenta este riesgo, lo que a menudo requiere tamaños de muestra más grandes para asegurar que el modelo sea robusto. También analizaron una técnica llamada "reducción" (shrinkage), que es como ajustar suavemente tu receta para que sea un poco más conservadora, y descubrieron que, si bien ayuda, no soluciona completamente el problema si no tienes suficientes datos para empezar.

La Receta para una Predicción Confiable

Piensa en construir un modelo de predicción médica como entrenar a un robot para reconocer gatos en fotos. Le muestras miles de imágenes y él aprende los patrones. Si solo le muestras diez imágenes, podría memorizar perfectamente esos diez gatos específicos pero fallar por completo cuando vea un gato nuevo. Esto se llama "sobreajuste" (overfitting), y es el enemigo de una buena predicción. Para evitar esto, los científicos necesitan saber exactamente cuántas imágenes (pacientes) mostrarle al robot.

El artículo comienza explicando que la regla actual para decidir cuántos pacientes se necesitan se centra en el valor esperado. Imagina que estás lanzando un dado. El "valor esperado" es el promedio que obtienes si lo lanzas un millón de veces (que es 3.5). El método antiguo dice: "Lancemos el dado suficientes veces para que el promedio sea 3.5". Pero los autores señalan un error: si solo lanzas el dado diez veces, podrías obtener un 6 en cada ocasión, o un 1 en cada ocasión. El promedio puede ser 3.5 a largo plazo, pero tus diez lanzamientos específicos podrían ser un desastre. En términos médicos, esto significa que un modelo puede verse perfecto en promedio a través de muchos estudios, pero el modelo específico construido para tu hospital podría ser tremendamente inexacto.

Los autores introducen un nuevo concepto llamado PrAP (Probabilidad de Desempeño Aceptable). En lugar de solo preocuparse por el promedio, el PrAP pregunta: "¿Cuáles son las probabilidades de que el modelo que construimos justo ahora sea lo suficientemente bueno?". Ellos definen un rango de "suficientemente bueno", como una pendiente de calibración entre 0.85 y 1.15 (donde 1 es perfecto). El objetivo es elegir un tamaño de muestra lo suficientemente grande como para que haya, digamos, un 80% de probabilidad de que el modelo caiga en esa zona "buena".

La Cocina de Simulación

Para probar su idea, los autores no solo adivinaron; realizaron miles de simulaciones por computadora. Crearon datos de pacientes falsos con diferentes números de "ingredientes" (predictores), que iban desde 4 hasta 28. Compararon dos formas de decidir cuántos pacientes usar:

La Forma Estándar: Calcular el tamaño necesario para que el promedio del desempeño sea 0.9 (cerca de la perfección).
La Nueva Forma: Calcular el tamaño necesario para que haya un 80% de probabilidad de que el desempeño esté entre 0.85 y 1.15.

Los resultados fueron reveladores. Cuando los modelos tenían un pequeño número de predictores (como 4 o 5), la Forma Estándar sugería un tamaño de muestra relativamente pequeño. Sin embargo, cuando realmente ejecutaron las simulaciones, encontraron que los modelos construidos con este pequeño tamaño de muestra estaban por todos lados. A veces eran excelentes, pero a menudo eran terribles. La probabilidad de obtener un "buen" modelo era de solo un 54%, ¡básmente un volado!

En contraste, la Nueva Forma exigía un tamaño de muestra mucho mayor. Para un modelo con solo 4 predictores, la Nueva Forma requería 2.7 veces más pacientes que la Forma Estándar. Pero la recompensa fue enorme: con este mayor tamaño de muestra, la probabilidad de obtener un buen modelo saltó al 80% objetivo. Los autores encontraron que para modelos con muchos predictores (como 18 o más), los dos métodos sugerían tamaños de muestra similares, pero para los modelos más pequeños y simples, la diferencia era masiva.

¿El Atajo de la "Reducción" (Shrinkage)?

El artículo también investigó un truco popular llamado reducción (shrinkage). Imagina que horneaste un pastel y quedó un poco demasiado dulce. La reducción es como quitarle un poquito de azúcar para hacerlo más seguro. En estadística, esto implica reducir ligeramente la fuerza de las predicciones del modelo para evitar el exceso de confianza.

Los autores probaron si usar la reducción podía permitir a los investigadores utilizar tamaños de muestra más pequeños. Encontraron que la reducción ayudó a mejorar el desempeño promedio, haciendo que los modelos estuvieran más cerca de la perfección. Sin embargo, también introdujo un nuevo tipo de inestabilidad. Debido a que tienes que estimar cuánto reducir, esa estimación añade su propia incertidumbre. Las simulaciones mostraron que, si bien la reducción mejoró las probabilidades de un buen modelo, no solucionó el problema por completo si el tamaño de la muestra era demasiado pequeño. De hecho, para modelos muy pequeños (menos de 6 predictores), la incertidumbre adicional de la reducción significó que la probabilidad de un buen modelo no mejoró mucho. Los autores sugieren que la reducción es una herramienta útil, pero no debe usarse como una varita mágica para saltarse la recolección de suficientes datos.

Una Prueba del Mundo Real: Cirugía de Válvula Cardíaca

Para demostrar que su teoría no era solo una fantasía de computadora, los autores aplicaron sus métodos a un conjunto de datos reales de 16,67án de pacientes que se sometieron a cirugía de válvula cardíaca. Querían construir un modelo para predecir el riesgo de morir en el hospital.

Usando el método Estándar, calcularon que necesitaban 2,250 pacientes. Usando su nuevo método PrAP, calcularon que necesitaban 2,740 pacientes. Luego realizaron una simulación donde muestreaban repetidamente estos grupos de los datos reales para ver qué sucedía.

Los resultados confirmaron sus sospechas. El grupo con 2,250 pacientes (Estándar) tenía un desempeño mediano que era bueno, pero los modelos variaban salvajemente. Algunos eran excelentes, otros eran pobres. El grupo con 2,740 pacientes (Nuevo) fue mucho más consistente. Casi todos los modelos construidos con este grupo más grande caían en el rango "aceptable". Además, cuando agregaron la reducción a la mezcla, el grupo más grande (2,740) mostró una clara mejora en la confiabilidad, mientras que el grupo más pequeño no vio mucha mejora.

La Conclusión

El mensaje principal de este artículo es una advertencia contra sentirse demasiado cómodo con los resultados "promedio". En el mundo de alto riesgo de la predicción médica, una tasa de éxito promedio no es suficiente si los modelos individuales pueden fallar estrepitosamente. Los autores sugieren que para construir modelos de riesgo verdaderamente confiables, especialmente con menos ingredientes, los investigadores necesitan estar dispuestos a recolectar más datos. Proponen una nueva forma de calcular los tamaños de muestra que prioriza la probabilidad de éxito sobre el éxito promedio.

Si bien esto puede significar reunir más pacientes de los que se pensaba necesario anteriormente, la compensación es un modelo que es estable y digno de confianza. Como señalan los autores, si quieres estar 80% seguro de que tu modelo funciona, no puedes solo apuntar al promedio; tienes que apuntar al margen de seguridad. Su trabajo proporciona las herramientas matemáticas para hacer precisamente eso, asegurando que cuando un médico confíe en un modelo de predicción, no sea solo un golpe de suerte, sino una receta bien probada.

Resumen Técnico: Formalización del Cálculo del Tamaño de la Muestra para el Desarrollo de Modelos de Predicción de Riesgo

1. Planteamiento del Problema

Las metodologías actuales para calcular los tamaños de muestra en el desarrollo de modelos de predicción de riesgo se centran principalmente en asegurar que el valor esperado de una medida de desempeño (por ejemplo, la pendiente de calibración, la C-estadística) cumpla con un objetivo preespecificado. Por ejemplo, los enfoques estándar suelen seleccionar un tamaño de muestra tal que la pendiente de calibración (CS) esperada sea igual a 0.9. Sin embargo, estos métodos descuidan la variabilidad del muestreo. En consecuencia, incluso cuando se cumplen los tamaños de muestra recomendados, el desempeño real de un modelo desarrollado en un conjunto de datos específico puede variar sustancialmente. Cuando la variabilidad es alta, la probabilidad de obtener un modelo con un desempeño cercano al objetivo puede ser inaceptablemente baja, lo que conduce a la inestabilidad del modelo y a probabilidades individuales predichas poco fiables. Este problema es particularmente pronunciado cuando el número de predictores es pequeño en relación con el tamaño de muestra requerido para los objetivos de desempeño promedio.

2. Metodología

Los autores proponen un marco que incorpora explícitamente tanto el valor esperado como la variabilidad de las medidas de desempeño en los cálculos del tamaño de la muestra. La metodología se fundamenta en los siguientes componentes:

Mecanismo Generador de Datos (DGM): El marco asume una distribución conjunta $P(Y, \mathbf{X}; \boldsymbol{\phi})$ para el resultado $Y$ y los predictores $\mathbf{X}$ . Aunque el enfoque principal se centra en resultados binarios modelados mediante regresión logística con Estimación de Máxima Verosimilitud (MLE), los principios se presentan de manera general.
Probabilidad de Desempeño Aceptable (PrAP): Se introduce una nueva métrica para cuantificar la probabilidad de que el desempeño de un modelo caiga dentro de un rango aceptable preespecificado (por ejemplo, $0.85 \leq \text{CS} \leq 1.15$ ). Los tamaños de muestra se determinan entonces para asegurar que esta probabilidad supere un umbral objetivo (por ejemplo, 80%).
Corrección de Sesgo para Fórmulas Analíticas: El artículo aborda una limitación conocida en las fórmulas analíticas existentes (por ejemplo, Riley et al., 2019), las cuales subestiman sistemáticamente los tamaños de muestra para modelos con alta fuerza predictiva (alta C-estadística). Los autores proponen un ajuste heurístico donde la C-estadística anticipada ( $C$ ) se reemplaza por un valor ajustado conservador ( $C_{adj}$ ). Este ajuste tiene en cuenta la discrepancia entre los coeficientes de la regresión logística y los coeficientes del análisis discriminante lineal (LDA) bajo una alta discriminación, inflando efectivamente el tamaño de muestra requerido para cumplir con los objetivos de calibración.
Aproximación Analítica para la PrAP: Para evitar la intensidad computacional de la simulación completa, los autores derivan una fórmula de aproximación analítica para la varianza de la pendiente de calibración ( $\text{Var}(\hat{s}_n)$ ). Esta fórmula, combinada con la pendiente de calibración esperada, permite el cálculo de la PrAP y la determinación posterior del tamaño de muestra mediante optimización numérica.
Evaluación de la Contracción (Shrinkage): El estudio investiga el impacto de la contracción lineal post-estimación (y de métodos penalizados como la regresión Ridge) sobre la PrAP. Simulaciones y un estudio de caso con datos reales evalúan si la contracción puede mitigar la necesidad de tamaños de muestra más grandes o mejorar la probabilidad de un desempeño aceptable.

3. Contribuciones Clave

Formalización de la PrAP: El artículo define formalmente la "Probabilidad de Desempeño Aceptable" como un objetivo primario para los cálculos del tamaño de la muestra, desplazando el enfoque del desempeño promedio hacia la estabilidad del desempeño a través de los conjuntos de datos de desarrollo.
Demostración del Impacto de la Variabilidad: A través de estudios de simulación, los autores demuestran que los cálculos estándar (que apuntan a una mediana de CS = 0.9) resultan en una PrAP inaceptablemente baja para modelos con un número pequeño de predictores. Por ejemplo, con $p=4$ predictores, la probabilidad de lograr un CS entre 0.85 y 1.15 fue de solo 54% bajo los cálculos estándar, mientras que el nuevo enfoque (apuntando a una PrAP = 0.8) requirió tamaños de muestra significativamente mayores para asegurar la estabilidad.
Ajuste Heurístico para Alta Discriminación: El artículo proporciona una corrección práctica ( $C_{adj}$ ) para las fórmulas analíticas existentes, mejorando su precisión para modelos con altas C-estadísticas ( $C \geq 0.8$ ).
Aproximación Analítica: Se propone un método analítico eficiente para aproximar el tamaño de muestra requerido para una PrAP objetivo, ofreciendo una alternativa computacionalmente más ligera a la optimización basada en simulaciones, manteniendo una precisión razonable.
Papel de la Contracción (Shrinkage): El estudio aclara que, si bien los métodos de contracción (factor de contracción lineal, Ridge) generalmente mejoran la pendiente de calibración mediana, introducen una variabilidad adicional debido a la estimación del factor de contracción. En consecuencia, la contracción no permite universalmente reducir los tamaños de muestra; en conjuntos de datos pequeños, la mayor variabilidad puede atenuar los beneficios de la contracción respecto a la PrAP.

4. Resultados

Hallazgos de la Simulación:
- Los cálculos de tamaño de muestra estándar (apuntando a una mediana de CS = 0.9) producen una gran variabilidad en el desempeño para modelos pequeños (pocos predictores), lo que conduce a una baja PrAP.
- El "Nuevo" cálculo propuesto (apuntando a una PrAP = 0.8) resulta en tamaños de muestra sustancialmente mayores para modelos pequeños (por ejemplo, 2.7 veces más grande para $p=4$ ), pero converge con los cálculos estándar para modelos más grandes ( $p \geq 18$ ).
- El ajuste de sesgo propuesto ( $C_{adj}$ ) mejora significativamente la precisión de las fórmulas analíticas para altas C-estadísticas, acercando la pendiente de calibración mediana al objetivo de 0.9.
- La aproximación analítica para la PrAP coincide estrechamente con los resultados basados en simulaciones, excepto en niveles de discriminación muy altos ( $C > 0.85$ ).
- La contracción mejora la probabilidad de una calibración aceptable para modelos con un número moderado a alto de predictores ( $p > 6$ ), pero ofrece un beneficio limitado para modelos muy pequeños donde la incertidumbre en el factor de contracción predomina.
Estudio de Caso (Cirugía de Válvula Cardíaca):
- Aplicado a un conjunto de datos de 16,679 pacientes, el nuevo cálculo aumentó el tamaño de muestra requerido de 2,250 (estándar) a 2,740 (nuevo) para alcanzar una PrAP = 0.8.
- El remuestreo confirmó que el nuevo cálculo logró el objetivo de PrAP, mientras que el cálculo estándar no lo hizo.
- Los métodos de contracción (Factor de Contracción Lineal, Ridge Modificado) mejoraron el desempeño de la calibración y la PrAP en comparación con el MLE solo, de acuerdo con los hallazgos de la simulación.

5. Significación y Reivindicaciones

El artículo argumenta que tener en cuenta la variabilidad del desempeño es esencial para un desarrollo de modelos robusto. Los autores sostienen que confiar únicamente en los objetivos de desempeño esperado puede llevar al desarrollo de modelos inestables, particularmente en escenarios con pocos predictores. Al introducir el marco de la PrAP, el artículo proporciona un mecanismo para asegurar que un modelo desarrollado en un conjunto de datos específico tenga una alta probabilidad de desempeñarse aceptablemente tras la validación.

Los autores afirman modestamente que su marco propuesto y sus herramientas (implementadas en el paquete de R samplesizedev) ofrecen un enfoque más riguroso para la determinación del tamaño de la muestra. Enfatizan que, aunque los métodos basados en simulaciones son computacionalmente intensivos, las aproximaciones analíticas propuestas proporcionan una alternativa viable y eficiente. Además, advierten contra el uso de la contracción como una estrategia primaria para reducir los requisitos de tamaño de muestra, sugiriendo en su lugar que los tamaños de muestra deben calcularse asumiendo MLE, aplicando la contracción durante el ajuste del modelo para mejorar el desempeño, siempre que el número de predictores no sea extremadamente pequeño. El trabajo subraya la necesidad de ir más allá de las métricas de desempeño "promedio" para asegurar la fiabilidad de los modelos de predicción de riesgo en la práctica clínica.