Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

Este artículo presenta un marco conceptual y el paquete de software R de código abierto `pmsims` para calcular tamaños de muestra en modelos de predicción clínica mediante un enfoque de simulación que integra curvas de aprendizaje y optimización, ofreciendo soluciones flexibles y eficientes que superan las limitaciones de los métodos existentes.

Lo esencial

¡Hola! Imagina que quieres construir una máquina del tiempo o un oráculo médico muy inteligente. Este "oráculo" (que en realidad es un modelo de inteligencia artificial) debe mirar los datos de un paciente (su edad, peso, historial, etc.) y predecir si tendrá una enfermedad en el futuro.

El problema es: ¿Cuántos pacientes necesitas "entrenar" a este oráculo antes de que sea lo suficientemente bueno para usarlo en la vida real?

Si le das muy pocos datos, el oráculo se vuelve un memorizador (se aprende de memoria los casos que vio, pero falla con los nuevos). Si le das demasiados, estás desperdiciando tiempo y dinero.

Este artículo presenta una nueva herramienta llamada pmsims (un paquete de software) que ayuda a los científicos a calcular exactamente cuántos datos necesitan. Aquí te lo explico con analogías sencillas:

1. El problema: ¿Cuántos estudiantes para un examen perfecto?

Imagina que eres un profesor y quieres crear un examen que sea justo y difícil.

• El método viejo (Regla del 10): Antes, los científicos decían: "Si tienes 10 preguntas, necesitas 100 estudiantes". Era una regla simple, como decir "ponle 100 gramos de harina a cualquier pastel". Pero a veces el pastel se queda crudo o se quema porque no todos los ingredientes son iguales.
• El problema real: La medicina es compleja. A veces los síntomas están muy mezclados, a veces hay "ruido" (datos falsos). Una regla simple no funciona bien para modelos de Inteligencia Artificial modernos.

2. Dos formas de pensar en el éxito

El artículo explica que hay dos maneras de decidir cuándo un modelo está listo:

• El promedio (La media): "Si entrenamos al modelo 100 veces, en promedio funcionará bien".
  • Analogía: Es como decir: "Si tiro una moneda 100 veces, saldrán 50 caras". Pero en la vida real, podrías tener una mala racha y sacar solo 30 caras. El modelo podría fallar estrepitosamente en tu caso específico.
• La garantía (Assurance): "Quiero estar 80% seguro de que, sin importar qué datos use, el modelo funcionará bien".
  • Analogía: Es como un ingeniero de puentes. No le importa si el puente promedio aguanta el tráfico; le importa que casi siempre (el 80% de las veces) no se caiga, incluso si llueve mucho o hay viento. Esta es la forma más segura y la que usa su nueva herramienta.

3. La solución: pmsims (El entrenador virtual)

En lugar de hacer miles de experimentos reales (que son caros y lentos), pmsims crea un mundo virtual.

• Cómo funciona:
  1. Crea una simulación: El software inventa miles de pacientes virtuales con características realistas (como un videojuego de simulación de vida).
  2. Entrena al modelo: Le enseña al modelo con 10 pacientes, luego con 100, luego con 1,000...
  3. Dibuja una curva de aprendizaje: Imagina una gráfica donde la línea sube a medida que el modelo aprende. Al principio sube rápido, luego se hace plana.
  4. Usa un "GPS" inteligente (Gaussian Processes): En lugar de probar todos los números uno por uno (lo cual tardaría años), el software usa matemáticas avanzadas para "adivinar" dónde está el punto exacto donde la curva se estabiliza y el modelo se vuelve fiable. Es como usar un GPS que te dice: "No necesitas conducir hasta el kilómetro 100, el destino está en el 45".

4. ¿Por qué es importante?

Los autores probaron su herramienta comparándola con otras 7 métodos antiguos.

• Resultado: ¡Los números variaban muchísimo! Un método decía que necesitabas 200 pacientes, otro decía 20,000.
• La ventaja de pmsims: Es flexible. Funciona igual de bien si estás usando una fórmula matemática simple o una Inteligencia Artificial compleja (como redes neuronales). Además, permite al usuario decir: "Quiero que mi modelo sea bueno para predecir diabetes" o "Quiero que sea bueno para predecir cáncer", y calcula el número exacto para ese objetivo.

En resumen

Este artículo es como un manual de instrucciones para no desperdiciar recursos.

Antes, los científicos adivinaban cuántos datos necesitaban, como si cocinaran sin receta. Ahora, con pmsims, tienen una receta precisa que les dice exactamente cuántos ingredientes (datos) necesitan para que el pastel (el modelo médico) salga perfecto y seguro para los pacientes, evitando que el modelo sea un "memorizador" inútil o que se caiga como un puente mal construido.

Es una herramienta que hace que la medicina de precisión sea más eficiente, más barata y, sobre todo, más segura para todos nosotros.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Cálculo de Tamaño Muestral para Modelos de Predicción Clínica y el Paquete R pmsims

1. El Problema

El desarrollo de modelos de predicción clínica (estadísticos o basados en aprendizaje automático) es fundamental para la toma de decisiones en salud, pero determinar el tamaño muestral mínimo necesario para su desarrollo sigue siendo un desafío crítico y no resuelto.

• Riesgos: El uso de tamaños muestrales inadecuados conduce al overfitting (sobreajuste), a una generalización deficiente y a predicciones sesgadas.
• Limitaciones de los métodos actuales:
  • Reglas heurísticas: Como la regla de "10 eventos por variable" (EPV), son demasiado simplistas y no capturan la complejidad de los datos ni la fuerza de las relaciones predictoras.
  • Fórmulas analíticas cerradas: (Ej. pmsampsize) Son rápidas e interpretables, pero dependen de supuestos distribucionales estrictos que limitan su aplicabilidad en estructuras de datos complejas o modelos de aprendizaje automático (ML).
  • Enfoques basados en simulación: Ofrecen mayor flexibilidad, pero a menudo carecen de herramientas de software accesibles para investigadores y pueden ser computacionalmente costosos.
• Brecha metodológica: La mayoría de los métodos existentes se centran en el rendimiento promedio (criterio basado en la media), ignorando la variabilidad. Esto significa que un modelo podría cumplir el objetivo en promedio, pero fallar en la mayoría de los casos individuales debido a la inestabilidad de los parámetros estimados.

2. Metodología Propuesta

Los autores proponen un nuevo enfoque basado en simulación que integra curvas de aprendizaje, optimización mediante Procesos Gaussianos (GP) y principios de garantía (assurance).

• Marco Conceptual: Distinguen entre dos criterios de tamaño muestral:

  1. Criterio basado en la media: Encontrar el tamaño $n$ tal que el rendimiento esperado supere un umbral.
  2. Criterio de Garantía (Assurance): Encontrar el tamaño $n$ tal que la probabilidad de que el rendimiento supere el umbral sea alta (ej. 80%). Esto asegura que la mayoría de los modelos entrenados con ese tamaño de muestra alcancen el rendimiento deseado, considerando explícitamente la varianza del modelo.

• El Paquete pmsims:

  • Es una herramienta de código abierto en R, agnóstica al modelo (funciona con regresión logística, Cox, ML, etc.).
  • Flujo de trabajo en 4 pasos:
    1. Definición del escenario: Especificación del generador de datos (tipo de resultado, predictores, ruido), la función del modelo y la métrica de rendimiento (ej. AUC, pendiente de calibración).
    2. Ajuste del generador: Calibración para que el modelo alcance un rendimiento "ideal" en muestras grandes.
    3. Estimación de la curva de aprendizaje: Generación de conjuntos de datos sintéticos de tamaños variables, ajuste del modelo y evaluación en datos de prueba independientes. Se utiliza regresión de Procesos Gaussianos para aproximar la curva de aprendizaje y optimizar la búsqueda del tamaño muestral, reduciendo la carga computacional.
    4. Determinación del tamaño mínimo: Se identifica el $n$ más pequeño donde el percentil 20 de la distribución de rendimiento (correspondiente a un 80% de garantía) supera el umbral predefinido.

3. Contribuciones Clave

• Nuevo Enfoque de Garantía: Cambian el paradigma de buscar el rendimiento promedio a garantizar un rendimiento con alta probabilidad, lo cual es crucial para modelos inestables como las redes neuronales profundas.
• Herramienta Software (pmsims): Implementan un paquete flexible y fácil de usar que permite a los investigadores definir sus propios generadores de datos, modelos y métricas, superando las limitaciones de las fórmulas cerradas.
• Eficiencia Computacional: La integración de Procesos Gaussianos como modelos sustitutos (surrogate models) permite explorar el espacio de tamaños muestrales de manera eficiente, evitando la necesidad de simulaciones exhaustivas en cada punto.
• Marco Taxonómico: Proporcionan una revisión sistemática y una taxonomía de los métodos existentes, clasificándolos por su enfoque (heurístico, analítico, simulación) y sus limitaciones.

4. Resultados

A través de tres estudios de caso (con diferentes prevalencias, números de predictores y objetivos de rendimiento), los autores compararon pmsims con otros métodos (como pmsampsize, samplesizedev, fórmulas de Riley et al., y la regla EPV).

• Variabilidad en las estimaciones: Los tamaños muestrales estimados variaron drásticamente según el método, la métrica y el tipo de modelo.
  • Para regresión logística, las estimaciones oscilaron entre 200 y 6.000 muestras.
  • Para modelos de ML, las necesidades fueron significativamente mayores (5 a 10 veces más que la regresión logística), con estimaciones que iban desde 2.000 hasta decenas de miles.
• Comparación de pmsims:
  • Las estimaciones de pmsims (basadas en garantía del 80% para una pendiente de calibración > 0.90) se situaron en el rango medio de las estimaciones generales.
  • En los casos de estudio, pmsims proporcionó estimaciones comparables a samplesizedev pero con mayor flexibilidad para definir métricas personalizadas y manejar modelos no estándar.
  • Se demostró que los modelos mal especificados (cuando el modelo de predicción no coincide con el generador de datos) requieren tamaños muestrales mucho mayores (ej. >20.000).

5. Significado y Conclusiones

• Avance Metodológico: El trabajo cierra la brecha entre la teoría de la simulación y la práctica aplicada, ofreciendo una solución que combina la flexibilidad de los métodos basados en simulación con la eficiencia computacional de los modelos sustitutos.
• Implicaciones para la Investigación Clínica: Al adoptar el criterio de "garantía", los investigadores pueden diseñar estudios que minimicen el riesgo de desarrollar modelos que fallen en la práctica clínica debido a la variabilidad de los datos.
• Futuro: Aunque pmsims es un avance significativo, los autores señalan desafíos pendientes, como la necesidad de manejar datos jerárquicos, longitudinales, multimodales (imágenes, genómica) y la integración de métricas de equidad y estabilidad en los cálculos de tamaño muestral.
• Relevancia: En un contexto donde la IA y el aprendizaje automático se adoptan cada vez más en la salud, este marco asegura que los modelos se desarrollen con la cantidad de datos necesaria para ser robustos, generalizables y éticamente sólidos, alineándose con las nuevas directrices de reporte como TRIPOD-AI.