Adaptive Gaussian Process Search for Simulation-Based Sample Size Estimation in Clinical Prediction Models: Validation of the pmsims R Package

Resumen Técnico: Validación del paquete R pmsims para la Estimación de Tamaño Muestral en Modelos de Predicción Clínica

1. Planteamiento del Problema

Determinar un tamaño muestral adecuado es un prerrequisito esencial para desarrollar modelos de predicción clínica fiables y generalizables. Sin embargo, la práctica actual enfrenta dos limitaciones críticas:

• Herramientas Analíticas Limitadas: Métodos existentes (como el paquete pmsampsize) se basan en fórmulas cerradas que asumen linealidad, distribuciones normales y estimación de máxima verosimilitud. Estas suposiciones a menudo se violan en datos clínicos reales (no linealidades, interacciones complejas) y se centran exclusivamente en criterios de "media", ignorando la variabilidad de la muestra de entrenamiento. Esto puede llevar a subestimar el tamaño muestral necesario, resultando en modelos sobreajustados con mala calibración.
• Ineficiencia de Simulaciones Tradicionales: Las herramientas basadas en simulación (como samplesizedev) son más flexibles pero computacionalmente costosas. Los enfoques de búsqueda exhaustiva o métodos deterministas (como la bisección simple) requieren un número excesivo de evaluaciones de modelos para encontrar el tamaño muestral mínimo, lo que los hace poco prácticos para escenarios complejos o de alta dimensión.

Existe una brecha en la disponibilidad de herramientas prácticas que combinen la flexibilidad de la simulación con la eficiencia computacional para criterios de "garantía" (assurance), donde se busca que el rendimiento supere un umbral con una alta probabilidad (ej. 80%).

2. Metodología

El estudio presenta y valida pmsims, un paquete de R que utiliza modelado de sustitutos (surrogate modeling) mediante Procesos Gaussianos (GP) para la estimación de tamaños muestrales.

• Marco de Trabajo: El paquete integra tres componentes: (i) un proceso de generación de datos, (ii) un procedimiento de ajuste de modelos y (iii) una métrica de rendimiento. Soporta resultados binarios, continuos y de supervivencia.
• Motores de Búsqueda Comparados (Aim 1): Se evaluaron tres algoritmos dentro de pmsims para encontrar el tamaño muestral mínimo $n^*$:
  1. GP (gp): Un procedimiento adaptativo basado en Procesos Gaussianos. Trata la relación tamaño muestral-rendimiento como una función suave desconocida. Utiliza optimización bayesiana para seleccionar iterativamente los puntos de evaluación que maximizan la incertidumbre o el rendimiento, reduciendo drásticamente el número de simulaciones necesarias.
  2. Bisección (bisection): Un algoritmo determinista clásico que divide el intervalo de búsqueda a la mitad en cada iteración.
  3. Híbrido (gp-bs): Combina una búsqueda de bisección gruesa inicial para acotar el intervalo, seguida de una búsqueda adaptativa guiada por GP.
• Diseño de Simulación: Se realizaron estudios exhaustivos variando:
  • Tipo de resultado (binario, continuo, supervivencia).
  • Dimensionalidad de predictores ($p = 10, 100$).
  • Prevalencia del evento o fuerza del modelo ($R^2$, C-índice).
  • Criterios de agregación: Media (rendimiento esperado) vs. Garantía (percentil 20 de la distribución de rendimiento, asegurando un 80% de probabilidad de éxito).
  • Presupuesto de simulación ($B = 200 - 2000$ evaluaciones) y réplicas por evaluación ($\kappa = 10, 20$).
• Validación Externa (Aim 2): El mejor motor (gp) se comparó contra pmsampsize (analítico) y samplesizedev (simulación) en escenarios realistas, evaluando el tamaño muestral recomendado, el tiempo computacional y el rendimiento alcanzado en conjuntos de validación independientes de 30,000 observaciones.

3. Contribuciones Clave

• Innovación Algorítmica: Introducción de Procesos Gaussianos para la búsqueda de tamaño muestral en modelado predictivo, permitiendo una aproximación eficiente de la curva de rendimiento sin evaluar exhaustivamente cada punto.
• Flexibilidad General: A diferencia de las herramientas analíticas, pmsims no está restringido a modelos lineales o distribuciones específicas, permitiendo a los investigadores definir sus propios mecanismos de generación de datos y tipos de modelos.
• Soporte para Criterios de Garantía: Facilita la planificación basada en la probabilidad de éxito (assurance), abordando la incertidumbre inherente al desarrollo de modelos, algo que las fórmulas cerradas no capturan.
• Herramienta de Código Abierto: El paquete pmsims (versión 0.5.0) está disponible públicamente en GitHub, estandarizando la planificación muestral basada en simulación.

4. Resultados

• Estabilidad y Precisión: El motor basado en GP (gp) demostró consistentemente la mayor estabilidad, produciendo las estimaciones de tamaño muestral con el menor coeficiente de variación (CV) en 9 de 12 configuraciones de métricas y agregación. Su ventaja fue más pronunciada en escenarios de baja señal (baja prevalencia o $R^2$ baja) y alta dimensionalidad ($p=100$).
• Eficiencia Computacional:
  • El motor GP alcanzó una estabilidad óptima con un presupuesto de simulación de $B \approx 1000$ evaluaciones y $\kappa = 20$ réplicas por evaluación. Más allá de este punto, las ganancias en precisión fueron mínimas.
  • El método de bisección determinista fue sistemáticamente el menos eficiente, requiriendo muchas más evaluaciones para lograr una estabilidad comparable.
• Comparativa de Rendimiento (Aim 2):
  • pmsims (criterio de media): Logró desviaciones de rendimiento dentro de $\pm 1\%$ del objetivo prescrito en resultados binarios, continuos y de supervivencia.
  • pmsampsize (analítico): Tendió a recomendar tamaños muestrales más pequeños, resultando en desviaciones negativas significativas (hasta -9.84%) en escenarios de alta discriminación, indicando un subestimar del tamaño necesario.
  • samplesizedev: Fue comparable a pmsims, pero pmsims ofreció una mayor eficiencia en la búsqueda.
  • pmsims (criterio de garantía): Recomendó tamaños muestrales más grandes (conservadores), logrando desviaciones negativas menores (entre -1% y -2%), asegurando el cumplimiento del umbral con alta probabilidad.

5. Significado e Impacto

Este trabajo establece un nuevo estándar para la planificación muestral en modelos de predicción clínica.

• Superioridad sobre Métodos Analíticos: Demuestra que las fórmulas cerradas pueden ser insuficientes en escenarios complejos, llevando a modelos subóptimos.
• Viabilidad Práctica: Al reducir drásticamente el costo computacional mediante el uso de GP, hace que las simulaciones robustas y basadas en garantías sean accesibles para investigadores que antes debían optar por métodos simplificados o inexactos.
• Mejora de la Calidad Clínica: Al permitir una estimación precisa del tamaño muestral necesario para cumplir con objetivos de discriminación y calibración (incluyendo la variabilidad de la muestra), pmsims ayuda a prevenir el sobreajuste y mejora la utilidad clínica y la seguridad de los modelos predictivos antes de su implementación en la práctica real.

En conclusión, el paquete pmsims con su motor de búsqueda basado en Procesos Gaussianos ofrece un marco flexible, eficiente y riguroso para la planificación muestral, superando las limitaciones de las herramientas actuales y fomentando el desarrollo de modelos de predicción más robustos.