📄 health informatics

Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

Este estudio demuestra que los criterios de tamaño de muestra de forma cerrada para modelos de predicción logística, tales como el marco de Riley, se vuelven cada vez más optimistas y subestiman el tamaño de muestra requerido a medida que la discriminación objetivo aumenta, debido primordialmente a un comportamiento de tipo separación que desestabiliza la calibración, lo que requiere por tanto el uso de pruebas de estrés basadas en simulación para escenarios de alta discriminación.

Autores originales: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

Publicado 2026-01-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando crear una nueva receta para una sopa que prediga si a un cliente le encantará o la odiará. Tienes una lista de ingredientes (predictores) como sal, pimienta y hierbas. Tu objetivo es escribir una receta (un modelo matemático) que sea tan buena que pueda adivinar perfectamente la reacción de un cliente con solo mirar los ingredientes.

Este artículo trata sobre averiguar cuántas pruebas de sabor (puntos de datos) necesitas para escribir una receta confiable antes de abrir tu restaurante.

El viejo libro de reglas frente a la nueva realidad

Durante mucho tiempo, los chefs (investigadores) usaron una regla de oro simple: "Si tienes 10 ingredientes, necesitas al menos 100 pruebas de sabor". Más tarde, se creó un libro de reglas más sofisticado (llamado el marco de Riley, utilizado en una herramienta llamada pmsampsize). Este libro de reglas es como una calculadora inteligente que dice: "Basándome en qué tan compleja es tu sopa y qué tan bien crees que sabrá, aquí está el número exacto de pruebas que necesitas".

Los autores del artículo se hicieron una pregunta crítica: ¿Es este calculador siempre correcto?

Descubrieron que el calculador funciona de maravilla cuando la sopa es "aceptable" (discriminación moderada). Pero cuando la sopa es increíblemente deliciosa (alta discriminación, lo que significa que los ingredientes hacen que el resultado sea muy obvio), el calculador empieza a mentir. Te dice: "¡Solo necesitas unas pocas pruebas!", cuando, en realidad, necesitas muchas más pruebas.

La analogía de la "tormenta perfecta"

Piensa en esto como intentar encontrar una aguja en un pajar.

Baja discriminación: La aguja está enterrada profundamente en un pcalar enorme. Es difícil de encontrar. El calculador dice: "Necesitas mucho tiempo para buscar". Esto es correcto.
Alta discriminación: La aguja está brillando en neón y sentada justo encima del heno. Es super fácil de ver. El calculador mira esto y dice: "¡Vaya, eso es fácil! Solo necesitas 5 segundos para encontrarla".

Aquí está el problema: El hecho de que la aguja esté brillando no significa que puedas dejar de buscar después de 5 segundos. Si dejas de buscar demasiado pronto, podrías perder de vista el lugar exacto donde está la aguja, o podrías pensar que la encontraste cuando en realidad solo viste un trozo de papel brillante.

En el mundo de la estadística, cuando un modelo es "demasiado bueno" prediciendo el resultado, las matemáticas se vuelven inestables. El calculador asume que las matemáticas son fluidas y fáciles, pero en realidad, los números empiezan a volverse locos (un fenómeno llamado separación). El modelo empieza a predecir un "100% de probabilidad de amor" o un "0% de probabilidad de amor" para casi todos. Esto se ve genial en el papel, pero es una señal de que la receta es inestable y fallará cuando se la pruebes a nuevos clientes.

Lo que hicieron los autores

Los autores realizaron una simulación masiva por computadora (una "cocina virtual") para probar esto.

Crearon miles de sopas falsas con diferentes niveles de "deliciosidad" (discriminación).
Le preguntaron al calculador cuántas pruebas de sabor eran necesarias.
Luego, realmente realizaron las pruebas para ver cuántas se necesitaban realmente para obtener una receta estable y confiable.

El Resultado:

Sopa Moderada: El calculador acertó.
Sopa Super-Deliciosa: El calculador fue demasiado optimista. Sugirió tamaños de muestra que eran un 20% a 40% más pequeños de lo debido. Si los investigadores seguían el consejo del calculador para estas sopas "perfectas", sus modelos serían inestables y sus predicciones de riesgo serían peligrosamente inexactas.

El "fallo" en el sistema

¿Por qué falla el calculador? Los autores descubrieron que cuando el modelo es demasiado bueno, las matemáticas dentro de la computadora empiezan a fallar. Es como un GPS que se confunde cuando conduces demasiado rápido; cree que conoce la ruta perfectamente, pero en realidad está dando vueltas en círculos.

En sus simulaciones, vieron que en los tamaños de muestra que el calculador recomendaba, los modelos de computadora a menudo empezaban a producir resultados "extremos" (prediciendo una certeza del 99.999%). Aunque la computadora decía "He terminado, encontré la respuesta", la respuesta era en realidad un golpe de suerte. El modelo no había aprendido realmente el patrón; simplemente había memorizado el ruido.

La lección para los chefs (Investigadores)

El artículo no dice "tira el calculador". Dice: Usa el calculador como un punto de partida, pero no confíes ciegamente cuando la sopa sea demasiado perfecta.

Si estás construando un modelo que esperas que sea muy preciso (alta discriminación), debes:

Realizar una "Prueba de Estrés": Antes de recolectar todos tus datos, realiza una pequeña simulación para ver si el modelo empieza a actuar de forma errática (prediciendo 100% o 0% con demasiada frecuencia).
Obtener Más Datos: Si la prueba de estrés muestra que el modelo es inestable, necesitas recolectar más datos de los que el calculador sugirió.
Usar una Red de Seguridad: En lugar de usar una receta estándar, usa una receta "estabilizada" (como la regresión de Ridge) que evita que el modelo se emocione demasiado y haga predicciones extremas.

Resumen

El artículo advierte que cuando un modelo de predicción es demasiado bueno prediciendo el futuro, las matemáticas estándar utilizadas para planificar el estudio se rompen. Le dice a los investigadores que tengan cuidado de no dejarse engañar por la alta precisión; necesitan más datos y mejores controles para asegurar que su modelo sea verdaderamente confiable y no solo un golpe de suerte.

Resumen Técnico: Irregularidad de tipo separación y optimismo en el tamaño de la muestra en modelos de predicción logística de alta discriminación

Planteamiento del problema
El desarrollo de modelos de predicción clínica, particularmente aquellos que utilizan la regresión logística, depende en gran medida de tamaños de muestra adecuados para garantizar una calibración estable y evitar el sobreajuste. Si bien el marco de Riley (implementado en el paquete de R pmsampsize) proporciona criterios de forma cerrada ampliamente utilizados para determinar los tamaños de muestra mínimos basados en objetivos de contracción global, evaluaciones recientes sugieren que estas fórmulas pueden volverse optimistas en regímenes de diseño específicos. Específicamente, existe la preocupación de que cuando la discriminación anticipada del modelo (AUC) es alta, las recomendaciones de forma cerrada puedan subestimar el tamaño de muestra requerido para mantener la estabilidad de la calibración. Este trabajo investiga las características operativas de la referencia de Riley ( $n_{Riley}$ ) frente a un requerimiento de tamaño de muestra derivado empíricamente ( $n_{req}$ ), con un enfoque específico en entornos de alta discriminación donde pueden ocurrir irregularidades numéricas de "tipo separación".

Metodología
Los autores realizaron un estudio exhaustivo de simulación de Monte Carlo para comparar las recomendaciones basadas en fórmulas con los requerimientos empíricos.

Diseño de la simulación: El estudio utilizó una cuadrícula factorial cruzando cuatro factores de diseño:
- Distribuciones de los predictores: Normal, sesgada estandarizada (exponencial) y binaria (Bernoulli).
- Densidad de la señal: Densa (señal distribuida en todos los $p=10$ predictores) y dispersa (señal concentrada en 3 predictores, 7 de ruido).
- Discriminación objetivo: $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$ .
- Prevalencia: $\phi_{target} \in \{0.05, 0.10, 0.20\}$ .
Generación de datos: Los parámetros (intercepto $\alpha$ y fuerza de la señal $f$ ) fueron calibrados mediante una búsqueda de raíz anidada en una población sintética grande ( $N=1,000,000$ ) para asegurar que los datos generados coincidieran exactamente con la prevalencia y el AUC objetivo.
Referencia ( $n_{Riley}$ ): Calculada utilizando el paquete pmsampsize con un objetivo de contracción global de $S \geq 0.90$ .
Requerimiento empírico ( $n_{req}$ ): Definido como el tamaño de muestra más pequeño $n$ $n$ tal que, bajo muestreos de desarrollo repetidos:
1. El valor esperado de la pendiente de calibración en la escala logit $E(b_n) \geq 0.90$ .
2. La probabilidad de una descalibración severa $Pr(b_n < 0.80) \leq 0.20$ .
- $n_{req}$ se determinó mediante una búsqueda de bisección adaptativa utilizando pendientes de calibración basadas en la verdad sobre un conjunto de covariables de validación grande y fijo ( $N_{val}=50,000$ ) para eliminar el ruido del resultado.
Diagnósticos de mecanismo: En $n = n_{Riley}$ , el estudio registró las frecuencias de no convergencia, advertencias de separación (log-odds o probabilidades extremas ajustadas) y riesgos ajustados extremos para evaluar si las patologías numéricas explican las discrepancias.
Ilustración aplicada: Se utilizó un conjunto de datos real de predicción de accidentes cerebrovasculares para demostrar la aplicación de estos diagnósticos y la comparación entre la regresión logística no penalizada y la penalizada por Ridge.

Resultados clave

Divergencia dependiente de la discriminación: En discriminación moderada ( $AUC_{target} \leq 0.75$ ), $n_{Riley}$ se aproximó estrechamente a $n_{req}$ . Sin embargo, a medida que la discriminación aumentaba, $n_{Riley}$ subestimaba cada vez más el tamaño de muestra requerido. En $AUC_{target} = 0.90$ , la recomendación basada en la fórmula fue significativamente menor que el requerimiento empírico (por ejemplo, una diferencia relativa de -40.5% a -47.2% dependiendo de la prevalencia), lo que conduce a modelos con pendientes de calibración muy por debajo del objetivo de 0.90.
Robustez: El patrón principal de subestimación en alta discriminación fue robusto a través de diferentes distribuciones de predictores (normal, sesgada, binaria) y configuraciones de densidad de señal (densa vs. dispersa).
Mecanismo de optimismo: En $n = n_{Riley}$ $n = n_{R i l ey}$ en entornos de alta discriminación, los ajustes de la regresión logística estándar no penalizada exhibieron frecuentemente un comportamiento de "tipo separación" a pesar de reportar convergencia nominal.
- Aunque la no convergencia absoluta fue rara, la frecuencia de advertencias de separación (riesgos o log-odds ajustados extremos) aumentó bruscamente con el AUC (alcanzando ~50% en $AUC=0.90$ para baja prevalencia).
- Esto sugiere que las medidas de información basadas en la verosimilitud (por ejemplo, $\Delta\chi^2$ ) utilizadas en la aproximación de contracción de Riley se ven infladas o perturbadas por predicciones casi deterministas, lo que conduce a estimaciones de contracción excesivamente optimistas y, por consiguiente, a recomendaciones de tamaño de muestra insuficientes.
Ilustración aplicada: En el ejemplo del conjunto de datos de accidente cerebrovascular, un modelo no penalizado desarrollado con el tamaño de muestra recomendado por la fórmula mostró signos de sobreajuste (pendiente de calibración 0.802), mientras que un modelo penalizado por Ridge logró una mejor estabilidad (pendiente 1.013), aunque con un ligero desplazamiento hacia el subajuste.

Contribuciones clave

Mapeo empírico: El estudio proporciona una caracterización sistemática de dónde las recomendaciones de tamaño de muestra de forma cerrada se alinean o divergen de los requerimientos de simulación, identificando la discriminación objetivo (AUC) como el principal motor del optimismo en regímenes de alto rendimiento.
Protocolo de diagnóstico: Operacionaliza un conjunto de diagnósticos relacionados con la convergencia y la separación (por ejemplo, riesgos ajustados extremos) que deben evaluarse en el tamaño de muestra recomendado por la fórmula. Estos diagnósticos sirven como una herramienta práctica para detectar cuándo las aproximaciones de verosimilitud están bajo tensión.
Guía práctica: Los autores proponen un flujo de trabajo donde $n_{Riley}$ sirve como una base principled, pero se aumenta con pruebas de estrés de simulación dirigidas y diagnósticos de inestabilidad cuando se anticipa una alta discriminación.

Significancia y afirmaciones
El artículo afirma ofrecer evidencia empírica de que la precisión de las recomendaciones de tamaño de muestra mínimo basadas en fórmulas es una función de la discriminación anticipada. Los autores sostienen que, si bien el marco de Riley sigue siendo una herramienta defendible para la discriminación moderada, su dependencia de las aproximaciones de contracción basadas en la verosimilitud falla en entornos de alta discriminación debido a la prevalencia de irregularidades numéricas de tipo separación.

La significancia radica en proporcionar una explicación coherente de por qué los criterios de forma cerrada se vuelven optimistas: la verosimilitud ajustada se ve dominada por predicciones casi deterministas, debilitando la conexión entre las medidas de información y el sobreajuste efectivo. En consecuencia, los autores recomiendan que los investigadores que planean modelos de alta discriminación no dependan únicamente de cálculos de forma cerrada, sino que empleen estrategias de planificación basadas en simulaciones o de estimación penalizada, respaldadas por la notificación explícita de la estabilidad de la calibración y los diagnósticos numéricos. El estudio no pretende invalidar el marco de Riley por completo, sino definir sus límites de fiabilidad y ofrecer un enfoque impulsado por mecanismos para mitigar sus limitaciones en regímenes específicos de alto riesgo.