📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

Este artículo introduce un factor de corrección de tamaño de muestra de forma cerrada que ajusta los cálculos de muestra fija para pruebas secuenciales siempre válidas, permitiendo una estimación de potencia precisa sin simulaciones y reduciendo el presupuesto de muestra requerido entre un 8 % y un 20 % en comparación con las reglas conservadoras de último punto.

Autores originales: Mårten Schultzberg

Publicado 2026-06-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mårten Schultzberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un caso (una prueba A/B) para ver si una nueva pista (un tratamiento) es mejor que la anterior. Quieres estar seguro de no cometer un error, pero también quieres detenerte tan pronto como tengas suficiente evidencia.

El Problema: La Trampa de la "Última Parada"

En el pasado, los detectives usaban una regla llamada la "Regla de la Última Parada". Ellos decían: "Miraré la evidencia todos los días, pero solo declararé oficialmente un ganador en el Día 100. Necesito asegurarme de que específicamente en el Día 100, tenga un 95% de probabilidad de atrapar al criminal si está ahí".

Para estar seguros, calculaban cuántos días necesitaban para alcanzar ese 95% de probabilidad. Pero aquí está el truco: como se les permitía echar un vistazo a la evidencia todos los días antes del Día 100, el criminal podría haber sido atrapado en el Día 10, el Día 50 o el Día 99. La "Regla de la Última Parada" ignoraba todas esas posibilidades tempranas.

Debido a que ignoraba las oportunidades tempranas, la regla era excesivamente cautelosa. Le decía al detective: "Necesitas 100 días para estar seguro", cuando en realidad, podrían haber estado seguros con solo 85 días. Esto significaba desperdiciar tiempo, dinero y recursos en una investigación más larga de lo necesario.

La Solución: El "Multiplicador Mágico"

El autor de este artículo, Mårten Schultzberg, ha encontrado un factor de corrección de forma cerrada (un término matemático elegante para un simple "número mágico" que puedes calcular sin ejecutar simulaciones computacionales complejas).

Piensa en esto como un multiplicador mágico (llamado $k^*$ ). En lugar de adivinar cuánto tiempo ejecutar el experimento, tomas tu cálculo "fijo" estándar y lo multiplicas por este número mágico.

Forma Antigua: "Necesitamos 1,000 personas para estar seguros". (Esto es en realidad demasiado).
Nueva Forma: "Necesitamos 1,000 personas, pero multiplícalo por 0.85. Así que, solo necesitamos 850 personas".

Este nuevo método tiene en cuenta el hecho de que estás revisando la evidencia continuamente. Se da cuenta de que, como estás mirando todo el tiempo, no necesitas esperar tanto tiempo para estar seguro.

Cómo Funciona (La Metáfora)

Imagina que la evidencia es una bola rodando hacia arriba de una colina.

El Límite es una cerca en la cima de la colina. Si la bola cruza la cerca, te detienes y declaras la victoria.
La Regla Antigua asumía que la bola solo necesitaba cruzar la cerca al final de la pista. Para estar seguros, construyeron una pista muy larga.
El Nuevo Método se da cuenta de que la bola podría cruzar la cerca en cualquier lugar a lo largo de la pista.
El autor usa un truco ingenioso: dibujan una línea recta (una tangente) que apenas toca la parte superior de la cerca en el punto final. Debido a que la cerca es curva (se vuelve más difícil de cruzar a medida que avanzas), esta línea recta se sitúa ligeramente por encima de la cerca real.
Al calcular las probabilidades de que la bola cruce esta línea recta en lugar de la cerca curva, las matemáticas se vuelven simples y resolubles con una calculadora. Esta aproximación de línea recta es tan precisa que te dice exactamente cuánto más corta puede ser la pista.

Los Resultados: Ahorrando Dinero y Tiempo

El artículo probó este "multiplicador mágico" contra tres tipos diferentes de cercas (límites estadísticos) utilizadas por empresas como Spotify.

Los Ahorros: Al usar esta nueva fórmula, las empresas pueden ahorrar entre un 8% y un 20% del tamaño de la muestra que de otro modo habrían recolectado.
- Analogía: Si estuvieras planeando hornear un pastel para 100 personas, este nuevo método te dice: "En realidad, solo necesitas ingredientes para 85 personas, y aun así tendrás un 95% de seguridad de que el pastel esté bueno".
Precuracia: Cuando ejecutaron miles de simulaciones computacionales, el nuevo método alcanzó el objetivo de la tasa de éxito casi perfectamente (con una diferencia de aproximadamente 3 puntos porcentuales).
Prueba del Mundo Real: El autor probó esto con datos reales de la plataforma de experimentación de Spotify. A través de 713 pruebas diferentes, el método ahorró un promedio de 9.5% en el tamaño de la muestra. Eso es mucho dinero y tiempo ahorrado.

Límites Importantes

El artículo señala que este "número mágico" funciona mejor cuando los datos se comportan bien (como una curva de campana) y cuando tienes una cantidad razonable de datos iniciales (llamado "burn-in"). Si estás probando algo muy raro (como una enfermedad que ocurre en 1 de cada 10,000 personas), las matemáticas se vuelven un poco inestables y los ahorros podrían no ser tan confiables.

Resumen

En resumen, este artículo ofrece a los experimentadores un "código de descuento" precalculado para sus tamaños de muestra. Detiene el exceso de preparación para experimentos que permiten el monitoreo continuo, ahorrando aproximadamente un 10–20% de su presupuesto sin sacrificar la seguridad de sus conclusiones.

Resumen Técnico: Una corrección de tamaño de muestra en forma cerrada para la inferencia siempre válida con parada opcional

Planteamiento del problema
Las pruebas secuenciales que permiten el monitoreo continuo (inferencia siempre válida) se implementan ampliamente en las plataformas de experimentación A/B para permitir la parada temprana cuando la evidencia es clara. Sin embargo, determinar el tamaño de muestra apropiado para estas pruebas es computacionalmente costoso. Los cálculos de potencia tradicionales para pruebas secuenciales requieren simulaciones extensas que no escalan bien a través de los miles de métricas monitoreadas en las grandes plataformas de experimentación.

Una heurística común, la "regla del último punto" (last-point rule), intenta dimensionar estos experimentos inflando el tamaño de muestra fijo ( $n_z$ ) hasta que la probabilidad de rechazo marginal en el punto final previsto alcance la potencia objetivo ( $1-\beta$ ). El documento identifica un fallo crítico en este enfoque: la potencia siempre válida (AV) se define como la probabilidad de cruzar un límite en cualquier momento durante la ejecución, no solo en el punto final. En consecuencia, la regla del último punto es excesivamente conservadora. Bajo características operativas estándar ( $\alpha=0.05, 1-\beta=0.80$ ), esta regla resulta en una potencia empírica entre 0.86 y 0.88, lo que efectivamente sobredimensiona los experimentos entre un 7 y un 9 por ciento.

Metodología
Los autores proponen un factor de corrección en forma cerrada, $k^*(\alpha, \beta, t_0)$ , para ajustar el tamaño de muestra fijo $n_z$ de modo que el tamaño de muestra total $n = k^* \cdot n_z$ alcance aproximadamente la potencia AV objetivo sin necesidad de simulación.

La metodología se basa en los siguientes componentes:

Tiempo reescalado y aproximación de Movimiento Browniano: El problema se mapea a una variable de tiempo reescalada $t = n/n_z$ . Bajo la hipótesis alternativa ( $H_1$ ), el proceso acumulativo estandarizado $Y_t$ se aproxima como un movimiento browniano con deriva $\mu_d = z_\alpha + z_\beta$ y tasa de varianza unitaria.
Linealización Tangente: El núcleo de la aproximación consiste en reemplazar la curva del límite secuencial $b(t)$ por su línea tangente en el punto final previsto $t=k$ . Este sustituto lineal permite la aplicación de la fórmula de primer paso de Bachelier.
Derivación Analítica: Los autores derivan la probabilidad de cruzar el límite lineal durante el intervalo $[t_0, k]$ $[t_{0}, k]$ , donde $t_0 = m/n_z$ $t_{0} = m / n_{z}$ es la fracción de "burn-in" (el punto donde comienza el monitoreo). La derivación integra sobre el valor inicial del proceso en $t_0$ $t_{0}$ utilizando la completación de cuadrados gaussiana y la función de distribución acumulativa (CDF) normal bivariante, $\Phi_2$ $Φ_{2}$ .
- La aproximación de potencia resultante $\pi_{closed}(k)$ consta de tres términos: la probabilidad de rechazo inmediata en $t_0$ , la probabilidad de cruzar el límite lineal durante $(t_0, k]$ , y un término de corrección de reflexión.
Especificidad del Límite: El factor de corrección depende del límite secuencial específico únicamente a través de su valor $b(k)$ $b (k)$ y su pendiente $b'(k)$ $b^{'} (k)$ en el punto final. El documento deriva explícitamente estos valores para tres límites comunes:
- La secuencia de confianza de Waudby-Smith et al. [2023] (WSKR).
- La secuencia de confianza de Maharaj et al. [2023].
- El test de razón de verosimilitud mixta (mSPRT) de Johari et al. [2022].

Contribuciones Clave

Factor de Corrección en Forma Cerrada: El documento proporciona una fórmula explícita para $k^*$ que puede evaluarse utilizando funciones elementales y la CDF normal bivariante, eliminando la necesidad de cálculos de potencia basados en simulaciones.
Generalizabilidad: La aproximación es aplicable a cualquier límite cóncavo y suave, siempre que se conozcan su valor y su pendiente en el punto final.
Sensibilidad al Burn-in: El análisis tiene en cuenta el parámetro de burn-in $m$ , mostrando cómo el factor de corrección varía con el inicio de la ventana de monitoreo.
Validación Empírica: Los autores validan la corrección a través de tres familias de límites y una amplia cuadrícula de parámetros $(\alpha, \beta)$ mediante simulaciones de Monte Carlo con 50,000 réplicas por celda.

Resultados

Precisión: Establecer el tamaño de muestra como $k^* \cdot n_z$ alcanza la potencia empírica objetivo dentro de aproximadamente 3 puntos porcentuales del objetivo en toda la cuadrícula probada. En simulaciones gaussianas, la potencia empírica suele estar ligeramente por encima de $1-\beta$ , un sesgo conservador atribuido a que la línea tangente se sitúa por encima del límite cóncavo.
Ganancias de Eficiencia: El factor de corrección genera ahorros significativos de tamaño de muestra en comparación con la regla del último punto. En todo el rango operativo, los ahorros oscilan entre el 8% y el 20%.
- Por ejemplo, con $\alpha=0.05$ y $1-\beta=0.80$ , los ahorros son aproximadamente del 10–14% dependiendo del tipo de límite.
Validación en Producción: Los autores aplicaron la corrección a 713 métricas de la plataforma de experimentación de Spotify (usando el límite de Maharaj). La reducción mediana del tamaño de muestra observada fue del 9.5%, con una media del 9.8%.
Impacto del Burn-in: El documento señala que, si bien los valores realistas de burn-in ( $m \ll n_z$ ) aumentan el presupuesto total de muestra (a menudo 2–3 veces el tamaño de la muestra fija) debido a secuencias de confianza más anchas, el factor de corrección sigue proporcionando ahorros sustanciales en relación con la regla no corregida del último punto.
Limitaciones: Los autores señalan que, ante tasas base muy bajas (por ejemplo, $p_C \le 0.01$ ), la aproximación del Teorema del Límite Central (CLT) se degrada y el factor de forma cerrada podría subestimar el objetivo de potencia.

Significado
El documento sostiene que la regla del último punto, aunque simple, es ineficiente para las pruebas secuenciales, lo que conduce a un gasto innecesario de recursos. Al proporcionar un factor de corrección en forma cerrada, los autores ofrecen una solución escalable para que las plataformas de experimentación dimensionen las pruebas siempre válidas con precisión. Esto permite a las plataformas reducir los tamaños de muestra entre un 8% y un 20% sin comprometer la validez estadística, acelerando así la toma de decisiones y reduciendo el costo de la experimentación. El trabajo cierra la brecha entre el análisis secuencial teórico y la implementación práctica a gran escala en entornos industriales.