Resumen Técnico: La precisión y la decisión como objetivos en las pruebas de hipótesis secuenciales

1. Planteamiento del problema

Las pruebas de hipótesis secuenciales ofrecen flexibilidad sobre los diseños de muestra fija al permitir la evaluación de los datos a medida que se acumulan. Sin embargo, existe una tensión crítica entre las reglas de parada (cuándo dejar de recolectar datos) y los criterios de decisión (cómo interpretar los datos).

• El Problema del Acoplamiento: Los métodos ampliamente utilizados, como el algoritmo HDI+ROPE (Kruschke, 2011, 2013, 2015), acoplan la regla de parada directamente al criterio de decisión. El algoritmo se detiene tan pronto como el intervalo de densidad más alta (HDI, por sus siglas en inglés) posterior cae completamente fuera o dentro de una Región de Equivalencia Práctica (ROPE). Si bien esto permite una aceptación positiva de la hipótesis nula (a diferencia del Test de Hipótesis Significativa Nula o NHST), conlleva el riesgo de sesgo de confirmación mediante el "asomarse prematuramente" (early peeking). Un HDI ancho en una muestra temprana no representativa puede satisfacer el criterio de decisión prematuramente, incurriendo en un costo sistemático de falsos positivos.
• El Problema del Desacoplamiento: Para eliminar el sesgo, el método "La precisión es el objetivo" (PitG) (Kruschke, 2015) desacopla la regla de parada de la decisión. Este detiene la recolección solo cuando se alcanza una precisión posterior objetivo (ancho del HDI, $\omega_{goal}$), independientemente del resultado de la hipótesis. Aunque esto elimina el sesgo por asomarse prematuramente, introduce un nuevo modo de falla: cuando la hipótesis nula es verdadera (o lo es prácticamente), el método PitG frecuentemente produce resultados inconclusos (el HDI cruza la ROPE) en lugar de aceptar correctamente la nula. Esta alta tasa de inconclusividad limita su utilidad en campos que requieren la confirmación rigurosa de la nula, como los ensayos de bioequivalencia o las pruebas de regresión de software.

El artículo identifica una brecha: se necesita un método que mantenga las propiedades libres de sesgo de la parada basada en la precisión, asegurando al mismo tiempo una alta tasa de resultados decisivos, particularmente cuando la nula es verdadera.

2. Metodología

El autor propone un nuevo algoritmo, "La decisión es el objetivo de la precisión" (DPitG), que modifica el marco de PitG requiriendo que se cumplan dos condiciones simultáneamente antes de detenerse:

1. Condición de Precisión: El ancho del HDI posterior ($\omega_{HDI}$) debe ser menor o igual a un objetivo preespecificado ($\omega_{goal}$).
2. Condición de Decisión: El HDI debe estar totalmente dentro (Aceptar) o totalmente fuera (Rechazar) de la ROPE.

Componentes principales

• Regla de Decisión Compartida: Los tres algoritmos (HDI+ROPE, PitG, DPitG) utilizan una regla de decisión idéntica basada en la relación entre el HDI del 95% y los límites de la ROPE:
  • Aceptar la Nula: HDI $\subset$ ROPE.
  • Rechazar la Nula: HDI $\cap$ ROPE = $\emptyset$.
  • Inconcluso: El HDI cruza la ROPE.
• Diferencias en los Criterios de Parada:
  • HDI+ROPE: Se detiene inmediatamente tras una decisión decisiva (acoplado).
  • PitG: Se detiene inmediatamente al alcanzar $\omega_{goal}$ (desacoplado), luego verifica la decisión.
  • DPitG: Continúa el muestreo hasta que tanto $\omega_{HDI} \le \omega_{goal}$ como una decisión decisiva sean posibles.

Marco Teórico

El artículo deriva una fórmula de planificación de forma cerrada para el tamaño de muestra esperado ($N_{goal}$) necesario para lograr un objetivo de precisión bajo una aproximación normal (Teorema del Límite Central):
$$N_{goal} \propto \frac{V}{\omega_{goal}^2}$$
donde $V$ es la varianza de la observación. Para un parámetro de Bernoulli $\theta$, $V \propto \theta(1-\theta)$. Esta fórmula permite a los investigadores preespecificar el presupuesto mínimo requerido para alcanzar una precisión deseada, sirviendo como un límite superior conservador cuando $\theta_{null} = 0.5$.

Diseño Experimental

Los métodos fueron evaluados utilizando simulaciones de datos sintéticos basadas en ensayos de Bernoulli (datos binarios de un solo grupo):

• Escala: $M = 5,000$ secuencias independientes de hasta $N_{max} = 1,500$ ensayos.
• Parámetros: $\theta_{null} = 0.5$, ROPE = $[0.45, 0.55]$ ($\Delta_{ROPE} = 0.1$), y $\omega_{goal} = 0.08$.
• Escenarios: Probado a través de un rango de parámetros verdaderos ($\theta_{true}$) de 0.5 a 0.8, incluyendo el caso de la "moneda justa" donde $\theta_{true} = \theta_{null}$.

3. Resultados Clave

Las simulaciones demuestran que DPitG equilibra con éxito la compensación entre sesgo, conclusividad y costo de muestreo.

Desempeño en el caso de la "Moneda Justa" ($\theta_{true} = 0.5$)

• HDI+ROPE: Logró una alta tasa de conclusividad (98.2%) pero incurrió en una tasa de falsos positivos del 6.3% (rechazando incorrectamente la nula).
• PitG: Logró cero falsos positivos pero sufrió una tasa de inconclusividad del 62.1%, fallando en proporcionar un veredicto en la mayoría de los casos donde la nula era verdadera.
• DPitG: Logró una tasa de conclusividad del 97.8% con cero falsos positivos en el escenario de la moneda justa.
  • Costo: El costo de muestreo mediano para DPitG fue solo un 4.7% mayor que el de PitG.
  • Eficiencia: Mientras que PitG se detiene exactamente en $N_{goal}$, DPitG se detiene en $N_{goal}$ para una fracción sustancial de los experimentos (aquellos donde la precisión y la decisión se alinean temprano) pero extiende el muestreo solo cuando es necesario para resolver estados indecisos.

Sensibilidad y Tendencias Generales

• Robustez a $\omega_{goal}$: A medida que el objetivo de precisión $\omega_{goal}$ se volvía más estricto o laxo, la tasa de conclusividad de PitG variaba drásticamente (cayendo al 0% con $\omega_{goal} = 0.10$), mientras que DPitG mantuvo una alta tasa de conclusividad (>97%) en todo el rango.
• Sesgo: El algoritmo HDI+ROPE exhibió un sesgo de estimación ($\hat{\theta}$) significativo porque podía detenerse en muestras sesgadas de baja precisión. Tanto PitG como DPitG mantuvieron un sesgo agregado cercano a cero en todos los valores de $\theta_{true}$. Sin embargo, el artículo señala que aunque la diferencia agregada es insignificante, surge cierto sesgo cuando la simetría se rompe (por ejemplo, cuando $\theta_{true} \neq 0.5$), y dentro de la ROPE, PitG muestra un sesgo ligeramente mayor que DPitG para experimentos conclusivos, mientras que el patrón se invierte para experimentos inconclusos.
• Generalizabilidad: Las ventajas de DPitG sobre PitG (mayor conclusividad con un costo adicional insignificante) persistieron a medida que $\theta_{true}$ se alejaba de la nula, y el marco se extiende a resultados continuos y comparaciones de dos grupos.

4. Contribuciones Clave

1. Algoritmo Propuesto (DPitG): Una nueva regla de parada secuencial que impone un doble criterio (precisión + decisión) para eliminar la alta tasa de inconclusividad de PitG manteniendo sus propiedades de sesgo casi nulo.
2. Fórmula de Planificación de Forma Cerrada: Una derivación de $N_{goal} \propto V/\omega_{goal}^2$, que proporciona a los investigadores un método de cálculo de tamaño de muestra compatible con la pre-registro basado en un objetivo de precisión dado.
3. Validación Empírica: Evidencia exhaustiva de simulaciones que muestran que, en el escenario de la moneda justa, DPitG reduce la tasa de inconclusividad de PitG de ~62% a ~2% con un costo mediano de solo ~5% de muestras adicionales, sin incurrir en los costos de falsos positivos de los métodos acoplados como HDI+ROPE.
4. Herramientas Prácticas: La provisión de una calculadora interactiva en línea y código de código abierto para facilitar la adopción de estos métodos en entornos aplicados.

5. Significado y Reivindicaciones

El artículo posiciona a DPitG como el método de elección para escenarios donde se requiere un veredicto confiable y el estudio puede permitirse recolectar al menos $N_{goal}$ observaciones.

• Resolución de la Tensión: DPitG resuelve la tensión inherente en PitG al hacer de la precisión una condición necesaria pero no suficiente para detenerse. Asegura que, cuando un estudio se detiene, el resultado sea tanto preciso como decisivo.
• Rigor Científico: El método respalda la confirmación rigurosa de la hipótesis nula, una capacidad que a menudo falta en el NHST y que actualmente se ve comprometida por las altas tasas de inconclusividad en PitG. Esto es crítico en campos como la bioequivalencia, las pruebas de "no causar daño" y el paro por futilidad.
• Compatibilidad con la Pre-registración: Debido a que la regla de parada está totalmente preespecificada (basada en $N_{goal}$ y $\omega_{goal}$ en lugar de umbrales dependientes de los datos), se alinea con los estándares de pre-registro y aborda la imprecisión en la etapa de diseño implicada en la crisis de replicación.
• Honestidad Epistémica: El autor argumenta que el requisito de precisión es una característica, no un defecto. Fuerza una planificación realista y evita que los analistas declaren un veredicto con datos insuficientes. Si los datos no pueden respaldar una conclusión dentro del presupuesto, DPitG (al igual que PitG) no forzará una conclusión falsa, pero a diferencia de PitG, minimiza la frecuencia de tales resultados "inconclusos" al extender el presupuesto de muestreo solo cuando es necesario.

El artículo concluye que, si bien DPitG puede requerir un aumento modesto en el tamaño de la muestra en comparación con PitG en algunos escenarios, este costo es insignificante comparado con la ganancia en decisividad y la evitación de los errores sistemáticos de falsos positivos inherentes a los métodos acoplados como HDI+ROPE.