Directional replicability: when can the factor of two be omitted

Resumen Técnico: Replicabilidad Direccional: ¿Cuándo se puede omitir el factor de dos?

Planteamiento del Problema
El artículo aborda el desafío estadístico de evaluar la replicabilidad direccional a través de $n$ estudios independientes. A diferencia de la replicabilidad estándar, que simplemente requiere que un efecto esté presente en al menos $r$ estudios independientemente del signo, la replicabilidad direccional requiere que al menos $r$ estudios exhiban efectos del mismo signo (todos positivos o todos negativos).

Formalmente, sea $\theta = (\theta_1, \dots, \theta_n)$ el vector de tamaños de efecto reales. Los autores definen $n_+$ como el conteo de efectos positivos y $n_-$ como el conteo de efectos negativos. El objetivo es probar la hipótesis nula $H_{r/n}: n_+ < r \land n_- < r$. Rechazar esta hipótesis permite concluir que existen al menos $r$ efectos del mismo signo ($n_+ \ge r \lor n_- \ge r$).

El enfoque estándar, siguiendo a Owen (2009), trata $H_{r/n}$ como la intersección de dos hipótesis unilaterales: $H^+_{r/n}: n_+ < r$ y $H^-_{r/n}: n_- < r$. Para controlar la tasa de error de la familia (family-wise error rate), el procedimiento estándar combina los valores $p$ de las dos pruebas unilaterales y multiplica el mínimo por 2 (es decir, $p_{r/n} = 2 \min\{p^+_{r/n}, p^-_{r/n}\}$) para dar cuenta de la multiplicidad de pruebas de dirección. La cuestión central de este trabajo es si este factor de corrección multiplicativo de 2 es siempre necesario.

Metodología
Los autores asumen estimadores normales independientes $T_i \sim N(\theta_i, 1)$ para los tamaños de efecto. Utilizan el método de conjunción parcial de Bonferroni para construir los valores $p$ para las hipótesis unilaterales.

• Para la dirección positiva ($H^+_{r/n}$), el valor $p$ es $p^+_{r/n} = (n-r+1)p_{(r)}$, donde $p_{(r)}$ es el $r$-ésimo valor $p$ más pequeño de los estudios individuales.
• Para la dirección negativa ($H^-_{r/n}$), el valor $p$ es $p^-_{r/n} = (n-r+1)q_{(r)}$, donde $q_{(r)}$ corresponde al $r$-ésimo valor $p$ para la dirección negativa.

El artículo investiga la validez del estadístico no corregido $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ como un valor $p$ válido para la hipótesis de intersección $H_{r/n}$ bajo condiciones específicas.

Contribuciones Clave y Resultados

1. Condición Suficiente para Omitir el Factor de Dos (Teorema 1):
   La principal contribución teórica es el Teorema 1, que establece que el factor de 2 es innecesario cuando $r$ es suficientemente grande en relación con $n$. Específicamente, si $(n+1)/2 < r \le n$, entonces $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ es un valor $p$ válido para $H_{r/n}$ al nivel de significancia $\alpha$.

   • Mecanismo: La demostración establece que, bajo la condición $r > (n+1)/2$, los eventos que conducen a errores de Tipo I para las direcciones positiva y negativa son disjuntos. En consecuencia, la probabilidad de rechazar la hipótesis nula bajo la configuración de parámetros más desfavorable no excede $\alpha$ sin la corrección de duplicación.

2. Necesidad de Corrección para $r$ Pequeños (Sección 3):
   Los autores proporcionan un contraejemplo que muestra que para valores de $r$ más pequeños (específicamente $2 \le r \le (n+1)/2$), el estadístico no corregido puede conducir a tasas de error de Tipo I que exceden $\alpha$.

   • En este régimen, es posible tener una configuración de parámetros "discordante" donde existen simultáneamente $r-1$ efectos positivos fuertes y $r-1$ efectos negativos fuertes. En tales casos, los eventos que conducen al rechazo en ambas direcciones no son disjuntos, y la probabilidad de error de Tipo I supera el nivel nominal si se omite el factor de 2.
   • Las simulaciones numéricas (Figura 1) ilustran que para $n=20$ y $\alpha=0.1$, el error de Tipo I excede $\alpha$ para $r \in \{2, \dots, 7\}$, pero se mantiene controlado para $r \in \{8, 9, 10\}$, a pesar de que la condición estricta $r > (n+1)/2$ (es decir, $r > 10.5$) no se cumple. Esto sugiere que la condición en el Teorema 1 es suficiente pero no necesaria.

3. Selección de $r$ Adaptativa a los Datos:
   El artículo describe un procedimiento de prueba secuencial para situaciones donde $r$ no está preespecificado. Al probar hipótesis anidadas $H_{k/n}, H_{(k+1)/n}, \dots, H_{n/n}$ comenzando desde $k = \lceil(n+2)/2\rceil$, se puede derivar un límite de confianza inferior $(1-\alpha)$ para el número máximo de efectos del mismo signo.

4. Extensión a Otras Funciones de Combinación:
   Los autores señalan que, aunque la demostración se basa en el método de Bonferroni, el resultado probablemente se extienda a otras funciones de combinación que asumen independencia, como la corrección de Šidák, el método de Simes y la función de combinación de Fisher, aunque esto requiere verificación futura.

Significancia y Reivindicaciones
El artículo afirma refinar la metodología de vanguardia para el análisis de replicabilidad direccional. Al identificar la condición $(n+1)/2 < r \le n$, los autores demuestran que los investigadores pueden omitir con seguridad la conservadora "corrección del factor de dos" en escenarios donde el número requerido de efectos replicantes ($r$) constituye una mayoría de los estudios totales ($n$). Esta omisión aumenta el poder estadístico sin inflar las tasas de error de Tipo I.

El trabajo también aborda el problema del error de Tipo III (inferir el signo incorrecto). Los autores afirman que el procedimiento en el Teorema 1 controla el error de Tipo III, permitiendo la inferencia post-hoc válida del signo de los efectos replicados (positivo si $p^+_{r/n} < p^-_{r/n}$, negativo de lo contrario).

Finalmente, el artículo reconoce que, si bien se centra en una sola hipótesis, muchas aplicaciones involucran múltiples características. Sugiere que la lógica propuesta podría integrarse con enfoques de filtrado existentes (por ejemplo, Wang et al., 2022), pero deja como problema abierto para investigaciones futuras si el factor de 2 puede eliminarse en el contexto de pruebas múltiples a través de diversas características.