📊 statistics

Critical Values Robust to P-hacking

Este artículo propone un modelo de contraste de hipótesis que incorpora el p-hacking para derivar valores críticos más grandes y "robustos"—calibrados mediante datos de la ciencia médica para ser equivalentes a los valores clásicos al nivel de significación de un quinto—asegurando así que los resultados significativos ocurran con la frecuencia deseada incluso cuando los investigadores ajustan su comportamiento a nuevos estándares.

Autores originales: Adam McCloskey, Pascal Michaillat

Publicado 2026-07-23

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Adam McCloskey, Pascal Michaillat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio. En el mundo de la ciencia, este "misterio" suele ser una pregunta como: "¿Realmente funciona esta nueva medicina?" o "¿Es justa esta moneda?". Para resolverlo, los científicos utilizan una herramienta especial llamada prueba de hipótesis. Piensa en esta prueba como un juez muy estricto. El juez comienza asumiendo que el sospechoso es inocente (esto se llama la "hipótesis nula"). El juez solo declara al sospechoso culpable (rechaza la nula) si la evidencia es tan abrumadora que sucedería por puro azar menos del 5% de las veces. Este límite del 5% se llama nivel de significancia, y el número específico que la evidencia debe superar para ser considerada "culpable" es el valor crítico.

Pero aquí está el problema: la vida real no siempre es tan pulcra como una sala de tribunal. Los científicos, al igual que cualquier persona, quieren ganar. Quieren que sus hallazgos sean publicados, que sus carreras despeguen y que sus teorías sean famosas. Esto crea una gran tentación para "hacer trampa" un poco, no mintiendo, sino intentándolo una y otra vez hasta obtener el resultado que desean. Esto se llama p-hacking. Es como lanzar un dado una y otra vez hasta que finalmente obtienes un seis, y luego solo le cuentas a tus amigos sobre ese único seis mientras ocultas todos los unos, doses y treses. Si todo el mundo hace esto, los sospechosos "inocentes" comienzan a ser condenados con demasiada frecuencia, y todo el sistema de justicia de la ciencia comienza a desmoronarse. Por esto es que ocurre la "crisis de replicación": muchos descubrimientos científicos famosos resultan ser falsos porque los científicos originales siguieron lanzando los dados hasta que tuvieron suerte.

Este artículo de Adam McCloskey y Pascal Michaillat aborda este problema de la trampa de frente. No intentan detener a los científicos de lanzar los dados; saben que mientras las recompensas sean altas, los científicos seguirán intentándolo. En su lugar, construyeron un modelo matemático para determinar cómo cambiar las reglas del juego para que, incluso si los científicos siguen lanzando, los sospechosos "inocentes" sigan protegidos. Descubrieron que las reglas actuales son demasiado fáciles de vencer. Para solucionar esto, proponen un nuevo "valor crítico" más estricto que actúa como una barra mucho más alta para que la evidencia la supere.

Así es como funciona su solución, usando una analogía lúdica. Imagina que un científico es un jugador intentando superar un nivel en un videojuego. El "nivel" es encontrar un resultado significativo. En el sistema antiguo, el juego tenía un ajuste de dificultad bajo. Si el científico fallaba la primera vez, podía simplemente presionar "reintentar" tantas veces como quisiera hasta ganar. Debido a que podía seguir intentándolo, eventualmente ganaba casi siempre, incluso si el juego debía ser imposible de vencer por azar. El juego. El artículo muestra que esto hace que la "victoria" carezca de sentido.

Los autores sugieren una nueva regla: Haz el juego más difícil. Pero no solo un poco más difícil. Se dieron cuenta de que si haces el juego más difícil, el científico simplemente jugará más veces para intentar ganar. Así que, tienes que hacer el juego tan difícil que, incluso con todos los intentos adicionales, el científico solo gane la cantidad de veces correcta (el 5% de las veces, si ese es el objetivo).

Para determinar qué tan difícil hacer el juego, los autores analizaron datos del mundo real de estudios médicos. Encontraron que alrededor del 20% de los estudios se detienen antes de terminarse porque los científicos se quedan sin dinero, tiempo o energía. Esto significa que hay un 80% de probabilidad de que un científico termine un experimento individual. Usando este número, calcularon que para detener la trampa, la "dificultad" del juego necesita ser incrementada drásticamente.

Su principal hallazgo es una regla de oro simple y poderosa: Para solucionar el p-hacking, necesitas actuar como si tu nivel de significancia fuera cinco veces más pequeño de lo que realmente es.

Si un científico quiere afirmar que un resultado es significativo al nivel estándar del 5%, no debería usar el valor crítico habitual (que es 1.96 para una prueba de dos colas). En su lugar, debería usar el valor crítico que corresponde a un nivel del 1% (que es 2.58).

¿Por qué funciona esto? Los autores muestran que cuando elevas la barra a 2.58, los científicos sí intentarán más veces. Realizarán más experimentos, descartarán puntos de datos y ajustarán más modelos en su desesperado intento de cruzar esa línea más alta. Pero debido a que la línea es tan alta, incluso con todo ese esfuerzo adicional, solo lograrán cruzarla por pura suerte aproximadamente el 5% de las veces. La "trampa" sigue ocurriendo, pero ya no rompe el sistema.

El artículo descarta explícitamente la idea de que podemos simplemente decirles a los científicos que "dejen de hacer trampa" o que podemos arreglar esto simplemente contando cuántas veces lo intentaron. Los autores argumentan que los científicos siempre ajustarán su comportamiento a las reglas que establezcamos. Si establecemos una regla que diga "solo puedes intentarlo tres veces", los científicos simplemente encontrarán la manera de intentarlo cuatro veces. La única forma de garantizar que el sistema funcione es establecer un valor crítico que tome en cuenta el hecho de que los científicos seguirán intentándolo hasta que se queden sin recursos.

Los autores están muy seguros de su matemática. No solo adivinaron; construyeron un modelo riguroso usando la teoría de la probabilidad y el "parada óptima" (una forma elegante de decir "cuándo dejar de jugar"). Probaron su idea con diferentes escenarios, como añadir costos a los experimentos o hacer que los experimentos posteriores sean más difíciles de terminar, y su solución se mantuvo firme. También compararon sus hallazgos con una sugerencia popular de otros investigadores de simplemente bajar el nivel de significancia al 0.5%. Los autores sugieren que, si bien bajar el nivel es una buena idea, su modelo muestra exactamente cuánto bajarlo basándose en cuántos recursos tienen los científicos para seguir intentándolo.

Al final, el artículo ofrece un escudo práctico para la ciencia. Sugiere que si queremos confiar nuevamente en nuestros resultados científicos, necesitamos dejar de usar los números antiguos y fáciles de vencer. Necesitamos adoptar estos "valores críticos robustos". Para una prueba estándar de dos colas, eso significa mover la meta de 1.96 a 2.58. Es una barra más alta, sí, y significa que se anunciarán menos "avances" cada día. Pero el intercambio es que los avances que sí anunciemos serán reales, y las hipótesis nulas "inocentes" finalmente estarán a salvo de ser condenadas por un lanzamiento de dados con suerte.

Resumen Técnico: Valores Críticos Robustos ante el P-hacking

Planteamiento del Problema
El p-hacking —la práctica de emplear conductas para aumentar la probabilidad de reportar resultados estadísticamente significativos— es prevalente en la investigación científica, pero está ausente de la teoría clásica de las pruebas de hipótesis. En consecuencia, bajo los valores críticos clásicos, las hipótesis nulas verdaderas se rechazan con mayor frecuencia de lo que sugiere el nivel de significancia nominal ( $\alpha$ ). Esto ocurre porque los científicos enfrentan fuertes incentivos (publicación, avance profesional) para buscar la significancia y poseen suficiente flexibilidad en la recolección y el análisis de datos para hacerlo sin violar las normas. Las correcciones clásicas para pruebas múltiples (por ejemplo, Bonferroni) no logran resolver este problema porque tratan el número de experimentos como algo fijo. En la realidad, los científicos ajustan su comportamiento en respuesta a nuevos estándares; si una corrección hace que la significancia sea más difícil de alcanzar, los científicos simplemente realizarán más experimentos hasta encontrar un resultado significativo, sobrepasando así la corrección.

Metodología
Los autores desarrollan un modelo estructural de pruebas de hipótesis que incorpora explícitamente el comportamiento de p-hacking utilizando la teoría de la parada óptima (optimal stopping theory).

El Entorno del Científico: Un científico pone a prueba una hipótesis nula ( $H_0$ ) contra una alternativa ( $H_1$ ). El científico recibe una recompensa alta ( $v_s$ ) por un resultado significativo y una recompensa menor ( $v_i$ ) por uno insignificante.
Restricciones de Recursos: Realizar experimentos consume recursos finitos (tiempo, dinero, resistencia). El límite total de recursos $L$ sigue una distribución exponencial. El costo de cada experimento es aleatorio. Un científico se detiene cuando los recursos se agotan (índice $K$ ) o cuando se encuentra un resultado significativo.
Estrategia de P-hacking: El científico realiza experimentos de forma secuencial ( $n=1, 2, \dots$ ). Si un resultado es insignificante y aún quedan recursos, el científico continúa con el siguiente experimento. Si un resultado es significativo, el científico se detiene y lo reporta. Si los recursos se agotan antes de alcanzar la significancia, el científico reporta el mejor (máximo) estadístico obtenido hasta el momento, el cual es necesariamente insignificante.
Probabilidad de Completitud ( $\gamma$ ): El modelo define $\gamma$ como la probabilidad de que el primer experimento se complete antes de que los recursos se agoten. Este parámetro captura la facilidad de realizar investigación y la prevalencia de las restricciones de recursos.
Derivación de Valores Críticos Robustos:
- Los autores derivan el número esperado de experimentos $E(N(z))$ realizados por un científico bajo un valor crítico $z$ cuando $H_0$ es verdadera.
- Calculan la probabilidad real de un Error de Tipo I ( $S^*(z)$ ), que es la probabilidad de que el estadístico reportado exceda $z$ . Se demuestra que esto es $S^*(z) = S(z) \times E(N(z))$ , donde $S(z)$ es la función de supervivencia clásica.
- El valor crítico robusto ( $z^*$ ) se define como el valor que satisface $S^*(z^*) = \alpha$ . Esto asegura que, incluso cuando los científicos ajusten de manera óptima su comportamiento de p-hacking ante el nuevo estándar, la frecuencia de falsos rechazos se mantenga en el nivel de significancia deseado $\alpha$ .

Contribuciones Clave y Resultados

Comportamiento de Parada Óptima: El modelo demuestra que la estrategia óptima para un científico es continuar experimentando hasta encontrar un resultado significativo o hasta que los recursos se agoten. Esto conduce a una distribución geométrica del tiempo de parada.
La Fórmula del Valor Crítico Robusto: El artículo deriva una corrección de Bonferroni no estándar. El valor crítico robusto $z^*$ para un nivel de significancia $\alpha$ es equivalente al valor crítico clásico para un nivel de significancia reducido $\alpha^*$ , donde:
$\alpha^* = \frac{\alpha}{E(N(z^*))}$
Crucialmente, $E(N(z^*))$ es el número esperado de experimentos bajo el valor crítico robusto, no el clásico. Los autores muestran que $z^*$ está definido implícitamente por:
$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$
donde $Z$ es la función de supervivencia inversa del estadístico de la prueba.
Respuesta Conductual: A diferencia de otras correcciones, este enfoque tiene en cuenta la respuesta conductual: a medida que el valor crítico se vuelve más estricto, los científicos realizan más p-hacking (aumentan $E(N)$ ). El valor crítico robusto es siempre mayor que el valor crítico clásico para compensar este incremento en la experimentación.
Generalizabilidad: El valor crítico robusto derivado bajo el supuesto de experimentos independientes sigue siendo válido para una amplia gama de otras estrategias de p-hacking (por ejemplo, agrupación de datos, eliminación de valores atípicos, búsqueda de especificaciones) siempre que estas estrategias induzcan una dependencia positiva entre los estadísticos de las pruebas.

Ilustración Numérica y Calibración
Los autores calibran el modelo utilizando datos de las ciencias médicas (Dwan et al., 2008) relativos al ciclo de vida de los estudios.

Calibración: Estiman la probabilidad de completitud $\gamma$ analizando la fracción de estudios aprobados que nunca se iniciaron o se detuvieron prematuramente. La probabilidad de completitud estimada es $\gamma = 80\%$ .
Regla de Oro: Con $\gamma = 0.8$ $γ = 0.8$ , el nivel de significancia efectivo requerido para mantener una tasa de Error de Tipo I del 5% es aproximadamente $\alpha/5$ $α /5$ .
- Para una prueba z unilateral con $\alpha=5\%$ , el valor crítico robusto es 2.33 (frente al 1.64 clásico).
- Para una prueba z bilateral con $\alpha=5\%$ , el valor crítico robusto es 2.58 (frente al 1.96 clásico).
Sensibilidad: Los valores críticos robustos son relativamente insensibles a las variaciones en $\gamma$ . Incluso si $\gamma$ varía entre 70% y 90%, los valores críticos para una prueba bilateral se mantienen entre 2.42 y 2.79.

Significancia y Reivindicaciones
El artículo sostiene que proporciona una base teórica para ajustar los estándares de significancia para tener en cuenta la realidad del p-hacking.

Restauración de la Credibilidad: Al utilizar valores críticos robustos, la comunidad científica puede asegurar que la tasa de falsos positivos (Errores de Tipo I) no exceda el nivel de significancia anunciado, incluso en presencia de un p-hacking óptimo.
Comparación con Alternativas: Los autores contrastan su enfoque con el registro de planes de pre-análisis. Si bien el registro previene ciertas formas de p-hacking, puede sofocar el análisis exploratorio de datos. Los valores críticos robustos permiten la exploración manteniendo la validez estadística. Además, el registro no impide que los científicos repitan experimentos hasta encontrar un resultado significativo; los valores críticos robustos abordan esta limitación específica.
Vínculo Teórico con Propuestas: El análisis proporciona un fundamento teórico para las propuestas de reducir los niveles de significancia (por ejemplo, del 5% al 0.5%, como sugieren Benjamin et al., 2018). El documento muestra que la magnitud de la reducción requerida depende de la probabilidad de completitud (disponibilidad de recursos) del campo. Una reducción de 10 veces corresponde a una probabilidad de completitud del 90%, mientras que una reducción de 5 veces corresponde al 80%.

El artículo concluye que los valores críticos robustos son una herramienta necesaria para mantener la capacidad informativa de las pruebas de hipótesis en un entorno donde los científicos tienen incentivos y oportunidades para buscar la significancia.

Más como este