📊 statistics

Statistical Significance Revisited

Este artículo examina las recientes llamadas a reformar las prácticas de significación estadística —tales como abandonar el umbral estándar de 0.05 y superar la prueba de hipótesis binaria— mediante el análisis de las fortalezas y las deficiencias de estos cambios propuestos.

Autores originales: Reason Machete

Publicado 2026-05-08

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Reason Machete

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio: ¿Existe un patrón real en los datos, o es solo una coincidencia?

Durante casi un siglo, los científicos han utilizado una herramienta específica llamada Prueba de Significación (y su resultado principal, el valor p) para ayudar a responder esto. Piensa en el valor p como un "medidor de sospecha". Si el medidor marca muy bajo (generalmente por debajo de 0.05, o 5%), el detective dice: "¡Esto es demasiado improbable para ser un azar; debe haber un patrón real aquí!"

Sin embargo, recientemente, muchas personas han argumentado que esta herramienta está rota. Dicen que conduce a demasiadas "falsas alarmas" (encontrar patrones que realmente no existen) y que el umbral del 5% es arbitrario. Este artículo, escrito por R. L. Machete, profundiza en estas quejas y pregunta: ¿Deberíamos tirar la herramienta, endurecer las reglas, o simplemente aprender a usarla mejor?

Aquí tienes un desglose de los argumentos del artículo utilizando analogías simples.

1. Las Dos Escuelas de Pensamiento: El Portero vs. El Apostador

El artículo comienza explicando la historia de esta herramienta.

Fisher (El Portero): Él inventó la prueba para ver si un resultado era lo suficientemente "sorprendente" como para rechazar la idea de que nada está sucediendo (la Hipótesis Nula). Utilizó un umbral del 5%, pero advirtió contra tratarlo como una ley rígida.
Neyman y Pearson (Los Apostadores): Ellos añadieron un segundo lado a la apuesta. Preguntaron: "Si hay un efecto real, ¿qué probabilidad tenemos de perderlo?". Introdujeron la idea de errores de Tipo I (falsas alarmas) y errores de Tipo II (perder una señal real).

La Analogía: Imagina un detector de metales en un aeropuerto.

Fisher dice: "Si suena la alarma, es sospechoso".
Neyman y Pearson dicen: "Necesitamos equilibrar las alarmas. Si la hacemos demasiado sensible, detectaremos cada hebilla de cinturón (Error de Tipo I). Si la hacemos demasiado insensible, perderemos armas reales (Error de Tipo II)".

2. La Gran Controversia: "¡Hagamos las reglas más estrictas!"

Recientemente, algunos científicos (como Benjamin y otros) argumentaron que el umbral del 5% es demasiado laxo. Quieren cambiarlo a 0.5% (o 0.005).

Su Lógica: Si hacemos que el detector de metales sea mucho más difícil de activar, detectaremos menos falsas alarmas. Esto debería duplicar el número de veces que logramos repetir un experimento con éxito (replicación).
El Contraargumento del Artículo: El autor dice que esto es un compromiso. Si haces que el detector sea más difícil de activar, definitivamente perderás más armas reales (Errores de Tipo II).
- El Costo: Podrías dejar de encontrar descubrimientos reales porque la barra está tan alta que solo los "super obvios" pasan.
- Las Matemáticas: El artículo muestra que, aunque bajar el umbral reduce las falsas alarmas, no arregla automáticamente la "crisis de replicación" a menos que ya sepas cuántos descubrimientos verdaderos existen de antemano, lo cual suele ser imposible de saber.

3. El Desvío "Bayesiano": Adivinar las Probabilidades

Algunos críticos argumentan que los valores p son engañosos porque no tienen en cuenta qué tan probable era una teoría desde el principio. Sugieren usar métodos bayesianos, que requieren que adivines la "probabilidad previa" (qué tan probable piensas que es la hipótesis antes de empezar).

La Visión del Artículo: El autor argumenta que en el mundo real, a menudo no podemos conocer estas probabilidades previas. No puedes adivinar fácilmente qué porcentaje de todas las teorías científicas son realmente ciertas.
La Metáfora: Intentar usar métodos bayesianos para cada estudio es como intentar conducir un coche adivinando la densidad del tráfico antes de salir incluso del garaje. Es una buena idea, pero en la práctica, a menudo no tenemos esos datos. El artículo sugiere que ceñirse a las probabilidades de error (con qué frecuencia la prueba comete un error) es más práctico.

4. El Movimiento "Tíralo Todo"

Algunos reformadores dicen: "¡Dejen de usar valores p y umbrales por completo! Solo informen los números y dejen que la gente decida".

La Visión del Artículo: El autor piensa que esto es peligroso.
- La Analogía: Imagina un médico diciendo: "No me digas si el paciente tiene fiebre o no. Solo dame la temperatura y deja que adivine".
- El Problema: Los humanos son malos tomando decisiones binarias (Sí/No) sin una línea clara. Si eliminas el umbral, no has eliminado la decisión; solo has ocultado la línea. Eventualmente, alguien todavía tendrá que decidir si el resultado es "suficientemente bueno".
- Intervalos de Confianza: El artículo está de acuerdo en que deberíamos informar Intervalos de Confianza (un rango de valores probables), pero argumenta que no deberían reemplazar a los valores p. Deberían trabajar juntos, como un mapa y una brújula.

5. La Prueba de "Severidad": Una Nueva Forma de Ver los Datos

El artículo introduce un concepto de una filósofa llamada Mayo llamado Severidad.

La Idea: No basta con pasar una prueba. Tienes que preguntar: "Si esta hipótesis fuera falsa, ¿qué probabilidad habría tenido de pasar esta prueba de todos modos?"
La Metáfora: Imagina que un sospechoso pasa un detector de mentiras.
- Prueba Estándar: "Pasó, así que es inocente".
- Prueba de Severidad: "Si fuera culpable, ¿habría atrapado este detector de mentiras específico? Si la máquina está rota y deja pasar a todos, entonces 'pasar' no prueba nada. Pero si la máquina es muy estricta y aun así pasó, esa es una evidencia severa de inocencia".
El autor sugiere usar este pensamiento de "severidad" para profundizar en los datos en lugar de mirar solo un número.

6. Ejemplo del Mundo Real: Incendios en la Sabana Africana

Para probar que estas herramientas funcionan, el autor examina datos sobre incendios en África.

La Pregunta: ¿Ocurren los incendios en ciclos de 5 años?
El Resultado: Las matemáticas mostraron un patrón fuerte (un valor p muy bajo).
La Aplicación: El autor no solo dijo "Es significativo". Utilizó el concepto de Severidad para decir: "Estamos 95% seguros de que el ciclo es real y no un azar". También usaron Intervalos de Confianza para mostrar exactamente qué tan fuerte es ese ciclo.
La Lección: Las herramientas funcionaron juntas para dar una respuesta clara y confiable sin necesidad de cambiar las reglas del juego.

El Veredicto Final

El artículo concluye que estamos en una encrucijada.

No tires las herramientas: Los valores p y las pruebas de significación siguen siendo útiles para distinguir la ciencia real del ruido.
No solo aprietes los tornillos: Hacer el umbral 0.005 podría reducir las falsas alarmas, pero también ocultará descubrimientos reales.
Usa las herramientas sabiamente: Los científicos deben ser los maestros de las herramientas, no sus esclavos. Deberían usar valores p, intervalos de confianza y verificaciones de severidad juntos para tomar decisiones informadas.
El Verdadero Enemigo: El problema no es las matemáticas; es el comportamiento. Cosas como la "pesca de datos" (buscar patrones hasta encontrar uno) y la "parada opcional" (detener un experimento tan pronto como obtienes un buen resultado) son las verdaderas causas de la mala ciencia. Cambiar el umbral del valor p no arreglará un mal comportamiento; solo una mejor ética e incentivos lo harán.

En resumen: El artículo argumenta que no debemos entrar en pánico y reescribir las reglas de la estadística. En su lugar, deberíamos confiar en las herramientas existentes, usarlas con más matices (como verificar la "severidad") y centrarnos en corregir los comportamientos humanos que conducen a la mala ciencia.

Resumen Técnico: Significancia Estadística Revisitada

Enunciado del Problema
El artículo aborda la controversia en curso sobre la Prueba de Significancia de la Hipótesis Nula (NHST), específicamente la dependencia del valor $p$ y el umbral de significancia estándar de $\alpha = 0.05$ . Los recientes llamados a la reforma, incluidas las propuestas para reducir el umbral a 0.005, abandonar la prueba de significancia por completo en favor de los intervalos de confianza, o reportar los valores $p$ de forma continua sin umbrales, han desatado un debate sobre la crisis de reproducibilidad en la ciencia. El autor identifica una falta de consenso sobre cómo equilibrar los errores Tipo I y Tipo II, la validez de utilizar fórmulas bayesianas de cribado diagnóstico para justificar cambios en los umbrales, y la viabilidad de reemplazar los métodos estadísticos de error con la teoría de la decisión o el análisis costo-beneficio.

Metodología
El artículo emplea un enfoque teórico y analítico para evaluar diversas propuestas de reforma. La metodología incluye:

Derivación Teórica: El autor deriva la relación entre el umbral de significancia ( $\alpha$ ), la tasa de error Tipo II ( $\beta$ ) y la Tasa de Falsos Positivos (FPR) utilizando la fórmula de cribado diagnóstico (probabilidad posterior bayesiana de la hipótesis nula). Esto implica analizar las derivadas parciales de la FPR con respecto a $\alpha$ y $\beta$ .
Análisis de Compensaciones: El artículo demuestra matemáticamente la compensación inherente entre los errores Tipo I y Tipo II en los marcos frecuentistas, contrastando esto con las suposiciones realizadas en los modelos de cribado diagnóstico, donde se afirma que reducir el error Tipo II disminuye simultáneamente la FPR sin aumentar el error Tipo II.
Modelado de la Probabilidad de Reproducibilidad: La distribución de los valores $p$ bajo la hipótesis alternativa se analiza utilizando la aproximación log-normal (basada en Hung et al., 1997) para derivar fórmulas para la probabilidad de reproducibilidad.
Análisis de la Función de Costo: Se construye un marco de minimización de costos frecuentista para determinar los valores críticos óptimos basados en los costos de los errores Tipo I y Tipo II, comparándolo con la teoría de la utilidad esperada bayesiana.
Evaluación de Severidad: El artículo aplica la función de severidad de Mayo (2018) para evaluar afirmaciones, demostrando cómo la severidad puede complementar los intervalos de confianza sin abandonar la prueba de hipótesis.
Ejemplo Ilustrativo: Los conceptos teóricos se aplican a un conjunto de datos del mundo real sobre la autocorrelación de las proporciones de área quemada en las sabanas del África subsahariana (2001–2020) para demostrar el cálculo de valores $p$ , límites de confianza y severidad.

Contribuciones Clave

Crítica a la Reducción del Umbral: El artículo desafía la propuesta de reducir el umbral de significancia de 0.05 a 0.005. Demuestra que, aunque reducir $\alpha$ disminuye la Tasa de Falsos Positivos, inevitablemente aumenta la tasa de error Tipo II ( $\beta$ ). El autor argumenta que el beneficio neto depende en gran medida de la "tasa de verdaderos positivos" (o valor predictivo positivo) en el umbral actual, una cantidad que es prácticamente imposible estimar con precisión en la mayoría de los campos.
Distinción entre Bayesiano y Frecuentista: El autor aclara que la fórmula de cribado diagnóstico utilizada por los defensores de la reducción del umbral (por ejemplo, Benjamin et al., 2017) es fundamentalmente bayesiana, dependiendo de probabilidades previas ( $\phi$ ) que a menudo son desconocidas o incalculables. El artículo argumenta que mezclar esta probabilidad posterior bayesiana con probabilidades de error frecuentistas genera confusión.
Defensa del Umbral: El artículo argumenta que abandonar los umbrales por completo es impráctico porque la toma de decisiones a menudo requiere elecciones dicotómicas. Postula que los intervalos de confianza y los valores $p$ son duales entre sí y ambos dependen de umbrales subyacentes; reportar valores $p$ de forma continua sin un umbral simplemente crea un "umbral no declarado".
Limitaciones del Análisis Costo-Beneficio: El análisis de las funciones de costo muestra que el valor crítico óptimo para minimizar el costo esperado a menudo no se alinea con los niveles de significancia estándar (por ejemplo, 0.05) y que, en muchos escenarios del mundo real (por ejemplo, calentamiento global, desarrollo de fármacos), cuantificar los costos específicos de los errores es impráctico.
La Severidad como Complemento: El artículo aboga por el uso de funciones de severidad para sondear el espacio de parámetros más a fondo después de una prueba de significancia, ofreciendo una manera de evaluar la fuerza de la evidencia para afirmaciones específicas sin descartar el marco estadístico de error.

Resultados

Análisis de la Reducción del Umbral: El análisis matemático confirma que reducir $\alpha$ disminuye la Tasa de Falsos Positivos incluso cuando $\beta$ aumenta, pero la magnitud de esta reducción es altamente sensible a la razón de probabilidades previas. El artículo deriva que duplicar la tasa de replicación mediante una reducción de 10 veces en el umbral solo es posible si la tasa de verdaderos positivos predominante es exactamente 4/9.
Probabilidad de Reproducibilidad: El artículo encuentra que las probabilidades de reproducibilidad derivadas de las distribuciones de valores $p$ son construcciones teóricas que pueden no reflejar la realidad empírica, ya que el escenario predominante no es necesariamente la hipótesis alternativa.
Análisis de Costos: En los gráficos ilustrativos de la función de costo, se encontró que el valor crítico minimizador era menor que 1.5 (correspondiente a $\alpha > 0.07$ ), lo que sugiere que los umbrales estándar no siempre son la elección que minimiza los costos, sin embargo, la aplicación del análisis de costos a menudo se ve limitada por la incapacidad de cuantificar los costos de error.
Ejemplo de Fuego en Sabana: En la aplicación a los incendios de sabana, un valor $p$ de $2.37 \times 10^{-4}$ llevó al rechazo de la hipótesis nula. La función de severidad confirmó que la afirmación $\beta_1 > 0.30529$ pasó con una severidad de 0.95, y la probabilidad de reproducibilidad calculada fue del 93.8%.

Significancia y Afirmaciones
El artículo afirma que los llamados actuales a la reforma a menudo no tienen en cuenta las compensaciones fundamentales entre los errores Tipo I y Tipo II y la imposibilidad práctica de estimar las probabilidades previas requeridas para el cribado diagnóstico bayesiano. El autor argumenta que:

Las pruebas de significancia no deben abandonarse, sino entenderse como herramientas para controlar las probabilidades de error, no como pruebas definitivas de la verdad.
La "crisis de replicación" no es únicamente un problema de umbral estadístico, sino que involucra prácticas científicas más amplias (por ejemplo, minería de datos, detención opcional).
Si bien los intervalos de confianza y las evaluaciones de severidad son complementos valiosos, no eliminan la necesidad de umbrales en la toma de decisiones.
La comunidad científica no debe ser "esclava" de umbrales rígidos, sino usarlos como guías mientras abraza la incertidumbre. El autor concluye que la innovación prospera bajo la libertad y que el umbral de 0.05, a pesar de sus defectos, ha servido como una herramienta fiel para identificar descubrimientos falsos, y que la ciencia es en última instancia autocorrectiva. El artículo se alinea con la postura de la Asociación Estadística Americana (ASA) de que los valores $p$ no deben ser la única base para las decisiones, pero tampoco deben ser retirados.