p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

Resumen Técnico: p-Hacking en el Enfoque de Inferencia Formal

1. El Problema

El artículo aborda el fenómeno del p-hacking (la práctica de realizar múltiples pruebas de significancia y reportar selectivamente solo aquellas que arrojan resultados deseables, generalmente significativos, sin corregir por pruebas múltiples).

• Consenso Actual: La literatura predominante, basada en el enfoque estadístico de errores (error statistical approach), sostiene que el p-hacking infla artificialmente las tasas de error Tipo I (falsos positivos) por encima del nivel nominal (ej. $\alpha = 0.05$). Esto se debe a que el "procedimiento real" de prueba incluye todas las pruebas no reportadas, elevando la tasa de error familiar (familywise error rate) y contribuyendo a la crisis de replicabilidad.
• La Controversia: El autor argumenta que esta conclusión depende de una filosofía específica de la inferencia estadística. El artículo desafía la noción de que el p-hacking infla las tasas de error Tipo I en todos los contextos, proponiendo una distinción filosófica fundamental.

2. Metodología y Enfoque Teórico

El artículo no utiliza datos empíricos ni simulaciones nuevas, sino que emplea un análisis filosófico y lógico comparando dos marcos de inferencia estadística:

1. Enfoque Estadístico de Errores (Error Statistical Approach - ESA):

   • Representado por Deborah Mayo y Aris Spanos.
   • Se centra en el procedimiento de prueba "real" (actual) y la capacidad de un método para detectar errores en un largo plazo hipotético.
   • Considera que la selección de hipótesis basada en los datos (contexto de justificación) altera la distribución muestral y la probabilidad de error.
   • Requiere que se auditen las "efectos de selección" (como el p-hacking) para validar la inferencia.

2. Enfoque de Inferencia Formal (Formal Inference Approach - FIA):

   • Propuesto por el autor (Rubin), basado en la lógica de la inferencia y la filosofía de Karl Popper.
   • Se centra exclusivamente en la inferencia estadística formalmente reportada (pública y especificada).
   • Considera que las pruebas de significancia son "experimentos de pensamiento" condicionales a hipótesis nulas específicas.
   • Distingue entre el contexto de descubrimiento (cómo se generaron las hipótesis) y el contexto de justificación (la lógica de la prueba reportada), argumentando que el primero es irrelevante para la validez lógica del error Tipo I.

3. Contribuciones Clave y Argumentos Principales

El núcleo del artículo es la demostración de que el p-hacking sí infla las tasas de error en el ESA, pero no en el FIA.

• Distinción de Tipos de Inferencia:

  • Inferencia Individual: Una decisión sobre una hipótesis nula específica ($H_{0,2}$). La tasa de error es el nivel nominal ($\alpha$).
  • Inferencia Unión-Intersección: Una decisión sobre la intersección de múltiples hipótesis ($H_{0,1} \cap H_{0,2}$). Aquí, la tasa de error es la tasa de error familiar ($1 - (1-\alpha)^k$).
  • El Argumento Central: En el p-hacking, los investigadores suelen reportar inferencias individuales sobre hipótesis seleccionadas (ej. $H_{0,2}$), no inferencias de unión-intersección sobre el conjunto completo de pruebas realizadas.
  • La Falacia de División: El autor sostiene que el ESA comete una "falacia de división" al aplicar la tasa de error familiar (probabilidad de obtener al menos un resultado significativo en un conjunto de pruebas) a una inferencia individual específica. Las tasas de error para diferentes pruebas son incomensurables; la tasa de error de un "procedimiento real" no puede invalidar la tasa de error nominal de una inferencia formalmente reportada que no se refiere a ese procedimiento completo.

• La Irrelevancia del "Procedimiento Real" en el FIA:

  • En el FIA, la tasa de error Tipo I es una probabilidad condicional hipotética: dado que la hipótesis nula es cierta y los supuestos se cumplen, ¿cuál es la probabilidad de obtener un resultado tan extremo?
  • El hecho de que el investigador haya realizado 19 pruebas previas fallidas (p-hacking) no altera la distribución muestral ni la probabilidad condicional de la prueba final reportada, siempre que la inferencia reportada sea individual.
  • El p-hacking pertenece al contexto de descubrimiento (psicológico/histórico), no al procedimiento lógico formal reportado.

• Requisito de Severidad Mínima:

  • El ESA exige que se descarten errores sistemáticos (sesgos, fraudes) para que la inferencia sea válida ("Bad Evidence, No Test" o BENT).
  • El FIA argumenta que las tasas de error Tipo I son válidas como declaraciones matemáticas hipotéticas incluso si hay errores sistemáticos en el mundo real. Los errores sistemáticos invalidan la inferencia sustantiva (la conclusión sobre la realidad), pero no la inferencia estadística (la probabilidad de error bajo el modelo).

4. Resultados y Conclusiones Lógicas

1. No Inflación de Error Tipo I en FIA: El p-hacking no infla las tasas de error Tipo I en el enfoque de inferencia formal porque los investigadores no reportan inferencias sobre la hipótesis de intersección global (que requeriría corrección), sino inferencias individuales sobre hipótesis seleccionadas. Comparar la tasa de error familiar "real" con la tasa nominal reportada es lógicamente inconsistente.
2. Naturaleza de los Resultados Nulos: La no divulgación de resultados nulos (parte del p-hacking) no infla las tasas de error Tipo I en el FIA. Sin embargo, puede sesgar las inferencias sustantivas si los resultados nulos se consideran "evidencia de ausencia" y son teóricamente relevantes.
3. Causa de la Crisis de Replicación:
   • El ESA atribuye la crisis a tasas de error infladas por p-hacking.
   • El FIA atribuye la crisis a errores interpretativos sustantivos no reconocidos (errores de "desconocidos desconocidos" o unknown unknowns), como moderadores ocultos o suposiciones teóricas incorrectas, más que a un fallo en el control estadístico de errores aleatorios.

5. Significado e Implicaciones

• Reconceptualización del P-hacking: El artículo sugiere que el p-hacking no es necesariamente una práctica fraudulenta que invalida la estadística, sino un problema de comunicación y selección de hipótesis. Bajo el FIA, las tasas de error nominales pueden tomarse "al pie de la letra" si la inferencia reportada es formalmente correcta.
• Crítica a la Pre-registración: Mientras que el ESA ve la pre-registración como esencial para auditar el procedimiento real y controlar errores, el FIA argumenta que la pre-registración no es necesaria para la validez de las tasas de error Tipo I, ya que estas dependen de la inferencia reportada, no de la intención o el historial de pruebas del investigador.
• Solución Epistemológica: La solución a la crisis de replicación no radica en nuevas correcciones estadísticas o auditorías más estrictas (que solo detectan "desconocidos conocidos"), sino en un cambio epistemológico hacia una cultura de crítica racional que reconozca la falibilidad del conocimiento y la existencia de "desconocidos desconocidos".
• Implicación Práctica: Se debe distinguir entre la validez estadística (lógica formal) y la validez sustantiva (interpretación teórica). El p-hacking puede producir inferencias estadísticamente válidas (bajo FIA) pero sustancialmente engañosas.

En resumen, Rubin propone que el debate sobre el p-hacking debe situarse explícitamente dentro de la filosofía de la inferencia estadística utilizada, ya que la afirmación de que "el p-hacking infla las tasas de error" es cierta solo bajo el Enfoque Estadístico de Errores, pero falsa bajo el Enfoque de Inferencia Formal.