Applied Statistics Requires Scientific Context

El autor argumenta que la aplicación e interpretación de métodos estadísticos requieren una consideración cuidadosa del contexto científico, abogando por abandonar los umbrales universales de significancia en favor de un enfoque que integre supuestos fundamentales y validaciones específicas de cada disciplina.

Lo esencial

🧠 El Contexto Científico es el "GPS" de las Estadísticas

Imagina que las estadísticas son como un coche muy potente y preciso. Tiene un motor increíble, ruedas de carreras y un sistema de navegación digital (los números, los p-valores, las fórmulas). Pero, por muy buen coche que tengas, si no sabes dónde estás, a dónde quieres ir o qué tipo de terreno estás recorriendo, puedes terminar en un barranco o en el lugar equivocado.

El autor del artículo, Ashley Naimi, nos dice algo muy importante: No basta con tener un coche rápido; necesitas saber conducir en el contexto correcto.

1. Dos tipos de "Contexto" (El Mapa y el Terreno)

El artículo explica que cuando hablamos de "contexto científico", a veces nos referimos a dos cosas diferentes, y es crucial no confundirlas:

• El Terreno (Suposiciones Fundamentales): Son las reglas del juego que damos por sentadas. Por ejemplo: "¿El coche tiene frenos?", "¿La carretera está seca?", "¿El conductor está despierto?". En estadística, esto significa: ¿El experimento se diseñó bien? ¿Los datos son reales o hay errores? Si el terreno es un pantano (datos sucios o mal diseñados), no importa qué tan rápido vaya el coche, se atascará.
• El Destino (Resultados Cuantificables): Son cosas como el tamaño de la muestra o el tamaño del efecto. Es decir, ¿cuánto cambió el resultado? Esto es importante, pero el autor dice que no es suficiente. Puedes tener un cambio grande en los datos, pero si el "terreno" (las suposiciones) es falso, ese cambio no significa nada.

2. El "P-Valor" no es un Semáforo Mágico

Mucha gente piensa que el p-valor (un número que usan los científicos) es como un semáforo:

• Si es menor a 0.05, es VERDE (¡Éxito! ¡Funciona!).
• Si es mayor, es ROJO (¡Fracaso! ¡No sirve!).

El autor dice: ¡Eso es peligroso!

Imagina que el p-valor es en realidad un termómetro de "distancia". Mide qué tan lejos están tus datos de lo que esperarías si todo fuera normal (si la hipótesis nula fuera cierta).

• Si el termómetro marca "muy lejos", dice: "Oye, algo raro está pasando".
• Pero, ¿qué es lo raro? ¿Es que el tratamiento funciona? ¿O es que el termómetro está roto? ¿O es que el paciente mintió?

Si solo miras el número (el semáforo) y no miras el coche (el contexto), puedes cometer errores graves.

3. Dos Historias Reales (Aspirina vs. Fármaco Nuevo)

Para demostrar su punto, el autor cuenta dos historias:

• Historia A: La Aspirina y el Embarazo (El riesgo bajo)
  Imagina que quieres probar si una aspirina barata y segura ayuda a tener bebés. Si te equivocas y dices que funciona cuando no lo hace (Error Tipo I), el daño es bajo: la gente toma una aspirina, no pasa nada grave.

  • Conclusión: Aquí puedes ser más "relajado" con las reglas estadísticas. Puedes aceptar un riesgo un poco mayor de error porque el costo de equivocarse es bajo.

• Historia B: Un Fármaco Nuevo y Peligroso (El riesgo alto)
  Ahora imagina un medicamento nuevo y potente para una enfermedad grave, pero que tiene efectos secundarios terribles (cáncer, infecciones). Si dices que funciona cuando no lo hace, la gente podría morir o sufrir mucho.

  • Conclusión: Aquí necesitas ser extremadamente estricto. No basta con un número bajo; necesitas asegurarte al 100% de que el efecto es real y no una ilusión. Si el medicamento tiene efectos secundarios que hacen que los pacientes "adivinen" que están tomando el fármaco (rompiendo el "ceguera" del estudio), el resultado estadístico es falso, sin importar lo "verde" que sea el semáforo.

4. ¿Por qué los físicos y genetistas tienen reglas más estrictas?

El artículo menciona que en la física de partículas (como el descubrimiento del Bosón de Higgs) y en la genética, usan reglas de "señal de tráfico" mucho más estrictas que en medicina normal.

• ¿Es solo porque usan números más bajos? No.
• La verdad: Es porque tienen un proceso de inspección brutal. Antes de decir "¡Descubrimos algo!", revisan el motor, la carretera, el clima, y hacen pruebas de control una y otra vez.
• El número bajo es solo la última puerta que se abre después de pasar por un "túnel de pruebas" gigantesco. Si solo bajas el número sin hacer las pruebas, sigues en peligro.

5. La Gran Lección: No hay "Carretera Real" (Royal Road)

El título de la cita al final es clave: "No hay camino real hacia la inducción estadística".
Esto significa que no existe una fórmula mágica ni un botón automático que te diga si un resultado es verdad o mentira.

• No puedes simplemente poner un número en una calculadora y esperar que la ciencia se haga sola.
• Los científicos necesitan usar su juicio informado. Deben preguntar: "¿Tiene sentido esto en la vida real?", "¿Conozco bien mi terreno?", "¿Mis suposiciones son sólidas?".

En resumen 🎯

Las estadísticas son una herramienta increíble, pero son ciegas sin el contexto.

• No te fíes ciegamente de los números (el semáforo).
• Mira el terreno (las suposiciones y el diseño del estudio).
• Usa tu sentido común y conocimiento del tema para decidir si un resultado es real o una ilusión.

La ciencia no se trata de seguir reglas ciegamente, sino de pensar críticamente sobre lo que los números nos dicen en el mundo real.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Applied Statistics Requires Scientific Context" de Ashley I. Naimi, traducido y estructurado en español.

Resumen Técnico: La Estadística Aplicada Requiere Contexto Científico

1. El Problema
El artículo aborda una tensión fundamental y duradera en las disciplinas científicas: el papel que debe jugar el "contexto científico" en la aplicación de métodos estadísticos y la interpretación de sus resultados. A pesar de ser un concepto frecuentemente invocado, el "contexto científico" carece de una definición precisa, lo que genera ambigüedad en la literatura.

• Ambigüedad actual: A menudo se confunde el contexto con meros resultados cuantificables (como el tamaño del efecto o el tamaño de la muestra) o se ignora por completo en favor de umbrales de significancia universales (como $p < 0.05$).
• La falacia de los umbrales universales: Existe una tendencia a buscar una "vía real" (una solución mecánica) para la inducción estadística mediante la adopción de umbrales de significancia fijos. El autor argumenta que esto es insuficiente y peligroso, ya que ignora las suposiciones subyacentes y las características específicas del dominio de estudio que determinan la validez de los métodos.

2. Metodología y Marco Conceptual
Naimi no propone un nuevo método estadístico, sino un marco interpretativo y analítico basado en la revisión de conceptos existentes y el uso de estudios de caso.

• Reformulación Geométrica del Valor P:
  El autor utiliza un marco reciente que define el valor $p$ como una medida de divergencia (distancia) entre los datos observados ($z$) y una variedad de modelos o manifold ($M$) que representa un conjunto de condiciones y suposiciones.

  • La variedad $M$: No es solo la hipótesis nula ($H_0$), sino la conjunción de $H_0$ más todas las suposiciones necesarias para que el modelo sea válido (ej. aleatorización efectiva, cegamiento, datos faltantes completamente al azar, independencia de unidades).
  • Interpretación: Un valor $p$ bajo indica una gran divergencia entre los datos y el conjunto completo de suposiciones $M$. Si el valor $p$ es bajo, no necesariamente significa que la hipótesis nula sea falsa; podría significar que alguna otra suposición en $M$ (como el cegamiento o la aleatorización) ha fallado.

• Análisis de Casos Comparativos:
  Se utilizan dos ensayos controlados aleatorizados (ECA) para ilustrar cómo el contexto dicta la tolerancia al error y la validez:

  1. Aspirina de baja dosis y pérdida del embarazo (Ensayo EAGeR): Un escenario de bajo riesgo (aspirina es barata y segura) donde la tolerancia al error Tipo I (falso positivo) podría ser mayor para reducir costos y tamaño muestral, dado que el costo de un falso positivo es bajo.
  2. Tofacitinib y Espondilitis Anquilosante: Un escenario de alto riesgo (inhibidores JAK con perfiles de seguridad graves). Aquí, la tolerancia al error Tipo I debe ser extremadamente baja. Además, el contexto revela amenazas de validez específicas (como el "desenmascaramiento funcional" debido a efectos secundarios conocidos del fármaco) que un simple umbral de $p$ no puede resolver.

• Estudios de Casos de Éxito (GWAS y Física de Partículas):
  Se analizan los Estudios de Asociación del Genoma Completo (GWAS) y la Física de Partículas de Alta Energía (HEP), donde se adoptan umbrales de significancia extremadamente bajos ($5 \times 10^{-8}$ y $5\sigma$ respectivamente). El autor argumenta que el éxito de estos campos no se debe solo a los umbrales bajos, sino a los rigurosos "circuitos de validación" (gauntlets) que los acompañan.

3. Contribuciones Clave

• Distinción Conceptual: Clarifica que el "contexto científico" tiene dos dimensiones: (1) suposiciones fundacionales y sutiles que afectan la validez (ej. integridad del cegamiento, calidad de los datos) y (2) factores cuantificables que afectan el rendimiento (ej. tamaño del efecto).
• Crítica a la Reformulación Neyman-Pearson Aislada: Demuestra que rechazar una hipótesis basándose únicamente en un umbral de $p$ es inválido si no se verifica primero que el resto de las suposiciones del modelo ($M$) se cumplen. Un valor $p$ bajo puede ser un artefacto de un sesgo sistemático (error de Tipo III) en lugar de un efecto real.
• Reevaluación de los Umbrales de Significancia: Argumenta que la adopción de umbrales más estrictos en campos como la física de partículas y la genética es exitosa porque está integrada en un proceso de verificación exhaustivo, no porque el número en sí sea mágico.
• Rechazo a la "Vía Real": Concluye que no existe una solución mecánica o universal para la inferencia estadística. La validez y la optimización de las herramientas estadísticas dependen intrínsecamente del juicio informado y sensible al contexto.

4. Resultados y Evidencia Presentada

• Caso Aspirina (EAGeR): Se muestra que, debido al bajo riesgo del tratamiento, un diseño con un umbral de error Tipo I más alto (y por tanto, menor tamaño muestral) habría sido científicamente aceptable y económicamente eficiente. El uso rígido de $\alpha=0.05$ no siempre es óptimo.
• Caso Tofacitinib: Se identifica que el riesgo de "desenmascaramiento funcional" (donde los participantes adivinan su tratamiento por efectos secundarios) amenaza la validez del cegamiento. En este caso, bajar el umbral de significancia no corrige el problema de validez; de hecho, podría proporcionar evidencia más fuerte para una hipótesis incorrecta si el efecto se debe a la expectativa y no a la fisiología.
• GWAS y HEP: Se demuestra que los umbrales bajos funcionan porque son el último paso de una serie de controles: control de calidad, imputación, replicación, mapeo fino, simulaciones de Monte Carlo y análisis a ciegas. Sin estos pasos contextuales, el umbral bajo por sí solo no garantiza la validez.

5. Significado e Implicaciones
El artículo tiene implicaciones profundas para la reforma estadística y la práctica científica:

• Abandono de Umbrales Universales: Se propone abandonar el objetivo de establecer un umbral universal de significancia para todas las ciencias.
• Prioridad del Contexto sobre la Matemática: La validez de una inferencia estadística depende más de la evaluación rigurosa de las suposiciones del modelo (el contexto) que del cálculo matemático del valor $p$.
• Necesidad de Juicio Informado: Se insta a los científicos a desarrollar estrategias específicas de su dominio que permitan flexibilidad en el juicio informado, manteniendo al mismo tiempo estándares de robustez.
• Herramientas Cognitivas: Se sugiere el desarrollo de directrices específicas por área (como las declaraciones CONSORT o STRATOS) que actúen como "herramientas de forzamiento cognitivo" para asegurar que se consideren las amenazas a la validez antes de interpretar los resultados estadísticos.

En conclusión, Naimi sostiene que la estadística aplicada no puede separarse de la sustancia científica. La inferencia robusta requiere que los investigadores evalúen críticamente el entorno en el que se generan los datos, reconociendo que "no hay vía real" hacia la inducción estadística sin un juicio disciplinado y sensible al contexto.