Getting over ANOVA: Estimation graphics for multi-group comparisons

El artículo presenta DABEST 2.0, un marco de estadística de estimación diseñado para superar las limitaciones de la prueba t y el ANOVA al cuantificar tamaños del efecto en diseños experimentales complejos, como comparaciones de múltiples grupos, medidas repetidas y metaanálisis.

Lo esencial

¡Claro que sí! Imagina que la ciencia es como un gran partido de fútbol donde los investigadores son los entrenadores y los datos son los jugadores. Durante décadas, la forma de decidir si un equipo ganó o perdió (si un tratamiento funcionó o no) se basaba en un sistema muy rígido y un poco confuso llamado NHST (Prueba de Significación de la Hipótesis Nula).

Este sistema antiguo funcionaba como un semáforo de dos colores: Verde (¡Es significativo! ¡Ganamos!) o Rojo (¡No es significativo! ¡Perdimos!). El problema es que este sistema ignora la realidad del juego: no te dice cuánto mejor jugó el equipo, ni si la victoria fue por un gol o por diez, ni si el jugador se lesionó en el camino. Solo te dice "sí" o "no".

Aquí es donde entra el nuevo héroe de esta historia: DABEST 2.0.

¿Qué es DABEST 2.0?

Piensa en DABEST 2.0 como un nuevo tipo de cámara de video de alta definición para la ciencia. En lugar de solo decirte "ganaste", esta cámara te muestra:

1. El marcador exacto: ¿Cuánto mejor fue el tratamiento? (El tamaño del efecto).
2. La precisión del juego: ¿Qué tan seguro estamos de ese resultado? (Los intervalos de confianza).
3. La jugada completa: Te muestra a todos los jugadores (los datos individuales), no solo el promedio.

Los problemas que soluciona (y sus analogías)

El artículo explica que la ciencia moderna tiene problemas complejos que el viejo sistema de "sí/no" no puede manejar bien. DABEST 2.0 llega con cuatro herramientas mágicas:

1. El "Mapa del Tesoro" para mediciones repetidas (Estudios de tiempo)

El problema: Imagina que estás probando una medicina para dormir. Mides a los pacientes cada día durante una semana. El método antiguo te daría una lista interminable de "sí" y "no" para comparar cada día con cada otro día (¿El lunes fue diferente al martes? ¿Y al miércoles?). Es como tratar de encontrar una aguja en un pajar mirando cada paja individualmente.
La solución de DABEST: En lugar de una lista aburrida, DABEST dibuja un mapa del tesoro. Ves una línea que conecta los días. Puedes ver claramente cómo la medicina empieza a funcionar poco a poco, alcanza su punto máximo y luego baja. Te dice: "El primer día ayudó un poco, el segundo día fue un gran salto, y el tercero se estabilizó". Ya no necesitas adivinar; ves la historia completa del viaje.

2. El "Cálculo de la Ventaja Neta" (Diseños de dos factores)

El problema: Imagina un experimento con dos variables: un tipo de ratón (normal vs. mutante) y un tratamiento (pastilla vs. placebo). El método antiguo te dice: "¡Hay una interacción importante! (p < 0.05)". Pero eso es como decir "¡Algo pasó!" sin explicarte qué. ¿Funcionó la pastilla solo en los mutantes? ¿O en los normales?
La solución de DABEST: Usa una herramienta llamada Delta-Delta. Imagina que tienes una balanza.

• Primero pesas cuánto ayuda la pastilla a los mutantes.
• Luego pesas cuánto ayuda el placebo a los mutantes.
• Finalmente, restas el placebo de la pastilla.
  El resultado es la "Ventaja Neta". En lugar de un "sí/no" confuso, DABEST te dice: "La pastilla hace que los ratones mutantes vivan 5 años más, ¡y estamos muy seguros de eso!". Convierte un rompecabezas complejo en una respuesta clara y directa.

3. El "Contador de Éxitos" para datos binarios (Sí/No)

El problema: A veces los datos son simples: un animal tuvo una convulsión o no. El método antiguo usa pruebas de chi-cuadrado que a menudo solo muestran una tabla de números sin contexto. Es como decir "Hubo 10 convulsiones" sin decir si eso es mucho o poco comparado con el grupo que no tomó la medicina.
La solución de DABEST: Crea gráficos de proporciones que son como pastelillos visuales. Ves claramente que el grupo de medicina tiene una porción gigante de "sin convulsiones" y el grupo de placebo tiene una pequeña. Además, te dice: "La medicina redujo las convulsiones en un 68%, y el margen de error es pequeño". Te da el porcentaje de éxito real, no solo un número mágico.

4. El "Equipo de Reunión" (Meta-análisis mini)

El problema: A veces, un laboratorio hace el mismo experimento tres veces. Dos veces sale bien, una vez sale mal. El método antiguo te obliga a elegir: o publicas solo el éxito (mentir) o mezclas todo en un solo número gigante (ocultando que algo salió mal). Es como tener tres testigos de un crimen y decidir solo creer al que dice que vio al sospechoso, ignorando a los otros dos.
La solución de DABEST: Permite hacer un "mini-análisis". Muestra los tres experimentos como tres personas diferentes dando su testimonio. Ves que dos dicen "¡Funcionó!" y uno dice "No funcionó". Luego, DABEST calcula un promedio ponderado que te da la respuesta más honesta y precisa, mostrando que, aunque hubo un fallo, la tendencia general es positiva. Fomenta la honestidad y la transparencia.

En resumen

La ciencia ha estado usando un sistema de "luces de tráfico" (sí/no) que a menudo nos hace perder de vista lo importante: cuánto importa un descubrimiento.

DABEST 2.0 es como cambiar de un semáforo a un tablero de control de alta tecnología. Nos permite ver:

• La magnitud real del cambio.
• La confianza que tenemos en ese cambio.
• La historia completa de los datos, sin esconder nada.

Es una herramienta diseñada para que los científicos dejen de adivinar si algo "funciona" y empiecen a entender cómo y cuánto funciona, haciendo que la ciencia sea más honesta, clara y útil para todos.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Getting over ANOVA: Estimation graphics for multi-group comparisons" (Superando el ANOVA: Gráficos de estimación para comparaciones de múltiples grupos), traducido y sintetizado al español.

1. El Problema: Limitaciones de la Prueba de Hipótesis Nula (NHST) y el ANOVA

El artículo identifica que el análisis de datos en la ciencia experimental depende excesivamente de la Prueba de Hipótesis Nula (NHST), a pesar de sus limitaciones bien conocidas.

• Disonancia Binaria: El marco NHST convierte la toma de decisiones en una dicotomía engañosa entre "significativo" y "no significativo", lo que lleva a una confianza indebida en los valores p y contribuye a la mala reproducibilidad experimental.
• Deficiencias del ANOVA en Diseños Múltiples: Para experimentos con múltiples grupos, el análisis convencional utiliza el ANOVA (Análisis de Varianza) seguido de comparaciones múltiples.
  • El ANOVA prueba una hipótesis nula "desenfocada" (asumiendo que "todo es igual"), lo que no proporciona información específica sobre qué grupos difieren, en qué dirección o por cuánto.
  • Esto obliga a realizar un segundo paso de comparaciones múltiples (por ejemplo, 15 pruebas para 6 grupos), lo que aumenta la carga de pruebas y requiere correcciones (como Bonferroni) que reducen la potencia estadística y aumentan los falsos negativos.
• Falta de Software para Estimación Compleja: Aunque la estadística de estimación (enfoque en el tamaño del efecto y la precisión) es una alternativa potente, las herramientas actuales se limitan principalmente a diseños experimentales simples de dos grupos, dejando vacíos para diseños complejos como medidas repetidas, factores múltiples y datos binarios.

2. Metodología: DABEST 2.0

Los autores presentan DABEST 2.0, un marco de software (disponible en Python, R y como aplicación web) diseñado para extender los gráficos de estimación a diseños experimentales complejos. La metodología se basa en:

• Enfoque de Estimación: Reemplaza la búsqueda de significancia estadística por la cuantificación del tamaño del efecto y los intervalos de confianza.
• Re-muestreo Bootstrap: Utiliza el método de re-muestreo (5000 iteraciones) para calcular distribuciones de error y intervalos de confianza (BCa - corregidos por sesgo y acelerados) sin asumir distribuciones normales subyacentes.
• Visualización de Datos: Implementa gráficos de tipo "Cumming" o "Gardner-Altman", que muestran simultáneamente:
  1. Panel Superior: Los datos observados (valores individuales, dispersión y medias).
  2. Panel Inferior: Los tamaños del efecto estimados con sus intervalos de confianza y distribuciones (curvas de violín).

3. Contribuciones Clave y Nuevas Funcionalidades

DABEST 2.0 introduce cuatro capacidades principales para manejar diseños complejos:

A. Gráficos de Estimación de Medidas Repetidas

• Aplicación: Estudios longitudinales (ej. tiempo de sueño a lo largo de varios días).
• Innovación: En lugar de realizar múltiples pruebas t pareadas, el gráfico muestra la trayectoria del efecto a lo largo del tiempo en comparación con una línea base.
• Resultado: Permite visualizar claramente cuándo un efecto aumenta, se estabiliza o disminuye, mostrando la magnitud del cambio y la precisión en cada punto temporal.

B. Análisis Delta-Delta para Diseños Factoriales (Dos Vías)

• Aplicación: Experimentos con dos variables independientes (ej. Genotipo × Tratamiento).
• Innovación: Introduce el tamaño del efecto Delta-Delta. En lugar de solo reportar una interacción significativa (como hace el ANOVA), calcula el efecto neto de un tratamiento dentro de un contexto específico, restando los efectos de fondo (ej. efecto placebo).
• Fórmula Conceptual: $(\text{Efecto del Tratamiento en Mutantes} - \text{Efecto del Placebo en Mutantes}) - (\text{Efecto del Tratamiento en Wildtype} - \text{Efecto del Placebo en Wildtype})$.
• Beneficio: Convierte una pregunta multifactorial compleja en un único tamaño del efecto interpretable y cuantitativo.

C. Análisis de Diferencias de Proporciones (Datos Binarios)

• Aplicación: Datos de tipo "éxito/fracaso" o "sí/no" (ej. ocurrencia de convulsiones).
• Innovación: Critica el uso de pruebas exactas de Fisher sin visualización de precisión. DABEST 2.0 genera gráficos de proporciones con barras de error y tamaños del efecto (diferencia de proporciones o $h$ de Cohen).
• Visualización Avanzada: Incluye diagramas de Sankey para visualizar cambios categóricos en datos de medidas repetidas binarias (ej. transición de animales con/ sin convulsiones a lo largo del tiempo).

D. Mini-Metaanálisis de Experimentos Replicados

• Aplicación: Síntesis de múltiples experimentos internos (réplicas) que a menudo se reportan por separado o se combinan ciegamente.
• Innovación: Permite visualizar individualmente los tamaños del efecto de cada réplica y calcular un efecto resumen ponderado (usando un modelo de efectos fijos y ponderación por varianza inversa).
• Beneficio: Promueve la transparencia al mostrar la variabilidad intra e inter-experimental, evitando el "problema del cajón de archivos" (ocultar réplicas negativas) y mejorando la precisión de la estimación global.

4. Resultados y Ejemplos Demostrados

El artículo ilustra estas herramientas mediante escenarios ficticios:

• Sueño y Fármacos: Muestra cómo un gráfico de medidas repetidas revela que un fármaco aumenta el sueño drásticamente en el día 2 y se estabiliza en el día 3, algo que un ANOVA con pruebas post-hoc enmascararía en una red de valores p.
• Supervivencia y Genotipo: En un diseño 2x2, mientras el ANOVA solo indicaría una "interacción significativa" ($p = 6.21 \times 10^{-7}$), el análisis Delta-Delta cuantifica que el fármaco mejora la supervivencia en portadores de mutación en 5.76 años (IC 95%: 3.60, 7.89), un resultado clínicamente interpretable.
• Proporciones de Convulsiones: Demuestra que un fármaco reduce las convulsiones espontáneas en un 68% (IC 95%: 53, 83), visualizando la magnitud del cambio en lugar de solo la significancia estadística.
• Metaanálisis: Ilustra cómo combinar tres ensayos piloto con resultados mixtos para obtener un efecto ponderado más preciso, revelando la variabilidad que se perdería al agrupar todos los datos en un solo análisis "mega".

5. Significado e Impacto

• Transición Paradigmática: DABEST 2.0 facilita el cambio desde la prueba de hipótesis nula (dichotomía significativa/no significativa) hacia un análisis cuantitativo más significativo centrado en la magnitud y la precisión del efecto.
• Accesibilidad: Al ofrecer herramientas en Python, R y una interfaz web gratuita, democratiza el uso de estadísticas de estimación para diseños complejos que antes requerían conocimientos estadísticos avanzados o software costoso.
• Reproducibilidad: Al fomentar la visualización de datos crudos, intervalos de confianza y tamaños del efecto, y al permitir la síntesis transparente de réplicas, el software aborda directamente las causas de la crisis de reproducibilidad en la ciencia.
• Interpretación Científica: Fomenta que los investigadores utilicen el juicio experto para interpretar la relevancia biológica de los tamaños del efecto, en lugar de depender ciegamente de umbrales arbitrarios de p.

En conclusión, el artículo propone que DABEST 2.0 es una solución integral para modernizar el análisis estadístico en ciencias biológicas, superando las limitaciones del ANOVA tradicional mediante gráficos de estimación robustos y accesibles para diseños experimentales complejos.