Meta-Analysis with JASP, Part I: Classical Approaches

Imagina el mundo científico como una biblioteca enorme y bulliciosa donde cada investigador escribe un libro sobre un experimento específico. A veces, un libro dice que una nueva medicina funciona de maravilla, mientras que otro dice que no hace nada en absoluto. Aquí es donde entra en juego el metaanálisis. Piensa en él como un superbibliotecario que no solo lee un libro, sino que reúne cientos de ellos, los apila y descubre la verdadera historia oculta en el ruido. Es como intentar escuchar un único susurro en un estadio lleno de gente; no puedes limitarte a escuchar a una persona, necesitas combinar las voces de todos para encontrar la señal real.

Para hacer esto, el superbibliotecario utiliza algunas herramientas clave. Primero, calcula un tamaño del efecto, que es una forma de medir "qué tan grande" es un resultado, convirtiendo diferentes tipos de mediciones en un lenguaje común. Luego, observa un gráfico de bosque (forest plot), que es un gráfico que parece un bosque de árboles, donde cada árbol representa un estudio y la posición del árbol muestra su resultado. Finalmente, comprueba la heterogeneidad, que es solo una palabra elegante para preguntar: "¿Todos estos estudios cuentan la misma historia o son muy diferentes entre sí?". Si los estudios son demasiado diferentes, el bibliotecario tiene que usar matemáticas especiales para entender por qué. Los científicos se preocupan por esto porque confiar en un solo estudio es como juzgar una película entera viendo solo una escena; podrías perderte los giros de la trama o el final.

Este artículo presenta una nueva herramienta fácil de usar llamada JASP (específicamente su "módulo de Metaanálisis") que traslada estas potentes y complejas herramientas del ámbito de la programación de computadoras a una interfaz sencilla de "apuntar y hacer clic". Los autores, un equipo de estadísticos y desarrolladores de software, lo construyeron para ayudar a los científicos que no son programadores a realizar metaanálisis avanzados sin necesidad de escribir líneas de código. Demuestran que JASP puede manejar desde resúmenes básicos hasta escenarios muy complicados donde los estudios comparten datos o tienen múltiples capas de información. El artículo no pretende haber descubierto una nueva ley del universo; más bien, muestra que un software gratuito y de código abierto puede ahora realizar el trabajo pesado de la estadística avanzada, haciéndola accesible para estudiantes e investigadores que antes podrían haber estado estancados utilizando herramientas más simples y menos potentes.

La historia del nuevo kit de herramientas del superbibliotecario

Imagina que eres un detective intentando resolver un misterio, pero en lugar de un testigo, tienes cincuenta. Algunos testigos vieron el crimen desde la distancia, otros estuvieron allí mismo, y otros están contando historias ligeramente diferentes. En el pasado, para combinar todas estas historias en una verdad clara, necesitabas ser un maestro de la programación, hablando el lenguaje secreto de las computadoras (como el lenguaje de programación R) para construir una máquina personalizada que pudiera clasificar la evidencia. Si no sabías programar, te quedabas con una lupa básica que pasaba por alto las pistas sutiles.

Los autores de este artículo dicen: "Construyamos una máquina que cualquiera pueda usar". Crearon un módulo dentro de un software gratuito llamado JASP que actúa como un panel de control de alta tecnología para este trabajo de detective. En lugar de escribir código, simplemente haces clic en botones, arrastras y sueltas tus datos, y el software hace las matemáticas por ti. El artículo te guía a través de tres "casos" diferentes para mostrar cómo funciona este panel de control, demostrando que ahora puedes realizar el trabajo de detective más avanzado sin ser un programador.

Caso 1: El misterio de la vacuna (Lo básico)
El primer caso involucra un conjunto de datos famoso sobre una vacuna contra la tuberculosis. Los autores muestran cómo usar JASP para calcular el "tamaño del efecto" (qué tan bien funcionó la vacuna) y dibujar un gráfico de embudo (funnel plot). Imagina un gráfico de embudo como un gráfico con forma de embudo donde dejas caer todos tus resultados de estudio. Si todo es justo y cuadrado, los puntos deberían formar una pirámide simétrica y ordenada. Si la pirámide está desequilibrada, podría significar que faltan estudios o que hay sesgos. El software luego construye un gráfico de bosque (forest plot), que parece un bosque de árboles, mostrando exactamente dónde se encuentra cada estudio y qué tan seguros estamos del resultado. Los autores muestran que Jasp incluso puede dividir los árboles en grupos (subgrupos) para ver si la vacuna funcionó de manera diferente según cómo se realizó el estudio. ¿El resultado? El software replica con éxito la matemática compleja que antes requería programación, haciendo que el modelo de "efectos aleatorios" (una forma de manejar las diferencias entre estudios) sea fácil de ejecutar.

Caso 2: Las intervenciones de escritura (Buscando patrones)
En el segundo caso, los detectives analizan estudios sobre intervenciones de "escribir para aprender". Aquí, quieren saber si la duración de la intervención o si los estudiantes recibieron retroalimentación cambió los resultados. Esto se llama metarregresión. Piensa en esto como dibujar una línea a través de una dispersión de puntos para ver si existe una tendencia. JASP dibuja esta línea por ti e incluso crea un gráfico de burbujas (bubble plot), donde las burbujas más grandes significan estudios más precisos. El software también calcula las Medias Marginales Estimadas, que es una forma elegante de decir: "¿Cuál sería el resultado si mantuviéramos todo lo demás constante?". Es como preguntar: "Si cada estudiante tuviera exactamente la misma cantidad de tiempo y retroalimentación, ¿cuál sería la puntuación?". El artículo muestra que JASP puede manejar estas comparaciones complejas e incluso probar si la "dispersión" de los datos (heterogeneidad) cambia según la duración del estudio, una técnica llamada modelo de localización-escala.

Caso 3: El rompecabezas de la reincidencia (La red enredada)
El tercer caso es el más complicado. Analiza estudios sobre delincuencia juvenil y salud mental. El problema aquí es que muchos estudios informan múltiples resultados para el mismo grupo de niños (por ejemplo, agresión, acoso y robo). Esto crea una "red enredada" de datos donde los resultados no son independientes. Si ignoras esto, podrías pensar que tienes más evidencia de la que realmente tienes. Los autores muestran cómo JASP puede desenredar esto usando modelos multinivel (que manejan el anidamiento de los datos), modelos multivariados (que dan cuenta de la correlación entre diferentes tipos de delitos) y errores estándar robustos al clúster (que actúan como una red de seguridad para asegurar que las matemáticas no sean engañadas por las conexiones). En este caso específico, incluso después de desenredar la red, el software encontró una diferencia estadísticamente significativa: los juveniles con trastornos de salud mental tenían una tasa de reincidencia diferente (tamaño del efecto combinado $d=0.36$, IC del 95% [0.16, 0.56]).

Por qué esto es importante

El artículo no solo presume de una interfaz bonita; argumenta que los métodos estadísticos avanzados no deberían estar bloqueados tras un muro de código de computadora. Al integrar estas herramientas en JASP, los autores sugieren que los investigadores, profesores y estudiantes pueden ahora concentrarse en interpretar la ciencia en lugar de depurar el código. El software genera el código en segundo plano, por lo que si quieres aprender, puedes ver cómo se hace, pero si solo quieres la respuesta, puedes simplemente hacer clic en "Ejecutar".

Los autores son cuidadosos al señalar que, aunque este módulo cubre un terreno inmenso —desde gráficos básicos hasta modelos multinivel complejos—, es un trabajo en progreso. Mencionan que algunas funciones, como el metaanálisis de red, están planeadas para el futuro. Pero por ahora, han demostrado con éxito que una herramienta gratuita y de código abierto puede manejar los métodos rigurosos y de vanguardia necesarios para sintetizar la evidencia científica. No pretenden haber resuelto todos los problemas de la ciencia, pero le han entregado al superbibliotecario un kit de herramientas mucho mejor, uno que cualquiera puede tomar y usar para encontrar la verdad en medio del ruido.