Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una única escena del crimen, tienes un almacén enorme y reluciente lleno de millones de pistas. Esto es lo que sucede en el mundo de la ciencia de los "grandes datos" (big data), donde los investigadores estudian grupos masivos de personas —como miles de profesores de todo el mundo— para comprender cómo funcionan las cosas. Pero aquí está la parte complicada: cuando tienes tantas pistas, puedes organizarlas de un millón de maneras diferentes para contar una historia. Podrías decidir centrarte solo en las pistas rojas, o ignorar las que están del lado izquierdo de la sala, o agruparlas por tamaño en lugar de por color. Cada una de estas elecciones es como tomar un camino diferente en un jardín. Si tomas un camino, podrías encontrar un tesoro oculto; si tomas otro, podrías encontrar un callejón sin salida. Esta idea se llama el "jardín de los caminos que se bifurcan" (garden of forking paths), y sugiere que, a veces, la historia que contamos depende más del camino que el detective eligió recorrer que de las pistas reales que encontró.

Este artículo, escrito por Mark White de la Universidad de Oslo, profundiza en este problema utilizando un conjunto de datos masivo llamado TALIS 2018, que encuestó a profesores de muchos países. El autor quería ver si la "historia" contada por un estudio famoso y altamente citado sobre la formación docente (llamada "inducción") era realmente cierta, o si simplemente fue el resultado de un camino específico a través del jardín. El artículo no se limita a observar una sola forma de analizar los datos; en su lugar, intenta probar casi medio millón de formas diferentes de procesar los números. Es como pedirle a 500,000 detectives diferentes que resuelvan el mismo caso usando reglas ligeramente distintas y ver si todos encuentran al mismo culpable. El objetivo no es decir que el estudio original estaba "equivocado", sino demostrar que los resultados pueden cambiar drásticamente dependiendo de las elecciones realizadas en el proceso, lo que hace difícil saber con certeza cuál es la respuesta "real".

El Jardín de un Millón de Caminos

Piensa en el estudio original que el autor investiga como un mapa hacia un cofre del tesoro. El mapa afirmaba que ciertas actividades de formación docente —como la enseñanza en equipo o llevar un diario— eran las claves para que los profesores fueran más felices y mejores en sus trabajos. Los investigadores que dibujaron ese mapa utilizaron un conjunto específico de reglas para encontrar el tesoro: se centraron en profesores estadounidenses, incluyeron solo a trabajadores a tiempo completo y utilizaron una fórmula matemática específica para conectar la formación con los resultados. Encontraron un brillante cofre del tesoro y dijeron: "¡Mira! ¡La formación funciona!".

Pero Mark White se preguntó: "¿Qué pasaría si cambiáramos las reglas un poco?". ¿Qué pasaría si miráramos a profesores en Australia o Nueva Zelanda en lugar de solo en Estados Unidos? ¿Qué pasaría si solo miráramos a profesores en su primer año de docencia? ¿Qué pasaría si cambiáramos la fórmula matemática ligeramente? Para responder a esto, White no se limitó a suponer; construyó un "multiverso". En la ciencia, un análisis de multiverso es como ejecutar una simulación donde se prueban todas las combinaciones razonables de reglas a la vez.

En este caso, White identificó 13 "perillas" o decisiones diferentes que un investigador podría girar. Estas incluían decisiones como:

• ¿Quién cuenta? (¿Debemos incluir solo a los nuevos profesores, o a todos los profesores? ¿Debemos mirar solo a Estados Unidos, o también a otros países de habla inglesa?)
• ¿Qué números usamos? (¿Debemos ajustar las matemáticas para tener en cuenta cuántas personas fueron encuestadas, o simplemente contar a todos por igual?)
• ¿Cómo medimos la formación? (¿Debemos observar el programa de formación completo, o desglosarlo en piezas diminutas?)

Cuando multiplicas todas estas elecciones, obtienes un número asombroso: 497,644 formas diferentes de analizar los datos. Eso es casi medio millón de caminos distintos a través del jardín. White realizó el análisis para cada uno de estos caminos.

El Tesoro que Cambia de Lugar

Los resultados fueron un poco impactantes. Cuando White observó el "multiverso" de resultados, descubrió que el cofre del tesoro no estaba en el mismo lugar para cada camino.

En algunos de los 497,644 análisis, las actividades de formación parecían una varita mágica que hacía que los profesores fueran increíblemente felices y efectivos. En otros análisis, las mismas actividades de formación parecían ser, de hecho, perjudiciales, haciendo que los profesores fueran menos efectivos. En muchos otros caminos, la formación parecía no importar en absoluto.

El artículo muestra esto con un gráfico gigante (Figura 1 en el texto original). Imagina una línea de puntos que se extiende desde el extremo izquierdo hasta el derecho. Los puntos en el extremo izquierdo representan análisis donde la formación fue un desastre. Los puntos en el extremo derecho representan análisis donde la formación fue un milagro. Los puntos en el medio representan análisis donde no importaba. La parte aterradora es que hay puntos verdes (que significan "estadísticamente significativo" o "real") en ambos lados. Esto significa que, para casi cada actividad de formación específica y cada resultado docente específico, un investigador podría encontrar una forma "razonable" de demostrar que fue un gran éxito, y otra forma "razonable" de demostrar que fue un gran fracaso.

El estudio original había elegido un camino específico a través de este jardín y encontró un resultado positivo. Pero el análisis de multiverso de White sugiere que este resultado no era necesariamente la "verdad" absoluta. Era solo una de cientos de miles de verdades posibles, y la elección de qué camino tomar era algo arbitraria.

Por Qué Esto Importa

Este artículo no dice que la formación docente sea inútil. No dice que los autores originales estuvieran equivocados. En cambio, destaca un problema sutil pero enorme en cómo hacemos ciencia. Cuando una pregunta de investigación es un poco vaga —como "¿Ayuda la formación a los profesores?"—, hay tantas formas de responder que la respuesta suele depender de las elecciones que el investigador haga incluso antes de empezar a mirar los datos.

El autor llama a esto el "jercín de los caminos que se bifurcan". Si no sabes en qué camino estás, no puedes estar seguro de si el tesoro que encontraste es real o es solo el resultado del camino específico elegido. El artículo sugiere que cuando vemos un estudio con un resultado único y claro, deberíamos ser un poco más curiosos. Deberíamos preguntarnos: "¿Qué habría pasado si hubieran elegido un camino diferente?".

Al ejecutar casi medio millón de análisis, este artículo nos muestra que la "verdad" sobre la formación docente es mucho más compleja e incierta de lo que sugiere un solo titular. No nos da una respuesta nueva y mejor; en su lugar, nos da una imagen mucho más clara de qué tan inseguros estamos realmente. Es un recordatorio de que, en el jardín de la ciencia, hay muchos caminos, y a veces, la vista cambia completamente dependiendo de cuál elijas recorrer.