📊 statistics

A Bayesian Approach to Estimating Effect Sizes in Educational Research

Este artículo presenta un enfoque bayesiano utilizando el paquete brms en R para estimar tamaños del efecto en investigación educativa, considerando la estructura multinivel y varianzas residuales heterogéneas, y recomienda métricas específicas ( $d_s$ y $d_z$ ) basadas en el $\delta_t$ de Hedges para evaluar la efectividad diferencial de las intervenciones.

Autores originales: Yannis Bähni

Publicado 2026-04-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yannis Bähni

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este artículo es como un manual de instrucciones para cocineros que quieren saber si su nueva receta (una nueva forma de enseñar) realmente hace que los platos (los estudiantes) salgan más ricos que los de la receta vieja.

Aquí tienes la explicación en español, usando analogías sencillas:

🍳 El Problema: ¿Cómo medimos si una receta funciona?

En la investigación educativa, los científicos suelen preguntar: "¿Funciona mejor la clase A o la clase B?". Para responder, usan una medida llamada "Efecto". Imagina que el efecto es la diferencia de sabor entre dos platos.

Antes, los científicos usaban una balanza muy simple (llamada estadística "frecuentista") que solo les daba un número único: "La nueva receta es un 20% mejor". Pero esto tiene un problema: es como si cocinaras para 100 personas y solo le preguntaras a una si le gustó. ¿Y si a los demás no les gustó? ¿O si a los niños les gustó más que a los adultos? La balanza antigua no veía esos detalles.

Además, a veces los datos son "desordenados" (algunos estudiantes aprenden rápido, otros lento, y están agrupados en diferentes clases). La balanza antigua asumía que todos eran iguales, lo cual es falso.

🚀 La Solución: La "Lupa Bayesiana"

El autor, Yannis, propone usar una nueva herramienta: la estadística Bayesiana.

Imagina que la estadística antigua es como mirar una foto borrosa y decir "parece un perro". La estadística Bayesiana es como usar una lupa mágica que te permite ver:

Todo el espectro de posibilidades: En lugar de un solo número, te da una "nube" de probabilidades. Te dice: "Hay un 95% de probabilidad de que el efecto esté entre un 10% y un 30%".
Las diferencias ocultas: Te permite ver que, aunque el promedio es bueno, en la "Clase 1" la receta fue un éxito rotundo, pero en la "Clase 2" fue un desastre. ¡La lupa ve las diferencias entre grupos!

🏫 El Experimento: Estudiantes en Clases

El autor usó datos reales de 1,377 estudiantes divididos en dos grupos:

Grupo de Control: Aprendieron con el método normal.
Grupo de Intervención: Aprendieron con un método nuevo y especial.

Usaron una herramienta de computadora llamada brms (que es como un "robot cocinero" muy potente) para analizar los datos.

🔍 Las Tres Medidas de "Sabor" (Efectos)

El paper explica que hay diferentes formas de medir el éxito, dependiendo de cómo se haga la comparación:

La Comparación entre Grupos (Pooled Design):
- Analogía: Comparar el plato de la Clase A con el de la Clase B al mismo tiempo.
- Medida: Se llama $d_s$ . Es como decir: "El plato de la Clase B es más sabroso que el de la A". El paper nos enseña a calcular esto considerando que cada clase tiene su propio nivel de "ruido" o variabilidad.
La Comparación Dentro del Mismo Grupo (Paired Design):
- Analogía: Probar el mismo estudiante antes de la clase (pre-test) y después (post-test).
- El truco: Si un estudiante ya sabía mucho antes, es difícil mejorar mucho. Si sabía poco, puede mejorar mucho.
- Medida 1 ( $d_s$ ): Mide el cambio bruto. A veces exagera el éxito.
- Medida 2 ( $d_z$ ): Es como ajustar la balanza para tener en cuenta que el estudiante es el mismo. Es una medida más justa y precisa.
- Medida 3 ( $d_n$ ): Se usa si el estudiante ya estaba "lleno" (sacó 100% antes). Mide cuánto pudo mejorar realmente en relación con su límite máximo.

💡 El Gran Descubrimiento: La "Diferencia entre Clases"

Aquí está la parte más importante y genial del paper:

Imagina que el nuevo método de enseñanza es como un fertilizante.

El método antiguo te dice: "El fertilizante hace crecer las plantas un 20% en promedio".
El método Bayesiano del paper te dice: "El fertilizante hace crecer las plantas un 20% en promedio, PERO... en la clase del profesor Juan crecieron un 50%, y en la clase del profesor María se marchitaron un 10%".

El paper nos enseña a calcular no solo el promedio, sino también la variabilidad (la desviación estándar). Esto es crucial porque nos dice si una intervención es consistente (funciona igual para todos) o diferencial (funciona muy bien para algunos y mal para otros).

📝 Conclusión Simple

Este artículo es una guía para que los educadores y científicos dejen de usar "balanzas simples" y empiecen a usar "lupas inteligentes".

Antes: "La nueva clase funciona". (Fin).
Ahora (con este paper): "La nueva clase funciona en promedio, pero funciona muy bien en clases grandes y poco en clases pequeñas. Además, tenemos un rango de seguridad del 95% de que no es un error de la suerte".

En resumen: El paper nos da las herramientas para entender que no todos los estudiantes son iguales y que una buena intervención educativa debe ser medida con mucha más precisión, considerando las diferencias entre las clases y los estudiantes, para no ilusionarnos con resultados que solo existen en el papel.

¡Y todo esto se hace con código en R, que es como darle las instrucciones exactas al robot cocinero para que no se equivoque!

1. Planteamiento del Problema

La investigación educativa a menudo se basa en diseños de pretest-postest con grupos de control e intervención. Sin embargo, el cálculo tradicional de los tamaños del efecto (como la $d$ de Cohen) presenta varias limitaciones críticas en este contexto:

Estructura Jerárquica Ignorada: Los datos educativos tienen una estructura multinivel natural (estudiantes anidados en clases), que los métodos frecuentistas estándar a menudo ignoran o tratan incorrectamente.
Varianzas Heterogéneas: Se asume frecuentemente la homocedasticidad (varianzas iguales entre grupos y momentos), lo cual es irrealista en ciencias del aprendizaje.
Estimaciones Puntuales vs. Distribuciones: Los métodos clásicos ofrecen estimaciones puntuales y intervalos de confianza basados en bootstrapping o asunciones de normalidad, que pueden ser aproximaciones pobres.
Diseños Emparejados: En diseños de medidas repetidas, la correlación entre pretest y postest a menudo no se ajusta correctamente en el cálculo del tamaño del efecto, llevando a sobreestimaciones (uso de $d_s$ en lugar de $d_z$ ).
Falta de Heterogeneidad: Los promedios globales ocultan la "efectividad diferencial" de una intervención entre diferentes clases o contextos.

2. Metodología

El autor propone un enfoque puramente bayesiano utilizando el paquete brms en R (que actúa como interfaz para el lenguaje de programación probabilística Stan).

Modelado Multinivel: Se utilizan modelos lineales multinivel (jerárquicos) que incluyen:
- Efectos fijos: Para las condiciones (control/intervención) y el tiempo (pretest/postest).
- Efectos aleatorios: Interceptos aleatorios y pendientes aleatorias para los estudiantes (id) y las clases (class).
- Varianzas Heterogéneas: Se modelan explícitamente las varianzas residuales diferentes para cada condición y momento temporal (heterocedasticidad), utilizando la fórmula sigma ~ 0 + time * condition.
Distribuciones Robustas: Se emplea la distribución t de Student (y en algunos casos la normal sesgada) para los errores, lo que hace el modelo más robusto ante valores atípicos y asimetrías en los datos, evitando la suposición estricta de normalidad.
Cálculo de Tamaños del Efecto:
- Se extiende la fórmula de Hedges (2007) para el tamaño del efecto total ( $\delta_t$ ) al contexto bayesiano multinivel.
- Se calculan tres tipos de tamaños del efecto para diseños emparejados:
  1. $d_s$ : Diferencia estandarizada de medias (similar a Cohen's $d$ ), que ignora la correlación.
  2. $d_z$ : Diferencia estandarizada basada en la ganancia neta (considera la correlación, análogo a la prueba t emparejada).
  3. $d_n$ : Basado en ganancias de aprendizaje normalizadas (útil para efectos techo).
- Fórmula Clave: El tamaño del efecto se calcula dividiendo la diferencia de medias por la raíz cuadrada de la suma de todos los componentes de varianza (varianza residual, varianza de los efectos aleatorios de nivel estudiante y nivel clase).

3. Contribuciones Clave

Implementación Práctica: Proporciona una guía tutorial detallada y código reproducible (disponible en OSF) para implementar estos modelos complejos en brms.
Distribución Posterior Completa: En lugar de un solo número, el enfoque bayesiano proporciona la distribución posterior completa de los tamaños del efecto. Esto permite calcular intervalos creíbles (CrI) y, crucialmente, la desviación estándar del tamaño del efecto a través de las clases.
Corrección de Varianzas: Demuestra cómo incorporar correctamente varianzas residuales heterogéneas y estructuras multinivel, algo que los métodos clásicos de Cohen's $d$ no hacen de forma nativa.
Análisis de Efectividad Diferencial: Introduce la capacidad de cuantificar no solo el efecto promedio, sino la variabilidad de dicho efecto entre diferentes grupos (clases), revelando si una intervención funciona mejor en ciertos contextos que en otros.

4. Resultados del Estudio de Caso

El estudio utiliza un conjunto de datos real de un diseño cuasi-experimental con 1377 estudiantes en 62 clases (939 control, 438 intervención).

Ajuste del Modelo: Los modelos con varianzas residuales heterogéneas y estructuras multinivel mostraron un mejor ajuste a los datos (verificación predictiva posterior) en comparación con modelos que asumen homocedasticidad o ignoran la jerarquía.
Comparación de Tamaños del Efecto:
- Entre Grupos (Pretest/Postest): El tamaño del efecto bayesiano ( $d_s \approx 0.22$ ) fue ligeramente menor que el cálculo clásico sin estructura multinivel ( $d_s \approx 0.28$ ), sugiriendo que los métodos clásicos pueden sobreestimar el efecto al ignorar la variabilidad entre clases.
- Dentro del Grupo (Ganancia de Aprendizaje):
  - Para el grupo control: $d_s = 1.18$ vs. $d_z = 1.11$ .
  - Para el grupo intervención: $d_s = 1.23$ vs. $d_z = 1.20$ .
  - Se confirma que $d_z$ es ligeramente menor que $d_s$ debido al ajuste por correlación, pero la diferencia es pequeña en este caso.
Variabilidad Interclase:
- La desviación estándar de los tamaños del efecto entre clases fue significativa (ej. $SD = 0.18$ en el postest).
- Hallazgo Crítico: Mientras que el efecto promedio fue positivo, la distribución de efectos por clase mostró que en algunas clases la intervención fue menos efectiva o incluso contraproducente (efectos negativos), algo que un promedio global ocultaría.

5. Significado e Implicaciones

Interpretación Más Matizada: El enfoque bayesiano multinivel evita la sobreestimación de la efectividad de las intervenciones educativas al revelar la heterogeneidad oculta entre grupos.
Guías para la Práctica: El artículo establece directrices claras (Tabla 7) sobre qué tamaño del efecto reportar según el diseño (dentro de clase vs. entre clases) y el tipo de análisis (emparejado vs. agrupado).
- Se recomienda reportar siempre $d_s$ y $d_z$ (y su desviación estándar entre clases) para diseños emparejados.
Reproducibilidad y Transparencia: Al exigir la especificación de priores, verificaciones de convergencia (R-hat, ESS) y distribuciones posteriores completas, el método mejora la transparencia y reproducibilidad de la investigación educativa.
Limitaciones: Se reconoce que el enfoque bayesiano es computacionalmente más costoso y requiere mayor experiencia técnica para la configuración de priores y modelos complejos.

En conclusión, el artículo demuestra que la integración de la estructura multinivel y las varianzas heterogéneas en un marco bayesiano proporciona una visión mucho más rica, precisa y realista de la efectividad de las intervenciones educativas que los métodos tradicionales.