A median-based estimate of effect size - toward more intuitive comparisons in mathematics education research

Resumen Técnico: Una Estimación del Tamaño del Efecto Basada en la Mediana

Planteamiento del Problema
La investigación en educación matemática se apoya frecuentemente en las Pruebas de Significancia de Hipótesis Nula (NHST, por sus siglas en inglés), que arrojan conclusiones binarias de "significativo/no significativo" que dependen fuertemente del tamaño de la muestra. Si bien las estimaciones del tamaño del efecto (como la d de Cohen) abordan la magnitud de las diferencias, los autores argumentan que las medidas estándar a menudo no proporcionan interpretaciones intuitivas o significativas para la naturaleza específica de los datos de la educación matemática. Los problemas comunes incluyen:

1. Supuestos Distribucionales: La d de Cohen y la g de Hedges asumen datos con distribución normal y dependen de medias y desviaciones estándar, lo que las hace vulnerables a la asimetría, las colas pesadas y los valores atípicos, características comunes en las puntuaciones de exámenes, escalas de Likert y ganancias de aprendizaje.
2. Interpretabilidad: Las diferencias de medias estandarizadas carecen de unidades y suelen ser difíciles de interpretar contextualmente para los profesionales.
3. Tipos de Datos: Gran parte de los datos de la educación matemática son "naturalistas" (por ejemplo, evaluaciones de aula) en lugar de estrictamente experimentales o de muestras aleatorias, lo que hace que los supuestos de muestreo tradicionales y las pruebas de significancia sean potencialmente engañosos o mal aplicados.
4. Dependencia excesiva de las Estimaciones Puntuales: Reportar solo estimaciones puntuales sin intervalos de confianza puede conducir a una sobreinterpretación de los efectos, particularmente en conjuntos de datos pequeños o con baja varianza.

Metodología
Los autores proponen un indicador del tamaño del efecto basado en la mediana, denotado como M(A, B), diseñado para comparar dos conjuntos de datos numéricos, A y B.

• Definición: El estimador se define como $M(A, B) = 2|\gamma(A)|/|A| - 1$, donde $\gamma(A) = \{a \in A : a \geq \text{mediana}(B)\}$. Conceptualmente, mide la probabilidad de que un dato aleatorio de A sea mayor o igual a la mediana de B, ajustado a una escala de [-1, 1].
• Propiedades Teóricas:
  • Funciona como una "probabilidad de dominancia basada en la mediana", contrastando con la dominancia estocástica clásica (Prob(A > B)) utilizada en las pruebas de Mann-Whitney U.
  • Es resistente a la asimetría, las colas pesadas y los valores atípicos porque se basa en la mediana en lugar de la media.
  • Para datos con distribución normal, tiene una relación funcional y no lineal con la d de Cohen ($M = 2\Phi(d) - 1$), pero los autores argumentan que esta relación no debe usarse para derivar M a partir de d para datos no normales.
  • Aproxima el delta de Cliff cuando las distribuciones son simétricas, pero se comporta de manera más robusta que el delta de Cliff cuando los datos son asimétricos.
• Procedimiento de Inferencia: Para abordar la incertidumbre de las estimaciones puntuales, los autores emplean un procedimiento de bootstrap frecuentista. Generan distribuciones de probabilidad tanto para el estimador basado en la mediana como para la d de Cohen mediante el remuestreo con reemplazo (por ejemplo, $10^4$ a $10^5$ veces). Esto permite el cálculo de intervalos de confianza (IC) del 95% para las medias del tamaño del efecto, proporcionando una visión transparente de la confiabilidad de la estimación.

Contribuciones Clave y Resultados
El artículo introduce el estimador basado en la mediana como una herramienta complementaria a las medidas existentes, demostrando su utilidad a través de una serie de ejemplos extraídos de la literatura y los conjuntos de datos de la educación matemática.

1. Robustez ante la No Normalidad: En ejemplos que involucran distribuciones asimétricas (por ejemplo, ganancias de pre-test/post-test, datos de intervención de álgebra temprana), el estimador basado en la mediana proporcionó resultados estables donde la d de Cohen era potencialmente engañosa debido a la no normalidad o a valores atípicos extremos.
2. Interpretación Intuitiva: Los autores demuestran que $M(A, B)$ puede interpretarse visualmente (la proporción de una distribución que excede la mediana de otra) y probabilísticamente (por ejemplo, "equivalente a extraer una bola negra de una urna").
3. Ejemplos Empíricos:
   • Efectos Grandes: En casos como el impacto de una intervención de álgebra temprana (Blanton et al., 2015) o diferencias de nivel de grado en el pre-test, el estimador basado en la mediana confirmó efectos grandes (por ejemplo, $M \approx 0.93$) con intervalos de confianza estrechos, alineándose con los histogramas visuales.
   • Efectos Medios: Las comparaciones de tipos de problemas (práctica intercalada frente a práctica bloqueada) y modelos curriculares mostraron efectos moderados ($M \approx 0.38 - 0.47$) con intervalos de confianza alejados de cero.
   • Efectos Pequeños/Nulos: En comparaciones de diferencias de género en las puntuaciones de TIMSS o la eficacia de los libros de texto, el estimador basado en la mediana arrojó estimaciones puntuales pequeñas ($M \approx 0.16$). Crucialmente, los intervalos de confianza de bootstrap para estos casos a menudo incluyeron el cero (por ejemplo, $[-0.19, 0.51]$), señalando que las diferencias observadas podrían deberse al azar, un matiz que a veces se oscurece con las estimaciones puntuales por sí solas.
4. Comparación con la d de Cohen: El estudio destaca que, si bien la d de Cohen y el estimador basado en la mediana a menudo se correlacionan, pueden divergir significamente en datos asimétricos o cuando las varianzas son pequeñas. Los autores señalan que las varianzas pequeñas pueden inflar artificialmente la d de Cohen, mientras que el enfoque basado en la mediana permanece estable.

Significancia y Reivindicaciones
Los autores no pretenden que el estimador basado en la mediana reemplace a la d de Cohen, la g de Hedges u otras medidas establecidas. En su lugar, lo posicionan como una adición productiva al repertorio del investigador para cuantificar e interpretar las diferencias en los datos.

La principal significancia del artículo radica en su defensa de:

• Fundamentación Contextual: Proporcionar una métrica de tamaño del efecto que se alinee más estrechamente con la forma en que los investigadores y profesionales razonan sobre el desempeño de los estudiantes (por ejemplo, "¿cuántos estudiantes mejoraron más allá de la mediana del grupo de control?").
• Transparencia y Honestidad: Enfatizar que el tamaño del efecto es una distribución de probabilidad, no solo un número. Los autores argumentan que reportar intervalos de confianza del 95% mediante métodos de bootstrap es esencial para un reporte honesto, particularmente para conjuntos de datos pequeños o con baja varianza, para evitar la sobreinterpretación de las estimaciones puntuales.
• Robustez: Ofrecer un método que no requiere el supuesto de normalidad, lo que lo hace adecuado para los datos "naturalistas", asimétricos y heterogéneos que se encuentran frecuentemente en la investigación de la educación matemática.

En última instancia, el artículo sugiere que combinar el estimador basado en la mediana con intervalos de confianza y representaciones visuales de datos (histogramas suavizados) aborda mejor las preguntas fundamentales de si un efecto es real, qué tan grande es y si es prácticamente útil.