From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
Este estudio sostiene que, para los indicadores de los cuestionarios no cognitivos de PISA, las comparaciones internacionales deberían pasar de depender de clasificaciones de medias nacionales potencialmente engañosas al análisis de las pendientes intraescolares, las cuales ofrecen una comprensión más robusta y relevante para las políticas sobre cómo los sistemas educativos moldean las experiencias y el rendimiento de los estudiantes.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que eres un detective tratando de resolver un misterio sobre cómo les va a diferentes escuelas alrededor del mundo. Durante años, la herramienta principal que los detectives usaban era una pizarra gigante, o una "tabla de clasificación", que simplemente enumeraba a los países del primer al último lugar basándose en su puntuación promedio. Es como clasificar equipos de baloncesto solo mirando el total de puntos que anotaron en una temporada, sin importar contra quién jugaron, cómo jugaron o si siquiera estaban jugando el mismo juego. Esto funciona bien para cosas como matemáticas o lectura, donde las respuestas suelen ser correctas o incorrectas. Pero cuando se trata de sentimientos, motivación o qué tan felices están los estudiantes, esto se vuelve complicado. Estas no son cosas que se puedan medir con una regla; son como sabores o colores. Si le preguntas a personas de diferentes culturas qué tan "picante" es su comida, una calificación de "muy picante" en un país puede significar algo totalmente distinto que en otro. Este artículo trata sobre un grupo de investigadores que decidieron dejar de mirar simplemente la pizarra y empezar a mirar las relaciones entre los jugadores y el juego. En lugar de preguntar "¿Qué país tiene la mayor felicidad promedio?", preguntaron: "¿Cómo cambia el trasfondo de un estudiante o sus puntuaciones de exámenes sus sentimientos sobre la escuela?". Querían ver si las reglas del juego cambian cuando te alejas de un solo estudiante para observar a todo un país.
Los investigadores, liderados por Kit-Tai Hau y su equipo, tomaron una instantánea masiva de datos de 612,004 estudiantes de 80 países, recolectados durante la prueba PISA de 2018. Analizaron 31 cuestionarios diferentes sobre temas como la motivación, el bienestar y cómo se sienten los estudiantes con respecto a sus aulas. Su primer gran descubrimiento fue que la pizarra era mayormente inútil para estos sentimientos. Cuando procesaron los números, encontraron que las diferencias entre países eran diminutas: solo un 6% de la variación en estos sentimientos se debía a en qué país estaba el estudiante. El otro 94% ocurría dentro de los países, principalmente entre diferentes escuelas. Es como intentar comparar la altura promedio de las personas en Francia versus Italia y encontrar que la diferencia es tan pequeña que no importa, mientras que la diferencia entre un equipo de baloncesto y un equipo de gimnasia en la misma ciudad es enorme.
Pero la verdadera magia ocurrió cuando dejaron de mirar los promedios y empezaron a mirar las "pendientes". Imagina un gráfico donde la línea sube o baja. Una "pendiente" te dice cómo cambia una cosa a medida que otra cambia. Los investigadores descubrieron que si solo miras el promedio del país, la historia a menudo se invierte. Por ejemplo, a nivel del estudiante individual, salir bien en lectura suele hacer que un estudiante se sienta bien consigo mismo. Pero cuando miras el nivel del país, los países con puntuaciones promedio de lectura más altas a veces tenían estudiantes que reportaban una menor autoconfianza. Es un poco como el efecto de "Gran Pez, Estanque Pequeño": si eres un pez inteligente en un estanque lleno de otros peces inteligentes, podrías sentirte menos especial que si fueras el pez más inteligente en un estanque pequeño y tranquilo. El promedio del país oculta esto porque mezcla todos los estanques.
El artículo argumenta que, en lugar de clasificar a los países por su promedio de "estado de ánimo", deberíamos mirar estas pendientes para entender cómo funcionan los sistemas educativos. Descubrieron que la relación entre el trasfondo de un estudiante (como la riqueza de su familia) y su experiencia escolar es una forma mucho mejor de juzgar un sistema. Descubrieron que estas relaciones (las pendientes) eran mayormente consistentes en su dirección —es decir, la teoría se sostenía— pero la fuerza de estas relaciones variaba de un país a otro. Curiosamente, la mayoría de las diferencias en estas pendientes no eran entre países, sino entre escuelas dentro de un mismo país. Esto sugiere que, si queremos solucionar problemas o mejorar las cosas, no debemos mirar solo las políticas nacionales; necesitamos mirar lo que está sucediendo dentro de escuelas específicas.
Los autores también verificaron para asegurarse de que sus hallazgos no fueran solo una casualidad causada por la forma en que contaron los datos. Probaron diferentes formas de ponderar los números, y los resultados se mantuvieron iguales. También descubrieron que algunas características estructurales de un país, como qué tan segregadas están las escuelas (cuánto se separan los estudiantes de diferentes trasfondos), podrían explicar por qué las pendientes eran diferentes en algunos lugares. Por ejemplo, en países donde las escuelas estaban más mezcladas, el vínculo entre hacer las cosas bien y sentirse bien era a menudo más fuerte.
Al final, el artículo sugiere un cambio importante en cómo pensamos sobre los informes de educación internacional. No debemos desechar la pizarra por completo, pero no deberíamos confiar en ella para contarnos qué tan felices o motivados están los estudiantes. La pizarra es una herramienta débil para los sentimientos porque ignora el contexto. El enfoque de la "pendiente" es como cambiar una foto grupal borrosa por un video de alta definición que muestra cómo los estudiantes interactúan con su mundo. Nos dice que las diferencias más importantes no son entre naciones, sino entre las escuelas dentro de ellas. Al enfocarse en estas relaciones en lugar de solo en los promedios, podemos obtener una imagen más clara y honesta de cómo los sistemas educativos moldean las vidas de los jóvenes, pasando de simplemente clasificar quién es el "mejor" a entender cómo mejorar las cosas para todos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.