Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022
Este estudio demuestra que el techo de precisión de medición inherente a los valores plausibles de PISA 2022 limita fundamentalmente la exactitud predictiva alcanzable y desestabiliza las clasificaciones de predictores a través de dominios y sistemas educativos, lo que requiere que las comparaciones de desempeño y las interpretaciones de modelos se fundamenten en estos límites de medición computables.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada año, millones de adolescentes en todo el mundo realizan una prueba masiva llamada PISA, diseñada para ver qué tan bien comprenden las matemáticas, la lectura y las ciencias. Los resultados son utilizados por gobiernos y educadores para juzgar qué escuelas y países están haciendo el mejor trabajo. En años recientes, los investigadores han comenzado a utilizar estos puntajes de las pruebas para construir modelos computacionales que intentan predecir el éxito de un estudiante basándose en su entorno, como los ingresos de su familia, los libros en su hogar o el clima de su escuela. Estos estudios suelen producir una lista clasificada de los factores más importantes, sugiriendo que si queremos mejorar los puntajes, debemos enfocarnos en los elementos superiores de esa lista. Sin embargo, existe un problema oculto con este enfoque. Los puntajes de las pruebas utilizados en estos estudios no son observaciones directas de la capacidad de un estudiante. En cambio, son estimaciones estadísticas, creadas al extraer diez números diferentes posibles para cada estudiante de una nube de posibilidades. Debido a que estos números son estimaciones, contienen una cierta cantidad de ruido intrínseco, o incertidumbre, que ninguna cantidad de datos podrá jamás explicar. Esta incertidumbre establece un límite estricto sobre qué tan precisamente puede un modelo predecir el desempeño de un estudiante, un límite que cambia dependiendo de la materia que se evalúa y del país donde se realizó la prueba.
Un nuevo estudio de Jonas Mandalunes investiga exactamente cuánto este ruido oculto limita nuestra capacidad de aprender de estas pruebas masivas. El investigador utilizó la base de datos internacional del ciclo PISA 2022, que incluye datos de más de 600,000 estudiantes de 80 sistemas educativos diferentes. El estudio se centró en cuatro áreas: matemáticas, lectura, ciencias y una adición más reciente llamada pensamiento creativo. La pregunta central era simple: ¿qué tanto del puntaje de un estudiante puede explicar realmente un modelo computacional, y este límite cambia la lista de factores que parecen importar más? Para responder a esto, el investigador calculó un "techo" para cada materia en cada país. Este techo representa la precisión máxima posible que cualquier modelo de predicción podría alcanzar, simplemente porque los puntajes de las pruebas mismas no son perfectos. El estudio encontró que este techo varía enormemente. Para el pensamiento creativo, el límite varió desde aproximadamente el 65 por ciento hasta casi el 90 por ciento, dependiendo del país. Para las matemáticas, el rango fue más estrecho pero también varió, desde aproximadamente el 81 por ciento hasta el 93 por ciento. Esto significa que en algunos lugares, ningún modelo puede explicar jamás más de dos tercios de las diferencias en los puntajes de los estudiantes, mientras que en otros, el límite es mucho más alto.
El estudio fue más allá para ver si este límite afecta las clasificaciones de los factores que influyen en los puntajes. El investigador ejecutó los mismos modelos computacionales una y otra vez, utilizando en cada ocasión una de las diez estimaciones de puntaje posibles para los estudiantes. En las materias medidas con mayor precisión, la lista de los principales factores se mantuvo mayormente igual. Pero en las materias menos precisas, como el pensamiento creativo, la lista cambió drásticamente. Cuando el investigador cambiaba de una estimación de puntaje a otra, más del 40 por ciento de los cinco principales factores de la lista intercambiaban lugares. Esto significa que un estudio que reporta una única lista de factores "más importantes" está mostrando esencialmente una sola instantánea aleatoria de una realidad mucho más amplia y cambiante. Si un investigador hubiera elegido una estimación de puntaje diferente, podría haber concluido que un conjunto de factores completamente distinto estaba impulsando el éxito estudiantil.
Otro hallazgo crítico se refirió a cómo se dividieron los datos para probar los modelos. Muchos estudios mezclan aleatoriamente estudiantes de diferentes escuelas en grupos de entrenamiento y de prueba. La nueva investigación mostró que este método crea una falsa sensación de precisión. Debido a que los estudiantes de una misma escuela tienden a ser similares, un modelo que ve estudiantes de una escuela específica durante el entrenamiento puede aprender patrones propios de esa escuela, en lugar de aprender sobre los estudiantes en sí. Cuando el investigador obligó al modelo a mantener las escuelas enteras separadas durante el entrenamiento y la prueba, la precisión predicha cayó significamente. En algunos casos, la caída fue masiva, revelando que estudios previos habían inflado sus resultados en tanto como 0.36 puntos simplemente porque no contabilizaron la estructura escolar. El tamaño de esta inflación dependía de cuántas escuelas había en el estudio, no de la complejidad del modelo computacional utilizado.
El estudio también analizó por qué la precisión de los puntajes difería tanto entre las materias. Encontró que cuanto más dependía una prueba de calificadores humanos para calificar respuestas abiertas, menos precisos tendían a ser los puntajes, especialmente en países muy grandes. El pensamiento creativo, que fue calificado enteramente por humanos leyendo respuestas escritas, mostró la mayor variación en precisión. En contraste, las matemáticas, que son calificadas mayormente por máquinas, fueron más consistentes. Esto sugiere que la forma en que se administra y se califica una prueba es tan importante como las preguntas mismas cuando se trata de cuánto podemos aprender de los resultados.
Las implicaciones de estos hallazgos son directas para cualquiera que intente comprender los datos educativos. No se puede comparar el desempeño de un modelo en un país con otro, o en una materia con otra, sin conocer primero el techo de precisión para ese contexto específico. Un modelo que explica el 45 por ciento de la varianza en un país con un techo bajo está en realidad desempeñándose bastante bien, capturando la mayor parte de lo que es posible saber. El mismo modelo en un país con un techo alto podría estar desempeñándose mal, dejando gran parte de la señal sin explicar. Además, cualquier lista de factores importantes derivada de estas pruebas debe tratarse con cautela. Debido a que los rankings cambian tanto dependiendo de qué estimación de puntaje se utilice, una lista única no es un hecho estable, sino una realización temporal. El estudio concluye que los investigadores siempre deben reportar el techo de precisión junto con sus resultados y deben probar sus modelos a través de todas las estimaciones de puntaje posibles para ver si sus conclusiones se mantienen. Sin estos controles, los rankings y las comparaciones que guían la política educativa pueden estar construidos sobre una base de ruido estadístico en lugar de evidencia sólida.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.