When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

Cada pocos años, un experimento global masivo tiene lugar en las aulas de todo el mundo. Cientos de miles de jóvenes de quince años se sientan para realizar los mismos exámenes de matemáticas, lectura y ciencias. Este es el Programa para la Evaluación Internacional de Alumnos, conocido como PISA. Los resultados son más que una simple calificación para las escuelas; son una instantánea de qué tan bien están preparados los jóvenes de una nación para el futuro. Debido a que las pruebas ocurren en ciclos, los investigadores pueden mirar hacia atrás y ver si un país está mejorando o empeorando con el tiempo. Pero hay una complicación oculta en esta comparación. Los estudiantes que realizan la prueba no siempre son la misma porción de la población de un año a otro. En algunos países, la prueba puede llegar a casi todos los jóvenes de quince años, mientras que en otros, puede llegar solo a una pequeña fracción. Cuando el grupo de estudiantes cambia, el promedio de las puntuaciones puede desplazarse simplemente porque la mezcla de personas cambió, no porque los estudiantes mismos hayan aprendido más o menos. Para solucionar esto, la organización que realiza las pruebas utiliza un ajuste matemático especial. Intenta estimar qué puntuación habrían obtenido los estudiantes con mejor desempeño si la prueba hubiera llegado a cada uno de los jóvenes de quince años que existen en el país, no solo a los que se presentaron. Este número ajustado se supone que es una forma justa de comparar el progreso a través de diferentes años y naciones.

Dos investigadores, Jonas A. Mandalunes y Danica Jane S. Mandalunes, decidieron ver qué tan frágil es realmente este ajuste. Se centraron en la pieza más crítica del rompecabezas: el número total de jóvenes de quince años en cada país. Este número actúa como el denominador, o la parte inferior de la fracción, que determina qué tan grande debe ser el ajuste. Los investigadores plantearon una pregunta simple pero profunda: ¿qué sucede con los resultados finales si se cambia ese número inferior? No asumieron que una fuente de datos de población fuera perfecta y la otra errónea. En su lugar, trataron dos formas diferentes de contar a los jóvenes de quince años como dos escenarios distintos. Un escenario utilizó los números que los gobiernos nacionales enviaron oficialmente a los organizadores de la prueba. El otro escenario utilizó una proyección de crecimiento poblacional global ampliamente respetada de las Naciones Unidas. Al ejecutar todo el análisis de tendencia dos veces —una con los números oficiales y otra con las proyecciones globales— pudieron ver cuánto cambiaba la historia del progreso de un país dependiendo de qué conteo se utilizara.

Los investigadores analizaron datos de setenta y tres economías entre 2018 y 2022. Descubrieron que el conteo oficial de jóvenes de quince años utilizado por los organizadores de las pruebas cambió significativamente en muchos lugares. En promedio, la diferencia en la tasa de cobertura entre los dos años fue de casi dos puntos porcentuales, pero en algunos casos, el cambio fue masivo, oscilando hasta veinte y siete puntos en una dirección o cuarenta y cinco en la otra. Cuando analizaron por qué cambiaban estos números, descubrieron que, en la mayoría de los casos, el cambio provino de la propia encuesta —es decir, la prueba llegó a una proporción diferente de los estudiantes matriculados— más que de un cambio en cuántos estudiantes estaban realmente escolarizados. Esta distinción es vital porque significa que un aumento en la puntuación podría no significar que más niños vayan a la escuela; podría significar simplemente que la prueba llegó a un grupo diferente de ellos.

El hallazgo más sorprendente fue cuán sensibles fueron las tendencias finales a este denominador. Cuando los investigadores intercambiaron el conteo oficial de la población por la proyección de las Naciones Unidas, el cambio estimado en las puntuaciones de las pruebas se desplazó drásticamente. En matemáticas, la diferencia promedio entre los dos escenarios fue de aproximadamente 3.4 puntos. En lectura, fue de 3.5 puntos, y en ciencias, de 3.4 puntos. Para poner esto en perspectiva, los organizadores de las pruebas publican un valor de "error de enlace" estándar para ayudar a los lectores a comprender el margen de incertidumbre en sus tendencias. Para matemáticas, ese valor es de 2.24 puntos. La diferencia causada simplemente por cambiar el conteo de la población fue mayor que este margen de error estándar en treinta y ocho de los sesenta y nueve países. En lectura, excedió el margen en cincuenta y dos países, y en ciencias, en cincuenta y uno. Esto significa que, para la mayoría de los países estudiados, la elección de qué número de población utilizar importó más que la incertidencia estadística asociada habitualmente con la prueba misma.

Los investigadores también examinaron qué sucede cuando las matemáticas chocan contra un muro. El procedimiento de ajuste asume que la prueba llegó a menos estudiantes de los que realmente existen en el país. Pero en algunos casos específicos, las matemáticas sugirieron que la prueba llegó a más estudiantes de los que la población oficial contaba. Cuando esto sucedió, el procedimiento tuvo que aplicar un arreglo especial: simplemente estableció el peso adicional en cero e informó la puntuación bruta de los estudiantes que realizaron la prueba, desactivando efectivamente el ajuste. Esto ocurrió en países como Corea e Irlanda en 2022. Los investigadores demostraron que este cambio de una puntuación ajustada a una puntuación bruta crea una ruptura repentina en los datos. No es una transición suave; es un alto brusco donde el método cambia por completo. También señalaron que, en algunos casos, el conteo oficial de la población era mayor que el número de estudiantes que la prueba afirmaba haber alcanzado, lo cual debería ser imposible si las definiciones estuvieran perfectamente alineadas, lo que sugiere que las definiciones de quién cuenta como un "joven de quince años" o quién está "matriculado" podrían diferir entre los organizadores de las pruebas y los estadísticos de población.

El estudio no concluyó que un conteo de población fuera el verdadero y el otro un error. Los investigadores fueron cuidadosos al declarar que ni los números oficiales del gobierno ni las proyecciones de las Naciones Unidas son la verdad absoluta. Los números oficiales a menudo carecen de detalles sobre cuándo se tomó exactamente el conteo o qué definición específica de "residente" se utilizó. Las proyecciones globales son modelos basados en supuestos. El problema central es que la puntuación de la tendencia final depende fuertemente de un número que no está plenamente explicado o que no es consistente. Los investigadores descubrieron que incluso cuando intentaron limpiar los datos eliminando los países con disputas territoriales conocidas o registros inconsistentes, las diferencias persistieron. La brecha entre los dos escenarios no desapareció; solo se desplazó ligeramente. Esto sugiere que la sensibilidad es una característica fundamental del método actual, no solo un resultado de datos desordenados.

Al final, los investigadores argumentan que la forma en que se reportan estas tendencias necesita cambiar para ser más honesta sobre esta incertidumbre. Recomiendan que los organizadores de las pruebas publiquen exactamente de dónde provienen los números de población, incluyendo la fecha y la definición específica utilizada. Sugieren que cada vez que se reporte una tendencia, esta debe ir acompañada de un rango que muestre cómo sería el resultado si se utilizara un conteo de población diferente pero razonable. Esto no sería un intervalo de confianza en el sentido estadístico, sino una declaración clara de cuánto depende el resultado del denominador. Finalmente, proponen que, si las matemáticas fallan porque los números no cuadran, la puntuación ajustada no debe corregirse silenciosamente o esconderse; debe marcarse y retenerse hasta que los datos de entrada sean reconciliados. El estudio muestra que la historia de cómo los países están mejorando o declinando es real, pero las cifras específicas que usamos para contar esa historia son mucho más delicadas de lo que parecen. Las tendencias existen, pero su magnitud precisa está ligada a una elección de números que actualmente se toma en la oscuridad.