Instructional Quality and PISA Mathematics Trajectories, 2012–2022: Frequentist and Bayesian Conditional Latent Growth Curve Analysis

Resumen Técnico: Calidad de la Instrucción y Trayectorias de Matemáticas en PISA, 2012–2022

Planteamiento del Problema
Este estudio aborda dos cuestiones distintas pero analíticamente vinculadas con respecto al marco de la "economía del conocimiento" y la política educativa. Primero, investiga la validez de la "hipótesis de comovimiento", que asume que las mejoras nacionales en la calidad de la educación, la inversión en investigación y desarrollo (I+D) y la participación en el mercado laboral se refuerzan mutuamente a lo largo del tiempo. Si bien los datos transversales muestran consistentemente que estos pilares están correlacionados, sigue sin probarse si los países que mejoran en un pilar mejoran simultáneamente en los otros de manera longitudinal. Segundo, el estudio examina si las tendencias nacionales en la calidad de la instrucción —específicamente el apoyo docente y el clima disciplinario— predicen la trayectoria de los resultados de aprendizaje de los estudiantes (puntuaciones de matemáticas en PISA) durante una década. Esto aborda una brecha en la literatura donde las asociaciones dentro de un mismo ciclo entre la calidad de la enseñanza y el rendimiento están bien documentadas, pero su poder predictivo a través de los ciclos a nivel de país permanece desconocido.

Metodología
La investigación emplea un diseño longitudinal transnacional secundario utilizando datos de 52 países a través de cuatro ciclos de PISA (2012, 2015, 2018, 2022).

• Fuentes de Datos: El estudio integra puntuaciones de matemáticas de PISA (vía el paquete de R learningtower), Indicadores de Desarrollo del Banco Mundial (gasto en I+D como % del PIB) y datos de la OIT ILOSTAT (relación empleo en edad laboral/población). Las variables de calidad de la instrucción (Índice de Apoyo Docente [TEACHSUP] e Índice de Clima Disciplinario [DISCLIM]) se derivaron de los cuestionarios para estudiantes de PISA.
• Estandarización: Todas las variables de resultado fueron estandarizadas mediante puntuación z utilizando la ola de 2012 como línea base. El tiempo fue codificado como años métricos desde 2012.
• Marco Analítico:
  • Análisis Primario: Se implementó un Modelo de Curva de Crecimiento Latente (LGCM) paralelo Bayesiano utilizando brms y rstan para estimar simultáneamente los parámetros de crecimiento para matemáticas de PISA, I+D y empleo. Este enfoque permite la estimación de las correlaciones de intercepto y pendiente entre dominios. Se utilizaron distribuciones a priori débilmente informativas para regularizar las estimaciones dado el pequeño tamaño de la muestra (N=52 países).
  • Análisis Condicional: Una serie de modelos de crecimiento condicionales (tanto de efectos mixtos frecuentistas usando lme4 como equivalentes Bayesianos usando brms) probaron si las variables de calidad de la instrucción (el nivel de 2012 de TEACHSUP, el cambio en TEACHSUP de 2012–2022 y el DISCLIM de 2022) moderaron la tasa de cambio en matemáticas de PISA.
• Diagnósticos: La convergencia se evaluó mediante estadísticas $\hat{R}$ y tamaños de muestra efectivos. El ajuste del modelo se evaluó mediante LOO-CV (Bayesiano) y AIC (frecuentista).

Resultos Clave

1. Trayectorias Divergentes y Desacoplamiento: Las pendientes promedio de la población para los tres dominios divergieron significamente. Las puntuaciones de matemáticas de PISA disminuyeron ($\beta = -0.025$/año), mientras que el gasto en I+D ($\beta = +0.020$/año) y el empleo en edad laboral ($\beta = +0.064$/año) aumentaron.
2. Falta de Comovimiento: Aunque las correlaciones de intercepto entre dominios fueron positivas y creíbles (indicando que los países con alto desempeño comienzan con niveles más altos en todos los dominios), todas las correlaciones de pendiente entre dominios fueron cercanas a cero y no creíbles. Esto indica que las tasas de crecimiento en educación, I+D y empleo evolucionaron de forma independiente durante la década, apoyando la "hipótesis de desacoplamiento" en lugar de la hipótesis de comovimiento.
3. Predictores de Calidad de la Instrucción: Los modelos condicionales revelaron que ni el nivel de 2012 de apoyo docente, ni el cambio de una década en el apoyo docente, ni el clima disciplinario de 2022 moderaron significativamente la tasa de cambio en las matemáticas de PISA. Los términos de interacción fueron pequeños ($\beta$ rango: 0.003–0.006) y sus intervalos de credibilidad/confianza del 95% cruzaron el cero.
4. El Caso de Turquía: Turquía sirvió como un caso ilustrativo, mostrando un perfil único donde las puntuaciones de matemáticas de PISA mejoraron significativamente (+32.51 puntos) a pesar de experimentar una de las mayores caídas en la percepción de apoyo docente de la muestra. Esto subraya aún más la independencia de las trayectorias de PISA de las tendencias de apoyo docente a nivel de país.

Contribuciones Clave

• Metodológica: El estudio demuestra la utilidad del LGCM paralelo Bayesiano para modelar el comovimiento de la economía del conocimiento transnacional. Destaca cómo la estimación Bayesiana con distribuciones a priori débilmente informativas proporciona robustez contra fallos de convergencia y estimaciones de límite en modelos de ecuaciones estructurales de grupos pequeños, un problema común en la investigación de paneles transnacionales.
• Empírica: Proporciona la primera prueba longitudinal de la hipótesis de los pilares de la economía del conocimiento, encontrando que, si bien estos pilares se agrupan transversalmente, se desacoplan longitudinalmente. Esto desafía la suposición de que los índices compuestos que agregan estos pilares proporcionan resúmenes válidos de las trayectorias de desarrollo nacional.
• Reproducibilidad: Los autores proporcionan un flujo de trabajo totalmente reproducible, incluyendo el script de análisis y el conjunto de datos procesado, integrando datos de PISA, el Banco Mundial y la OIT.

Significancia y Reivindicaciones
El artículo sostiene que la independencia estructural de los pilares de la economía del conocimiento sugiere que los rankings compuestos (por ejemplo, el Índice de Competitividad Global) pueden oscurecer la heterogeneidad temporal crítica para el diseño de políticas. Los responsables de la formulación de políticas que dependen de índices agregados pueden pasar por alto el hecho de que un país puede mejorar en un dominio (por ejemplo, I+D) mientras se estanca o declina en otro (por ejemplo, educación).

Respecta a la calidad de la instrucción, el estudio concluye que las tendencias nacionales en la percepción de los estudiantes sobre el apoyo docente no predicen las trayectorias decenales de PISA. Los autores atribuyen este hallazgo nulo a:

1. Desajuste Temporal: TEACHSUP mide la percepción de una cohorte específica sobre los docentes actuales, lo cual no se alinea con las tendencias de resultados decenales de diferentes cohortes.
2. Efectos de Grupo de Referencia: Los sistemas de alto desempeño suelen tener estudiantes que califican a los docentes con menor puntuación, lo que crea una correlación transversal negativa que complica la interpretación longitudinal.
3. Sesgo de Agregación: Las medias a nivel de país pueden enmascarar la variación dentro del país donde los efectos de la calidad de la instrucción son realmente operativos.

El estudio advierte a los desarrolladores de programas educativos que no utilicen los datos de tendencia de PISA sobre el apoyo docente como un proxy directo de las reformas de la calidad de la instrucción en todo el sistema, señalando que un declive en la percepción de apoyo no indica necesariamente un declive en la calidad de la enseñanza o un fracaso de la reforma. En cambio, los hallazgos sugieren que las palancas de política que gobiernan la educación, la investigación y el empleo operan en escalas de tiempo distintas y a través de canales institucionales separados.