Instructional Quality and PISA Mathematics Trajectories, 2012–2022: Frequentist and Bayesian Conditional Latent Growth Curve Analysis

Résumé technique : Qualité de l'enseignement et trajectoires PISA en mathématiques, 2012–2022

Énoncé du problème
Cette étude aborde deux questions distinctes mais analytiquement liées concernant le cadre de l'« économie de la connaissance » et les politiques éducatives. Premièrement, elle examine la validité de l'« hypothèse de co-mouvement », qui suppose que les améliorations nationales de la qualité de l'éducation, des investissements en recherche et développement (R&D) et de la participation au marché du travail se renforcent mutuellement au fil du temps. Bien que les données transversales montrent systématiquement que ces piliers sont corrélés, il reste à tester si les pays qui s'améliorent sur un pilier s'améliorent simultanément sur les autres de manière longitudinale. Deuxièmement, l'étude examine si les tendances nationales de la qualité de l'enseignement — spécifiquement le soutien des enseignants et le climat disciplinaire — prédisent la trajectoire des résultats d'apprentissage des élèves (scores PISA en mathématiques) sur une décennie. Cela répond à une lacune dans la littérature où les associations intra-cycles entre la qualité de l'enseignement et la réussite sont bien documentées, mais où leur pouvoir prédictif à travers les cycles au niveau des pays reste inconnu.

Méthodologie
La recherche utilise un plan longitudinal transversal secondaire portant sur 52 pays à travers quatre cycles PISA (2012, 2015, 2018, 2022).

• Sources de données : L'étude intègre les scores de mathématiques PISA (via le package R learningtower), les indicateurs de développement de la Banque mondiale (dépenses de R&D en % du PIB) et les données de l'OIT ILOSTAT (ratio emploi-population en âge de travailler). Les variables de qualité de l'enseignement (Indice de soutien des enseignants [TEACHSUP] et Indice de climat disciplinaire [DISCLIM]) ont été dérivées des questionnaires destinés aux élèves de PISA.
• Standardisation : Toutes les variables de résultat ont été standardisées par score z en utilisant l'onde de 2012 comme base de référence. Le temps a été codé en années métriques depuis 2012.
• Cadre analytique :
  • Analyse primaire : Un modèle de courbe de croissance latente (LGCM) parallèle bayésien a été implémenté en utilisant brms et rstan pour estimer simultanément les paramètres de croissance pour les mathématiques PISA, la R&D et l'emploi. Cette approche permet l'estimation des corrélations d'intercepte et de pente entre les domaines. Des priors faiblement informatifs ont été utilisés pour régulariser les estimations compte tenu de la petite taille du groupe (N=52 pays).
  • Analyse conditionnelle : Une série de modèles de croissance conditionnels (à la fois des modèles à effets mixtes fréquentistes utilisant lme4 et des équivalents bayésiens utilisant brms) a testé si les variables de qualité de l'enseignement (niveau de 2012 de TEACHSUP, changement de 2012 à 2022 de TEACHSUP, et 2022 DISCLIM) modéraient le taux de changement des mathématiques PISA.
• Diagnostics : La convergence a été évaluée via les statistiques $\hat{R}$ et les tailles d'échantillon effectives. L'ajustement du modèle a été évalué par LOO-CV (Bayésien) et AIC (fréquentiste).

Résultats clés

1. Trajectoires divergentes et découplage : Les pentes moyennes de la population pour les trois domaines ont divergé de manière significative. Les scores de mathématiques PISA ont décliné ($\beta = -0,025$/an), tandis que les dépenses de R&D ($\beta = +0,020$/an) et l'emploi en âge de travailler ($\beta = +0,064$/an) ont augmenté.
2. Absence de co-mouvement : Bien que les corrélations d'intercepte entre les domaines soient positives et crédibles (indiquant que les pays performants commencent avec des niveaux plus élevés dans tous les domaines), toutes les corrélations de pente entre les domaines étaient proches de zéro et non crédibles. Cela indique que les taux de croissance de l'éducation, de la R&D et de l'emploi ont évolué indépendamment au cours de la décennie, soutenant l'« hypothèse de découplage » plutôt que l'hypothèse de co-mouvement.
3. Prédicteurs de la qualité de l'enseignement : Les modèles conditionnels ont révélé que ni le niveau de 2012 du soutien des enseignants, ni le changement décennal du soutien des enseignants, ni le climat disciplinaire de 2022 ne modéraient significativement le taux de changement des mathématiques PISA. Les termes d'interaction étaient faibles ($\beta$ compris entre 0,003 et 0,006) et leurs intervalles de crédibilité/confiance à 95 % traversaient zéro.
4. Le cas de la Turquie : La Turquie a servi de cas illustratif, présentant un profil unique où les scores de mathématiques PISA se sont considérablement améliorés (+32,51 points) malgré l'un des plus grands déclins de la perception du soutien des enseignants de l'échantillon. Cela souligne davantage l'indépendance des trajectoires PISA vis-à-vis des tendances du soutien des enseignants au niveau des pays.

Principales contributions

• Méthodologique : L'étude démontre l'utilité du LGCM parallèle bayésien pour modéliser le co-mouvement de l'économie de la connaissance à l'échelle transnationale. Elle souligne comment l'estimation bayésienne avec des priors faiblement informatifs offre une robustesse contre les échecs de convergence et les estimations limites dans les modèles d'équations structurelles à petits clusters, un problème courant dans la recherche de panels transnationaux.
• Empirique : Elle fournit le premier test longitudinal de l'hypothèse des piliers de l'économie de la connaissance, trouvant que bien que ces piliers soient regroupés de manière transversale, ils se découplent de manière longitudinale. Cela remet en question l'hypothèse selon laquelle les indices composites agrégeant ces piliers fournissent des résumés valides des trajectoires de développement national.
• Reproductibilité : Les auteurs fournissent un pipeline entièrement reproductible, incluant le script d'analyse et le jeu de données traité, intégrant les données de PISA, de la Banque mondiale et de l'OIT.

Signification et affirmations
L'article affirme que l'indépendance structurelle des piliers de l'économie de la connaissance suggère que les classements composites (par exemple, l'Indice de compétitivité mondiale) peuvent occulter une hétérogénéité temporelle critique pour la conception des politiques. Les décideurs politiques s'appuyant sur des indices agrégés peuvent manquer le fait qu'un pays peut s'améliorer dans un domaine (ex: R&D) tout en stagnant ou en déclinant dans un autre (ex: éducation).

Concernie la qualité de l'enseignement, l'étude conclut que les tendances nationales de la perception des élèves concernant le soutien des enseignants ne prédisent pas les trajectoires décennales de PISA. Les auteurs attribuent ce résultat nul à :

1. Décalage temporel : TEACHSUP mesure la perception d'une cohorte spécifique d'enseignants actuels, ce qui ne s'aligne pas sur les tendances de résultats décennaux de différentes cohortes.
2. Effets de groupe de référence : Les systèmes performants ont souvent des élèves qui évaluent les enseignants plus bas, créant une corrélation transversale négative qui complique l'interprétation longitudinale.
3. Biais d'agrégation : Les moyennes au niveau des pays peuvent masquer la variation intra-pays où les effets de la qualité de l'enseignement sont réellement opérationnels.

L'étude met en garde les développeurs de programmes éducatifs contre l'utilisation des données de tendance PISA sur le soutien des enseignants comme un proxy direct de la qualité de l'enseignement des systèmes, notant qu'un déclin de la perception du soutien n'indique pas nécessairement un déclin de la qualité de l'enseignement ou un échec des réformes. Au contraire, les résultats suggèrent que les leviers politiques régissant l'éducation, la recherche et l'emploi opèrent sur des échelles de temps distinctes et par des canaux institutionnels séparés.