When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

Tous les quelques années, une expérience mondiale massive se déroule dans les classes du monde entier. Des centaines de milliers d'adolescents de quinze ans s'assoient pour passer les mêmes tests en mathématiques, en lecture et en sciences. Il s'agit du Programme international d'évaluation des élèves, connu sous le nom de PISA. Les résultats sont plus qu'un simple bulletin de notes pour les écoles ; ils sont un instantané de la manière dont les jeunes d'une nation sont préparés pour l'avenir. Parce que les tests ont lieu par cycles, les chercheurs peuvent regarder en arrière et voir si un pays s'améliore ou décline au fil du temps. Mais il existe une complication cachée dans cette comparaison. Les élèves qui passent le test ne sont pas toujours la même tranche de la population d'une année à l'autre. Dans certains pays, le test peut atteindre presque tous les adolescents de quinze ans, tandis que dans d'autres, il peut ne toucher qu'une petite fraction. Lorsque le groupe d'élèves change, la moyenne peut varier simplement parce que le mélange de personnes a changé, et non parce que les élèves eux-mêmes ont appris plus ou moins de choses. Pour corriger cela, l'organisation qui gère les tests utilise un ajustement mathématique spécial. Elle tente d'estimer ce que les élèves les plus performants auraient obtenu si le test avait atteint chaque adolescent de quinze ans du pays, et non seulement ceux qui se sont présentés. Ce chiffre ajusté est censé être un moyen équitable de comparer les progrès à travers différentes années et différentes nations.

Deux chercheurs, Jonas A. Mandalunes et Danica Jane S. Mandalunes, ont décidé de voir à quel point cet ajustement est réellement fragile. Ils se sont concentrés sur la pièce la plus critique du puzzle : le nombre total de jeunes de quinze ans dans chaque pays. Ce nombre sert de dénominateur, ou partie inférieure de la fraction, qui détermine l'ampleur de l'ajustement nécessaire. Les chercheurs ont posé une question simple mais profonde : que se passe-t-il pour les résultats finaux si l'on modifie ce nombre de base ? Ils n'ont pas supposé qu'une source de données de population était parfaite et l'autre erronée. Au lieu de cela, ils ont traité deux manières différentes de compter les adolescents de quinze ans comme deux scénarios distincts. Un scénario utilisait les chiffres que les gouvernements nationaux ont officiellement soumis aux organisateurs du test. L'autre scénion utilisait une projection de croissance de la population mondialement respectée provenant des Nations Unies. En lançant l'analyse de tendance deux fois — une fois avec les chiffres officiels et une fois avec les projections mondiales — ils pouvaient voir à quel point l'histoire du progrès d'un pays changeait selon le compte utilisé.

Les chercheurs ont examiné les données de soixante-treize économies entre 2018 et 2022. Ils ont découvert que le décompte officiel des adolescents de quinze ans utilisé par les organisateurs du test changeait considérablement dans de nombreux endroits. En moyenne, la différence de taux de couverture entre les deux années était de près de deux points de pourcentage, mais dans certains cas, le changement était massif, oscillant jusqu'à vingt-sept points dans une direction ou quarante-cinq dans l'autre. En analysant pourquoi ces chiffres changeaient, ils ont découvert que, dans la plupart des cas, le changement provenait de l'enquête elle-même — ce qui signifie que le test avait atteint une part différente des élèves inscrits — plutôt que d'un changement dans le nombre réel d'élèves inscrits à l'école. Cette distinction est vitale car elle signifie qu'une hausse des scores ne signifie pas nécessairement que plus d'enfants vont à l'école ; cela peut simplement signifier que le test a atteint un groupe différent d'entre eux.

La découverte la plus frappante fut la sensibilité des tendances finales à ce dénominateur. Lorsque les chercheurs ont remplacé le décompte officiel de la population par la projection des Nations Unies, le changement estimé des scores aux tests a radicalement changé. En mathématiques, la différence moyenne entre les deux scénarios était d'environ 3,4 points. En lecture, elle était de 3,5 points, et en sciences, de 3,4 points. Pour mettre cela en perspective, les organisateurs du test publient une valeur d'« erreur de liaison » standard pour aider les lecteurs à comprendre la marge d'incertitude de leurs tendances. Pour les mathématiques, cette valeur est de 2,24 points. La différence causée simplement par le changement du décompte de la population était supérieure à cette marge d'erreur standard dans trente-huit des soixante-neuf pays. En lecture, elle dépassait la marge dans cinquante-deux pays, et en sciences, dans cinquante et un pays. Cela signifie que pour une majorité de pays étudiés, le choix du nombre de population utilisé importait plus que l'incertitude statistique habituellement associée au test lui-même.

Les chercheurs ont également examiné ce qui se passe lorsque les mathématiques se heurtent à un mur. La procédure d'ajustement suppose que le test a atteint moins d'élèves qu'il n'en existe réellement dans le pays. Mais dans quelques cas spécifiques, les mathématiques suggéraient que le test avait atteint plus d'élèves que le décompte officiel de la population. Lorsque cela se produisait, la procédure devait appliquer un correctif spécial : elle annulait simplement le poids supplémentaire et rapportait le score brut des élèves qui ont passé le test, désactivant ainsi l'ajustement. Cela s'est produit dans des pays comme la Corée et l'Irlande en 2022. Les chercheurs ont montré que ce passage d'un score ajusté à un score brut crée une rupture soudaine dans les données. Ce n'est pas une transition fluide ; c'est un arrêt brutal où la méthode change entièrement. Ils ont également noté que, dans certains cas, le décompte officiel de la population était plus élevé que le nombre d'élèves que le test prétendait avoir atteints, ce qui devrait être impossible si les définitions étaient parfaitement alignées, suggérant que les définitions de ce qui compte comme un « adolescent de quinze ans » ou de qui est « inscrit » pourraient différer entre les organisateurs du test et les statisticiens de la population.

L'étude n'a pas conclu qu'un décompte de population était le vrai et l'autre une erreur. Les chercheurs ont pris soin de préciser que ni les chiffres officiels des gouvernements ni les projections des Nations Unies ne sont la vérité absolue. Les chiffres officiels manquent souvent de détails sur le moment précis où le décompte a été effectué ou sur la définition spécifique de « résident » utilisée. Les projections mondiales sont des modèles basés sur des hypothèses. Le problème central est que le score de tendance final dépend lourdement d'un chiffre qui n'est pas pleinement expliqué ou cohérent. Les chercheurs ont constaté que même en essayant de nettoyer les données en supprimant les pays présentant des litiges territoriaux connus ou des registres incohérents, les différences persistaient. L'écart entre les deux scénarios ne disparaissait pas ; il se déplaçait simplement légèrement. Cela suggère que la sensibilité est une caractéristique fondamentale de la méthode actuelle, et non le résultat de données désordonnées.

En fin de compte, les chercheurs soutiennent que la façon dont ces tendances sont rapportées doit changer pour être plus honnête quant à cette incertitude. Ils recommandent que les organisateurs du test publient précisément la provenance des chiffres de population, y compris la date et la définition spécifique utilisée. Ils suggèrent que chaque fois qu'une tendance est rapportée, elle devrait être accompagnée d'une plage montrant ce que le résultat serait si un autre décompte de population raisonnable était utilisé. Il ne s'agirait pas d'un intervalle de confiance au sens statistique, mais d'une déclaration claire de la dépendance du résultat vis-à-vis du dénominateur. Enfin, ils proposent que si les mathématiques échouent parce que les chiffres ne concordent pas, le score ajusté ne soit pas silencieusement corrigé ou caché ; il devrait être signalé et suspendu jusqu'à ce que les données d'entrée soient conciliées. L'étude montre que l'histoire de l'amélioration ou du déclin des pays est réelle, mais que les chiffres précis que nous utilisons pour raconter cette histoire sont bien plus délicats qu'ils n'en ont l'air. Les tendances existent, mais leur magnitude précise est liée à un choix de chiffres qui est actuellement fait dans l'obscurité.