From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
Cette étude soutient que, pour les indicateurs des questionnaires non cognitifs du PISA, les comparaisons internationales devraient passer d'une dépendance aux classements de moyennes nationales potentiellement trompeurs à l'analyse des pentes intra-établissements, lesquelles offrent une compréhension plus robuste et pertinente pour les politiques de la manière dont les systèmes éducatifs façonnent les expériences et la réussite des élèves.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective essayant de résoudre un mystère sur la façon dont les différentes écoles du monde se portent. Pendant des années, le principal outil utilisé par les détectives était un immense tableau d'affichage, ou « classement », qui listait simplement les pays du premier au dernier rang en fonction de leurs scores moyens. C'est comme classer des équipes de basket uniquement en regardant le nombre total de points marqués au cours d'une saison, sans se soucier de qui jouait, de la manière dont ils jouaient, ou si les équipes jouaient même au même jeu. Cela fonctionne assez bien pour les mathématiques ou la lecture, où les réponses sont généralement vraies ou fausses. Mais lorsqu'il s'agit de sentiments, de motivation ou de la façon dont les élèves se sentent, cela devient délicat. Ce ne sont pas des choses que l'on peut mesurer avec une règle ; ce sont des choses qui ressemblent à des saveurs ou des couleurs. Si vous demandez à des personnes de différentes cultures si leur nourriture est « très épicée », une évaluation « très épicée » dans un pays peut signifier quelque chose de totalement différent dans un autre. Ce document traite d'un groupe de chercheurs qui ont décidé de ne plus se contenter de regarder le tableau d'affichage, mais de commencer à regarder les relations entre les joueurs et le jeu. Au lieu de demander : « Quel pays a le niveau de bonheur moyen le plus élevé ? », ils ont demandé : « Comment le milieu d'origine d'un élève ou ses résultats aux tests modifient-ils ses sentiments envers l'école ? » Ils voulaient voir si les règles du jeu changent lorsqu'on prend du recul, en passant d'un seul élève à un pays entier.
Les chercheurs, dirigés par Kit-Tai Hau et son équipe, ont pris un instantané massif de données provenant de 612 004 élèves de 80 pays, collectées lors du test PISA 2018. Ils ont examiné 31 questionnaires différents portant sur des sujets tels que la motivation, le bien-être et la façon dont les élèves perçoivent leurs classes. Leur première grande découverte fut que le tableau d'affichage était largement inutile pour ces sentiments. En analysant les chiffres, ils ont découvert que les différences entre les pays étaient infimes : seulement 6 % de la variation de ces sentiments était due au pays où se trouvait l'élève. Les 94 % restants se produisaient au sein des pays, principalement entre les différentes écoles. C'est comme essayer de comparer la taille moyenne des habitants de la France et de l'Italie et de constater que la différence est si petite qu'elle n'a pas d'importance, alors que la différence entre une équipe de basket et une équipe de gymnastique dans la même ville est énorme.
Mais la véritable magie s'est produite lorsqu'ils ont cessé de regarder les moyennes pour commencer à regarder les « pentes ». Imaginez un graphique où la ligne monte ou descend. Une « pente » vous indique comment une chose change à mesure qu'une autre change. Les chercheurs ont découvert que si l'on ne regarde que la moyenne du pays, l'histoire s'inverse souvent. Par exemple, au niveau de l'élève individuel, réussir ses lectures en général permet à un élève de se sentir bien dans sa peau. Mais lorsqu'on regarde au niveau du pays, les pays ayant des scores de lecture moyens plus élevés ont parfois des élèves qui déclarent une confiance en soi plus faible. C'est un peu comme l'effet du « Gros Poisson dans un Petit Étang » : si vous êtes un poisson intelligent dans un étang rempli d'autres poissons intelligents, vous pourriez vous sentir moins spécial que si vous étiez le plus intelligent d'un petit étang calme. La moyenne du pays cache cela car elle mélange tous les étangs ensemble.
Le document soutient qu'au lieu de classer les pays selon leur « humeur » moyenne, nous devrions examiner ces pentes pour comprendre comment fonctionnent les systèmes éducatifs. Ils ont découvert que la relation entre le milieu d'origine d'un élève (comme la richesse de sa famille) et son expérience scolaire est un bien meilleur moyen de juger un système. Ils ont découvert que ces relations (les pentes) étaient pour la plupart cohérentes en termes de direction — ce qui signifie que la théorie se vérifiait — mais que la force de ces relations variait d'un pays à l'autre. Curieusement, la plupart des différences dans ces pentes ne se trouvaient pas entre les pays, mais entre les écoles au sein d'un même pays. Cela suggère que si nous voulons corriger des problèmes ou améliorer les choses, nous ne devons pas seulement regarder les politiques nationales ; nous devons regarder ce qui se passe à l'intérieur d'écoles spécifiques.
Les auteurs ont également vérifié que leurs conclusions n'étaient pas un simple coup de chance causé par leur façon de compter les données. Ils ont essayé différentes méthodes de pondération des chiffres, et les résultats sont restés les mêmes. Ils ont également découvert que certaines caractéristiques structurelles d'un pays, comme le degré de ségrégation des écoles (la manière dont les élèves de différents milieux sont séparés), pouvaient expliquer pourquoi les pentes étaient différentes dans certains endroits. Par exemple, dans les pays où les écoles étaient plus mixtes, le lien entre la réussite et le fait de se sentir bien était souvent plus fort.
En fin de compte, le document suggère un changement majeur dans notre façon de concevoir les rapports internationaux sur l'éducation. Nous ne devrions pas jeter le tableau d'affichage entièrement, mais nous ne devrions pas non plus compter sur lui pour nous dire comment les élèves se sentent ou sont motivés. Le tableau d'affichage est un outil faible pour les sentiments car il ignore le contexte. L'approche par la « pente » est comme passer d'une photo de groupe floue à une vidéo en haute définition qui montre comment les élèves interagissent avec leur monde. Elle nous dit que les différences les plus importantes ne sont pas entre les nations, mais entre les écoles à l'intérieur de celles-ci. En se concentrant sur ces relations plutôt que sur de simples moyennes, nous pouvons obtenir une image plus claire et plus honnête de la façon dont les systèmes éducatifs façonnent la vie des jeunes, passant du simple classement de qui est le « meilleur » à la compréhension de la manière de rendre les choses meilleures pour tout le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.