Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais au lieu d'une scène de crime unique, vous avez un immense entrepôt étincelant rempli de millions d'indices. C'est ce qui se passe dans le monde de la science des « big data », où les chercheurs étudient de vastes groupes de personnes — comme des milliers d'enseignants à travers le monde — pour comprendre comment les choses fonctionnent. Mais voici la partie délicate : lorsque vous avez autant d'indices, vous pouvez les organiser de mille façons différentes pour raconter une histoire. Vous pourriez décider de ne vous concentrer que sur les indices rouges, ou d'ignorer ceux du côté gauche de la pièce, ou de les regrouper par taille plutôt que par couleur. Chacun de ces choix est comparable à l'emprunt d'un chemin différent dans un jardin. Si vous prenez un chemin, vous pourriez trouver un trésor caché ; si vous en prenez un autre, vous pourriez tomber sur une impasse. Cette idée est appelée le « jardin des chemins qui bifurquent » (garden of forking paths), et elle suggère que parfois, l'histoire que nous racontons dépend plus du chemin que le détective a choisi de suivre que des indices réels qu'il a trouvés.

Cet article, écrit par Mark White de l'Université d'Oslo, explore en profondeur ce problème en utilisant un ensemble de données massif appelé TALIS 2018, qui a interrogé des enseignants de nombreux pays. L'auteur a voulu voir si l'« histoire » racontée par une étude célèbre et très citée sur la formation des enseignants (appelée « induction ») était réellement vraie, ou si elle était simplement le résultat d'un chemin spécifique dans le jardin. L'article ne se contente pas d'examiner une seule façon d'analyser les données ; il essaie de tester près d'un demi-million de façons différentes de traiter les chiffres. C'est comme demander à 500 000 détectives différents de résoudre la même affaire en utilisant des règles légèrement différentes et de voir s'ils trouvent tous le même coupable. Le but n'est pas de dire que l'étude originale était « fausse », mais de montrer que les résultats peuvent varier considérablement selon les choix faits en cours de route, ce qui rend difficile de savoir avec certitude quelle est la « vraie » réponse.

Le jardin d'un million de chemins

Considérez l'étude originale que l'auteur enquête comme une carte menant à un coffre au trésor. La carte affirmait que certaines activités de formation des enseignants — comme l'enseignement en équipe ou la tenue d'un journal de bord — étaient les clés pour rendre les enseignants plus heureux et plus performants dans leur travail. Les chercheurs qui ont dessiné cette carte ont utilisé un ensemble spécifique de règles pour trouver le trésor : ils ont étudié des enseignants américains, n'ont inclus que des travailleurs à plein temps et ont utilisé une formule mathématique spécifique pour relier la formation aux résultats. Ils ont trouvé un coffre au trésor brillant et ont déclaré : « Regardez ! La formation fonctionne ! »

Mais Mark White s'est demandé : « Et si nous changions les règles un tout petit peu ? » Et si nous regardions des enseignants en Australie ou en Nouvelle-Zélande au lieu de seulement en Amérique ? Et si nous ne regardions que les enseignants de leur toute première année d'enseignement ? Et si nous modifiions légèrement la formule mathématique ? Pour répondre à cela, White n'a pas seulement fait des suppositions ; il a construit un « multivers ». En science, une analyse de multivers est comme une simulation où l'on teste toutes les combinaisons raisonnables de règles en même temps.

Dans ce cas, White a identifié 13 « boutons » ou choix différents qu'un chercheur pourrait actionner. Ceux-ci incluaient des décisions telles que :

• Qui compte ? (Devons-nous inclure uniquement les nouveaux enseignants, ou tous les enseignants ? Devons-nous ne regarder que l'Amérique, ou d'autres pays anglophones aussi ?)
• Quels chiffres utilisons-nous ? (Devons-nous ajuster les mathématiques pour tenir compte du nombre de personnes interrogées, ou compter tout le monde de manière égale ?)
• Comment mesurons-nous la formation ? (Devons-nous examiner l'ensemble du programme de formation, ou le décomposer en petites parties ?)

Lorsque vous multipliez tous ces choix, vous obtenez un nombre vertigineux : 497 664 façons différentes d'analyser les données. Cela représente près d'un demi-million de chemins différents dans le jardin. White a lancé l'analyse pour chacun de ces chemins.

Le trésor mouvant

Les résultats ont été un choc. Lorsque White a examiné le « multivers » des résultats, il a découvert que le coffre au trésor ne se trouvait pas au même endroit pour chaque chemin.

Dans certaines des 4% 97 664 analyses, les activités de formation semblaient être une baguette magique rendant les enseignants incroyablement heureux et efficaces. Dans d'autres analyses, ces mêmes activités de formation semblaient en réalité nuire aux enseignants, les rendant moins efficaces. Dans beaucoup d'autres chemins, la formation semblait n'avoir aucun effet.

L'article illustre cela avec un graphique géant (Figure 1 dans le texte original). Imaginez une ligne de points s'étendant de l'extrême gauche à l'extrême droite. Les points à l'extrême gauche représentent les analyses où la formation était un désastre. Les points à l'extrême droite représentent les analyses où la formation était un miracle. Les points au milieu représentent les analyses où cela n'avait aucune importance. La partie effrayante est qu'il y a des points verts (signifiant « statistiquement significatifs » ou « réels ») des deux côtés. Cela signifie que pour presque chaque activité de formation spécifique et chaque résultat d'enseignant, un chercheur pourrait trouver une façon « raisonnable » de prouver que c'était un immense succès, et une autre façon « raisonnable » de prouver que c'était un immense échec.

L'étude originale avait choisi un chemin spécifique dans ce jardin et avait trouvé un résultat positif. Mais l'analyse du multivers de White suggère que ce résultat n'était pas nécessairement la « vérité » absolue. C'était juste l'une des centaines de milliers de vérités possibles, et le choix de quel chemin emprunter était en quelque sorte arbitraire.

Pourquoi cela importe

Cet article ne dit pas que la formation des enseignants est inutile. Il ne dit pas que les auteurs originaux avaient tort. Au lieu de cela, il met en lumière un problème subtil mais énorme dans la manière dont nous pratiquons la science. Lorsque la question de recherche est un peu vague — comme « Est-ce que la formation aide les enseignants ? » — il existe tellement de façons d'y répondre que la réponse dépend souvent des choix que le chercheur fait avant même de commencer à regarder les données.

L'auteur appelle cela le « jardin des chemins qui bifurquent ». Si vous ne savez pas sur quel chemin vous êtes, vous ne pouvez pas être sûr que le trésor que vous avez trouvé est réel ou s'il est simplement le résultat du chemin spécifique choisi. L'article suggère que lorsque nous voyons une étude avec un résultat unique et clair, nous devrions être un peu plus curieux. Nous devrions nous demander : « Et s'ils avaient choisi un chemin différent ? »

En lançant près d'un demi-million d'analyses, cet article nous montre que la « vérité » sur la formation des enseignants est beaucoup plus complexe et incertaine qu'un titre de presse unique ne le suggère. Il ne nous donne pas une réponse nouvelle ou meilleure ; il nous donne plutôt une image beaucoup plus claire de notre degré d'incertitude. C'est un rappel que dans le jardin de la science, il existe de nombreux chemins, et que parfois, la vue change complètement selon celui que vous choisissez d'emprunter.