Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

Dans le vaste monde de la recherche en éducation, les scientifiques s'appuient souvent sur des enquêtes massives pour comprendre comment les élèves apprennent, ce qui les motive et où se situent les inégalités. L'une des enquêtes les plus célèbres est le Programme international pour l'évaluation des élèves, ou PISA, qui teste les élèves de dizaines de pays tous les quelques années. Outre les tests de mathématiques et de lecture, les élèves remplissent de longs questionnaires sur leur vie, leurs habitudes et leur façon d'étudier. Ces questionnaires sont cruciaux car ils fournissent le contexte nécessaire pour donner du sens aux scores des tests. Cependant, un problème persistant dans de telles enquêtes de longue durée est que les élèves cessent parfois de répondre. Ils peuvent sauter les dernières questions, ou ils peuvent cesser de fournir des réponses utiles bien avant de quitter officiellement l'enquête. Traditionnellement, les chercheurs traitent cette information manquante comme un événement soudain : un élève répond à une question, puis, soudainement, il ne répond plus. Mais cette vision suppose que le moment où l'élève cesse de répondre est le moment où il cesse de s'intéresser au sujet, ignorant la possibilité que son comportement ait pu changer silencieusement pendant un long moment avant l'apparition de la première case vide.

Une nouvelle étude de Jorge Eliécer Villarreal-Fernández remet en question cette hypothèse en examinant le comportement des élèves de treize pays d'Amérique latine lors du cycle PISA 2025. Au lieu d'attendre qu'un élève cesse de répondre, le chercheur a observé la vitesse à laquelle ils répondaient en progressant dans le questionnaire. L'étude se concentre sur un comportement spécifique appelé « réponse rapide », où un élève parcourt les questions si vite que cela suggère qu'il ne les lit plus attentivement, mais qu'il clique simplement pour terminer. La question centrale était de savoir si cette course vers la ligne d'arrivée se produit avant qu'un élève ne cesse réellement de répondre, et si oui, quels facteurs le prédisent. Le chercheur voulait également savoir si ce comportement modifiait les résultats de l'enquête. Plus précisément, l'étude a examiné deux échelles importantes situées vers la toute fin du questionnaire : l'une mesurant la capacité des élèves à planifier et à surveiller leurs propres études, et une autre mesurant la fréquence à laquelle ils demandent de l'aide à leurs enseignants et à leurs camarades. En analysant les données temporelles de plus de 116 000 élèves, l'étude révèle que la perte de la voix d'un élève dans une enquête est rarement un silence soudain, mais plutôt la fin d'un processus graduel qui peut être vu et mesuré bien avant que les données ne disparaissent.

L'enquête a commencé en traitant le questionnaire non pas seulement comme une liste de questions, mais comme une chronologie de comportement. Le chercheur a examiné le temps nécessaire à chaque élève pour compléter de petits blocs de questions. Si un élève répondait nettement plus vite que le rythme habituel pour ce bloc, cela était signalé comme une réponse rapide. Pour s'assurer qu'il ne s'agissait pas simplement d'une chance ou d'une accélération momentanée, l'étude exigeait que ce comportement rapide persiste sur une séquence de plusieurs blocs. Ce n'est que lorsqu'un élève maintenait ce rythme précipité pendant une période prolongée qu'il était considéré comme ayant « transitionné » vers un état de désengagement. Cette distinction est vitale car elle sépare les élèves qui sont simplement rapides de ceux qui ont cessé de faire des efforts. L'analyse a montré que cette transition n'est pas aléatoire. Environ trois quarts des élèves qui ont fini par ne pas fournir de score pour les échelles de planification de l'étude ou de recherche d'aide avaient déjà entré dans cette phase de réponse rapide soutenue avant même d'atteindre la section contenant ces questions spécifiques. En d'autres termes, les signes avant-coureurs étaient visibles bien avant que les données ne soient réellement perdues.

Qu'est-ce qui pousse un élève à parcourir rapidement un questionnaire ? L'étude a trouvé que la réponse réside en partie dans la façon dont le rythme d'un élève se compare à celui des élèves assis à côté de lui dans la même école. Le chercheur a calculé un « retard relatif », qui mesure à quel point un élève est plus lent ou plus rapide que ses pairs dans la même classe ou école. Les résultats ont été frappants : pour chaque cinq minutes où un élève accuse un retard par rapport au rythme moyen de ses camarades de classe, ses chances d'entrer dans cet état de réponse rapide soutenue augmentent d'environ 41 pour cent. Cela suggère que l'environnement social de la salle de test compte. Un élève qui sent qu'il est à la traîne par rapport à ses camarades peut ressentir la pression de rattraper son retard, ce qui l'amène à abandonner la lecture attentive au profit de la vitesse. Cet effet variait considérablement selon les pays, mais le schéma global restait le même. Curieusement, le milieu socio-économique de l'élève ne prédisait pas ce comportement lorsqu'il était comparé à ses camarades de classe immédiats. Au contraire, la composition socio-économique de l'école elle-même était le facteur le plus déterminant. Les élèves des écoles ayant un statut socio-économique moyen plus élevé étaient moins susceptibles de parcourir les questions rapidement, indépendamment de la richesse de leur propre famille. Cela souligne l'idée que l'environnement institutionnel — peut-être les ressources disponibles, l'atmosphère de test ou la manière dont l'enquête est administrée — joue un rôle plus important dans l'engagement de l'élève que les circonstances individuelles.

L'étude a ensuite posé une question critique : ce comportement modifie-t-il réellement les résultats que nous obtenons de l'enquête ? Si les élèves qui se précipitent sont différents de ceux qui prennent leur temps, alors les scores moyens que nous calculons pourraient être erronés. Pour le découvrir, le chercheur a comparé les réponses des élèves qui sont restés engagés avec celles de ceux qui avaient fait la transition vers la réponse rapide mais qui avaient tout de même réussi à terminer les échelles spécifiques. La bonne nouvelle était que, pour les élèves qui ont terminé, la façon dont ils répondaient aux questions était très similaire. Les questions sur la planification des études et la demande d'aide semblaient mesurer les mêmes choses pour les deux groupes. Cependant, la mauvaise nouvelle était que le groupe d'élèves restés observables n'était pas un miroir parfait de la population entière. Parce que les élèves qui se sont précipités étaient plus susceptibles d'abandonner complètement avant d'atteindre la fin, le groupe final de répondants était légèrement différent du groupe original de tous les élèves.

Lorsque le chercheur a ajusté les données pour tenir compte de ce groupe manquant, les résultats ont changé d'une manière spécifique et surprenante. La moyenne estimée pour l'échelle de planification des études a légèrement baissé. Cela signifie que les élèves qui sont restés pour répondre aux questions étaient, en moyenne, légèrement meilleurs pour planifier leurs études que l'ensemble de la population d'élèves, car les élèves qui se sont précipités et ont abandonné étaient moins susceptibles d'être de bons planificateurs. Cependant, l'estimation pour l'échelle de recherche d'aide a très peu changé. Même si les deux échelles étaient situées à la toute fin du questionnaire et étaient également vulnérables à l'abandon des élèves, l'impact des données manquantes a été différent pour chacune. Cela prouve que les conséquences des données manquantes ne sont pas uniformes ; elles dépendent entièrement de ce qui est mesuré. Une enquête peut perdre un type spécifique d'élève sans modifier la moyenne pour un sujet, tout en biaisant de manière significative la moyenne pour un autre.

Les conclusions de cette étude offrent une nouvelle façon de penser les données d'enquête. Elle suggère que lorsqu'un élève cesse de répondre à un long questionnaire, c'est souvent l'aboutissement d'un processus qui a commencé bien plus tôt. La transition de la réponse attentive à la réponse rapide, puis enfin au silence, est un chemin visible qui peut être suivi grâce aux données de temps collectées par l'ordinateur. Cela change la façon dont les chercheurs doivent interpréter l'information manquante. Au lieu de supposer que les données manquantes sont simplement un écart aléatoire, ils peuvent chercher les signaux comportementaux qui les précèdent. Pour les concepteurs de futures enquêtes, cela signifie que les informations de temps pourraient servir de système d'alerte précoce. Si un élève commence à accuser un retard par rapport à ses pairs en termes de vitesse, il pourrait être possible d'intervenir ou d'ajuster l'enquête avant que l'élève ne cesse de répondre complètement. L'étude ne prétend pas avoir résolu le problème des données manquantes, ni suggère que toutes les enquêtes auront exactement ces mêmes résultats. Mais elle montre que la perte de la voix d'un élève est souvent un effacement progressif, et non une coupure soudaine, et que la compréhension de ce processus est la clé pour obtenir une image fidèle des élèves que nous essayons d'étudier.