Incremental Predictive Value of Item-Adjusted Process Indicators for Mathematics Achievement among Korean Students in PISA 2022: A School-Level Out-of-Sample Validation Study
Cette étude démontre que les indicateurs de processus ajustés par item, dérivés d'évaluations sur ordinateur, améliorent significativement la prédiction de la réussite en mathématiques chez les étudiants coréens dans le cadre de PISA 2022 au-delà des données traditionnelles de questionnaires, même sous un protocole rigoureux de validation hors échantillon au niveau de l'établissement.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque année, des millions de jeunes de quinze ans à travers le monde passent un test massif appelé PISA, conçu pour voir à quel point ils savent utiliser leurs connaissances dans des situations de la vie réelle. Pour la partie mathématique de ce test, les élèves sont assis devant un ordinateur et résolvent des problèmes. Si le score final nous indique combien de questions ils ont réussies, l'ordinateur enregistre également une couche cachée de données : exactement le temps qu'ils ont passé sur chaque problème, le nombre de fois où ils ont cliqué, et la fréquence à laquelle ils sont revenus en arrière pour modifier une réponse. Depuis des années, les chercheurs se demandent si ces empreintes numériques de comportement pourraient nous apprendre quelque chose sur la capacité d'un élève qu'un simple questionnaire ne peut pas révéler. Nous savons que demander aux élèves leur confiance, leur anxiété et leur environnement scolaire nous donne une bonne image de leur potentiel, mais nous savons aussi que ce qu'un élève dit faire et ce qu'il fait réellement en résolvant un problème peuvent être très différents. La grande question est de savoir si l'enregistrement brut et non filtré de l'interaction d'un élève avec le test apporte de nouvelles informations utiles une fois que nous lui avons déjà interrogé sur son parcours et ses sentiments.
Un chercheur en Corée du Sud s'est donné pour mission de répondre à cette question avec une approche très rigoureuse, en utilisant les données de plus de 6 000 élèves ayant passé le test de mathématiques de 2022. Il a commencé par construire un modèle de base solide en utilisant uniquement les informations fournies par les élèves dans un sondage. Ce sondage couvrait un large éventail de sujets, notamment le statut économique de leur famille, le degré de confiance qu'ils avaient en leurs propres compétences mathématiques, le niveau d'anxiété ressenti, leur intérêt pour l'école et le type de problèmes mathématiques qu'ils avaient rencontrés en classe. Ces données de sondage se sont révélées être, à elles seules, un puissant prédicteur des scores finaux des élèves. Lorsque le chercheur a examiné les enregistrements informatiques de la manière dont les élèves ont réellement travaillé pendant le test — le temps passé et le nombre d'actions effectuées — il a constaté que ces données comportementales étaient également utiles en soi, mais qu'elles n'étaient pas aussi précises que les données du sondage. Les sentiments auto-déclarés et les conditions de fond des élèves étaient simplement plus performants pour prédire leur score final qu'un simple décompte de clics et de secondes passées.
Cependant, l'histoire a changé lorsque le chercheur a examiné comment ces deux types d'informations fonctionnaient ensemble. Le défi était que les enregistrements informatiques étaient désordonnés ; un temps prolongé passé sur un problème pouvait signifier qu'un élève éprouvait des difficultés, ou cela pouvait simplement signifier que ce problème spécifique était plus difficile que les autres. Pour corriger cela, le chercheur a ajusté les données afin que le temps et les actions de chaque élève ne soient comparés qu'à d'autres élèves confrontés exactement au même problème. Cela a permis de supprimer l'influence de la conception même du test et de ne laisser que le comportement relatif de l'élève. Lorsqu'il a ajouté ces indicateurs comportementaux ajustés au modèle du sondage, la prédiction des scores mathématiques des élèves s'est considérablement améliorée. Le modèle combiné présentait des erreurs environ 11 points plus basses sur l'échelle du test que le modèle basé uniquement sur le sondage. Cette amélioration était constante à travers différents algorithmes informatiques et restait vraie même lorsque le chercheur testait le modèle sur des écoles totalement nouvelles au système, ce qui signifie que le modèle pouvait prédire la performance d'élèves qu'il n'avait jamais vus auparavant.
Le chercheur a pris soin d'expliquer ce que cette amélioration signifiait et ce qu'elle ne signifiait pas. Il a souligné que les données comportementales ne prouvaient pas que passer plus de temps ou cliquer sur plus de boutons cause une meilleure note chez un élève. Au contraire, l'étude a montré que l'enregistrement numérique de l'effort et de la stratégie d'un élève contient des indices supplémentaires sur sa capacité qui ne sont pas capturés par les questions posées. L'étude a également écarté l'idée que cette amélioration était simplement le résultat du format du test. En ajustant les données pour tenir compte de la difficulté spécifique de chaque problème, ils ont montré que la valeur provenait du comportement réel de l'élève, et non du fait que le test informatique ait orienté certains élèves vers des questions plus difficiles ou plus faciles. Les conclusions suggèrent que, dans le cadre de tests à grande échelle, la manière dont un élève interagit avec un ordinateur est un complément précieux à ce qu'il nous dit de lui-même, offrant une image plus claire et plus complète de ses capacités mathématiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.