AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
Cette étude démontre que les grands modèles de langage basés sur des incitations peuvent identifier de manière fiable des catégories conceptuelles dans les réponses mathématiques ouvertes des étudiants sans ajustement fin, atteignant une précision élevée pour les caractéristiques positives et la compréhension conceptuelle profonde tout en soulignant la nécessité d'un support d'expert dans la boucle et d'incitations linguistiquement explicites pour relever les défis liés à la vérification des caractéristiques absentes ou à la résolution de l'ambiguïté.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la salle de classe, les moments les plus précieux surviennent souvent non pas lorsqu'un élève trouve la bonne réponse, mais lorsqu'il explique comment il y est parvenu. Les enseignants savent depuis longtemps que pour véritablement comprendre l'esprit d'un élève, ils doivent regarder au-delà du résultat final et observer le raisonnement qui le sous-tend. C'est le cœur de l'évaluation formative : un processus de vérification de l'apprentissage pendant qu'il se produit, afin que l'enseignement puisse être ajusté pour aider l'élève à progresser. Cependant, il existe un problème pratique. Lorsque les élèves écrivent leurs pensées, dessinent des images ou créent leurs propres problèmes mathématiques, l'enseignant est confronté à une montagne de textes à lire et à interpréter. Faire cela en profondeur pour chaque élève demande un temps qui manque cruellement dans une journée scolaire chargée. En conséquence, de nombreux enseignants finissent par ne noter que les réponses finales, manquant ainsi les riches enseignements cachés dans les explications des élèves.
Pendant des années, des chercheurs ont tenté de construire des ordinateurs capables de lire ces explications et de repérer les schémas de pensée à l'intérieur. Les premières tentatives ont souvent échoué car elles reposaient sur des règles rigides ou nécessitaient de vastes quantités de données pré-étiquetées pour apprendre. L'arrivée des grands modèles de langage — de puissants systèmes informatiques entraînés sur de vastes quantités de texte pour comprendre et générer le langage humain — a relancé la question. Ces modèles peuvent suivre des instructions écrites en langage courant sans avoir besoin d'être réentraînés pour chaque tâche spécifique. Mais un doute critique subsiste : une machine excellente en langage peut-elle réellement comprendre la logique spécifique, et souvent subtile, des mathématiques ? Peut-elle faire la différence entre un élève qui maîtrise vraiment un concept et un autre qui devine ou utilise les bons mots pour de mauvaises raisons ?
Un chercheur de l'Université TU Dortmund a entrepris de répondre à cette question dans le contexte de l'éducation mathématique. Il voulait savoir si ces nouveaux outils d'IA pouvaient identifier de manière fiable des types spécifiques de pensée d'élèves dans des réponses mathématiques ouvertes, et s'ils pouvaient le faire suffisamment bien pour être utiles dans une salle de classe réelle. L'étude s'est concentrée sur deux domaines principaux : les nombres entiers et les fractions. Le cherchenaire a recueilli des milliers de réponses écrites d'élèves de niveaux cinquième et quatrième (grades 5 et 6). Ces élèves devaient, par exemple, expliquer pourquoi une fraction fonctionne d'une certaine manière ou créer leur propre problème pour une équation mathématique donnée. L'objectif était de voir si une IA, guidée par un ensemble d'instructions rédigées par un expert humain, pouvait classer ces réponses dans des catégories significatives, telles que « démontre une compréhension profonde », « présente une conception erronée spécifique » ou « ne fournit aucune preuve de compréhension ».
Le chercheur a testé quatre modèles d'IA open-source différents, qui sont des versions de la technologie que les écoles peuvent héberger sur leurs propres serveurs pour protéger la vie privée des élèves. Il a comparé la notation de l'IA à celle d'experts humains. Les résultats ont été étonnamment positifs. Sur plus de 13 000 réponses codées, les modèles d'IA ont atteint un haut niveau d'accord avec les experts humains, identifiant correctement les catégories principales de la pensée des élèves environ 82 % du temps. Cette performance était constante selon les différents types de problèmes mathématiques et les différents modèles. L'IA était particulièrement efficace pour repérer lorsqu'un élève expliquait correctement un concept, comme la compréhension que la multiplication implique le regroupement d'éléments, ou lorsqu'un élève commettait une erreur de raisonnement claire et spécifique.
Cependant, l'étude a également révélé les limites de la machine. Lorsque la tâche exigeait que l'IA effectue une simple vérification arithmétique — comme vérifier si les nombres d'une histoire d'élève s'additionnaient correctement — les modèles éprouvaient des difficultés. Ils avaient également du mal lorsque la réponse d'un élève était très courte ou vague, ou lorsque l'élève utilisait un langage ambigu. Dans ces situations délicates, l'IA avait tendance à deviner, supposant souvent que l'élève comprenait plus qu'il ne le faisait réellement. Le chercheur a constaté que l'IA performait à peu près aussi bien qu'un lecteur humain non expert, tel qu'un étudiant stagiaire, mais qu'elle ne pouvait égaler la performance d'un expert chevronné capable de repérer instantanément des erreurs conceptuelles profondes ou de vérifier des calculs.
La découverte la plus significative n'était pas seulement que l'IA fonctionne, mais comment elle fonctionne et où elle a besoin d'aide. Le chercheur a découvert que l'IA est plus fiable lorsque la réponse de l'élève est linguistiquement explicite. Si un élève utilise des mots clairs pour décrire une structure de regroupement, l'IA le détecte facilement. Si l'élève est vague, l'IA s'y perd. Cela suggère que la conception même des questions de test importe énormément ; les questions qui incitent les élèves à écrire de manière claire et complète donneront de meilleurs résultats avec les outils d'IA. De plus, l'étude a conclu que ces outils d'IA ne doivent pas être considérés comme des remplaçants des enseignants. Au contraire, ils agissent comme un puissant catalyseur. Ils peuvent effectuer le travail de lecture et de tri de milliers de réponses, signalant celles qui nécessitent l'œil d'un humain. Cela libère l'enseignant pour qu'il puisse se concentrer sur les cas les plus difficiles et prendre les décisions pédagogiques finales basées sur une image plus claire et mieux organisée de la compréhension de la classe.
Le chercheur souligne que l'IA est un outil pour l'enseignant, et non un substitut à son jugement. Le système est conçu pour fonctionner en boucle, où la machine fournit un premier jet de l'analyse, et l'enseignant humain examine celui-ci, corrigeant les erreurs et ajoutant le contexte nécessaire que seul un être humain peut fournir. Cette approche respecte la complexité de l'enseignement tout en reconnaissant les limites pratiques du temps humain. En utilisant l'IA pour gérer le tri initial, les enseignants peuvent potentiellement s'engager dans la pensée conceptuelle profonde de chaque élève, plutôt que de n'en traiter que quelques-uns. L'étude confirme que, bien que l'IA ne puisse pas encore remplacer la compréhension nuancée d'un maître enseignant, elle a atteint un point où elle peut faire de l'évaluation formative profonde et personnalisée en mathématiques une réalité pratique pour les écoles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.