AI-Assisted Grading in Biochemistry: Automated Long Answer Question Scoring with Expert-Level Accuracy

Dans le monde de l'enseignement médical, enseigner la biochimie implique bien plus que la simple mémorisation de faits sur la façon dont le corps traite l'énergie. Cela exige des étudiants qu'ils réfléchissent profondément et expliquent des processus complexes avec leurs propres mots. Pour mesurer cette compréhension, les instructeurs utilisent souvent des questions à réponse longue, où l'étudiant doit rédiger une explication détaillée d'un mécanisme biologique. Ces questions sont des outils puissants pour l'apprentissage car elles forcent les étudiants à organiser leurs pensées et à démontrer une véritable maîtrise. Cependant, les évaluer représente un lourd fardeau. Lorsqu'une classe s'agrandit, un seul enseignant ne peut consacrer le temps nécessaire pour lire attentivement chaque essai, offrir un retour personnalisé et s'assurer que chaque étudiant est jugé équitablement selon les mêmes normes. Le défi n'est pas seulement le volume de travail, mais le besoin de cohérence ; un enseignant peut accorder de l'importance à un détail spécifique qu'un autre pourrait négliger, ce qui conduit à des résultats inégaux.

Une équipe de chercheurs issus de facultés de médecine en Inde a entrepris de voir si un nouveau type de programme informatique pouvait résoudre ce problème. Ils voulaient savoir si un système d'intelligence artificielle pouvait lire ces longs essais, les noter avec la même compétence qu'un professeur humain expérimenté, et expliquer précisément pourquoi un étudiant a reçu une certaine note. Les chercheurs ont construit un outil qui agit comme un examinateur numérique. Au lieu de simplement compter les mots ou de vérifier des mots-clés, ce système a reçu un ensemble spécifique de règles, connu sous le nom de grille d'évaluation, qui décompose une réponse parfaite en parties plus petites. L'ordinateur a reçu l'instruction de chercher ces parties spécifiques dans l'écrit d'un étudiant, d'attribuer des points pour ce qui a été trouvé, puis de suggérer la manière dont la réponse pourrait être améliorée. Le système a utilisé un modèle de langage sophistiqué, un type de programme informatique entraîné sur de vastes quantités de textes pour comprendre le langage humain, pour accomplir cette tâche.

L'étude a impliqué trois cents étudiants qui avaient rédigé des réponses à deux questions différentes de biochimie. Les chercheurs ont collecté ces six cents réponses et les ont fait noter deux fois : une fois par l'ordinateur et une fois par deux experts humains ayant des années d'expérience dans l'enseignement de la matière. Les enseignants humains ont utilisé le même ensemble de règles pour noter les copies. Pour s'assurer que l'ordinateur ne faisait pas que deviner, les chercheurs lui ont demandé de noter chaque copie cinq fois avec de légères variations, puis de prendre la note médiane comme résultat final. Cette méthode a permis de lisser les erreurs aléatoires que l'ordinateur pourrait commettre. L'équipe a ensuite comparé les notes données par la machine aux notes données par les deux enseignants humains pour voir à quel point elles concordaient.

Les résultats ont montré un niveau d'accord frappant entre la machine et les humains. Les notes données par l'intelligence artificielle s'alignaient presque parfaitement avec les notes données par les experts humains. Lorsque les chercheurs ont mesuré la précision avec laquelle les notes de l'ordinateur suivaient celles des enseignants, les chiffres indiquaient une correspondance excellente, bien meilleure que ce que l'on observe habituellement lorsque deux humains différents notent les mêmes copies. L'ordinateur n'a pas systématiquement donné des notes plus hautes ou plus basses que les enseignants ; sa note moyenne était presque identique à la moyenne humaine. En fait, la notation de l'ordinateur était si cohérente avec celle des experts qu'elle pouvait être considérée comme un partenaire fiable dans la salle de classe. Le système fournissait également des commentaires spécifiques sur les points faibles de la réponse de l'étudiant, offrant un niveau de détail qui aide les étudiants à apprendre de leurs erreurs.

Ce travail suggère que l'intelligence artificielle peut gérer la tâche difficile de la notation de réponses écrites complexes en sciences sans perdre la nuance apportée par les enseignants humains. Les chercheurs ont découvert qu'en donnant à l'ordinateur un ensemble clair d'instructions sur ce qu'il devait rechercher, celui-ci pouvait évaluer le travail des étudiants avec une précision de niveau expert. Cela ne signifie pas que l'ordinateur remplace l'enseignant, mais plutôt qu'il peut prendre en charge la partie lourde de la notation, libérant ainsi les éducateurs humains pour qu'ils puissent se concentrer sur l'enseignement et le mentorat. L'étude indique que cette approche est prête à être utilisée dans les salles de classe réelles pour rendre l'évaluation plus juste et plus efficace, garantissant que chaque étudiant reçoive une note qui reflète véritablement sa compréhension de la matière.