Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

Dans les salles de classe des universités modernes, une révolution silencieuse est en cours, menée par un nouveau type d'intelligence artificielle connue sous le nom de modèle de langage étendu. Il ne s'agit pas de simples moteurs de recherche qui récupèrent des faits ; ce sont des systèmes entraînés sur de vastes quantités d'écrits humains, capables de comprendre le contexte, de raisonner sur des problèmes complexes et de générer du texte qui imite la conversation humaine. Pendant des années, les éducateurs se sont demandé si ces outils pouvaient faire plus que simplement discuter ; pourraient-ils réellement enseigner, ou du moins aider les enseignants à corriger les montagnes de travaux soumis par les étudiants ? Cette question est particulièrement délicate dans des domaines comme le génie logiciel, où les étudiants ne se contentent pas d'écrire des essais ou de résoudre des problèmes mathématiques. Au lieu de cela, ils créent des plans complexes pour des systèmes logiciels, dessinant des diagrammes qui montrent comment les différentes parties d'un programme doivent se connecter et fonctionner. Ces conceptions visuelles nécessitent un œil humain pour repérer les erreurs subtiles de logique et de structure. Si un ordinateur pouvait corriger ces devoirs avec précision et offrir des conseils utiles sur la manière de s'améliorer, cela libérerait les enseignants pour qu'ils se concentrent sur un apprentissage plus profond, mais seulement si l'ordinateur est assez fiable pour être digne de confiance pour la note d'un étudiant.

Une équipe de chercheurs issus d'universités du Pakistan et du Royaume-Uni s'est lancée dans le test de cette idée même. Ils voulaient voir si deux des systèmes d'intelligence artificielle les plus avancés disponibles pouvaient corriger des devoirs complexes de conception de logiciels et fournir des commentaires personnalisés aux étudiants. Pour ce faire, ils ont rassemblé 54 soumissions réelles d'étudiants provenant d'un cours sur la conception et l'architecture de logiciels. Chaque étudiant avait créé trois types spécifiques de diagrammes : un diagramme de cas d'utilisation montrant comment les utilisateurs interagissent avec un système, un diagramme de classes décrivant les blocs de construction du logiciel, et une conception d'architecture à trois niveaux cartographiant les couches du système. Un instructeur humain expérimenté avait déjà noté chacun de ces devoirs en utilisant un ensemble strict de règles, ou rubrique, qui définissait exactement ce qui était requis pour obtenir la note maximale. Les chercheurs ont ensuite injecté ces mêmes devoirs, ainsi que les règles de l'instructeur, dans deux modèles d'intelligence artificielle différents : l'un provenant d'une entreprise appelée OpenAI et l'autre de Google.

Les chercheurs n'ont pas simplement demandé aux ordinateurs de donner une note. Ils ont conçu un processus minutieux pour s'assurer que les modèles réfléchissent étape par étape, tout comme le ferait un enseignant humain. Ils ont demandé aux modèles de vérifier d'abord si l'étudiant avait même abordé le bon sujet, puis d'examiner chaque partie de la rubrique pour voir si les éléments requis étaient présents, et enfin de calculer un score basé sur les erreurs spécifiques trouvées. Pour s'assurer que les résultats étaient stables et n'étaient pas seulement le fruit d'un coup de chance, les chercheurs ont demandé à chaque modèle de noter chaque devoir trois fois séparément, puis d'en faire la moyenne des résultats. Ils ont également construit un outil web personnalisé pour gérer l'ensemble de ce processus, permettant aux modèles de lire les fichiers PDF des étudiants, qui contenaient à la fois du texte et les diagrammes complexes, et de générer un rapport détaillé pour chaque étudiant.

Lorsque les chercheurs ont comparé les notes générées par ordinateur aux notes de l'instructeur humain, les résultats ont été un mélange de promesse et de limitation. Les systèmes d'intelligence artificielle étaient généralement proches de la note moyenne de l'enseignant humain, les notes de l'ordinateur différant d'environ cinq points sur un total de cinquante en moyenne. Cependant, les ordinateurs ont eu du mal à égaler la capacité de l'enseignant humain à distinguer les meilleurs des moins bons étudiants. L'instructeur humain avait donné une large gamme de scores, allant d'un bas de 19 à un haut de 49, reflétant une compréhension claire de qui avait maîtrisé la matière et qui ne l'avait pas. Les ordinateurs, en revanche, avaient tendance à compresser ces scores dans une bande plus étroite, donnant souvent un travail médiocre une note légèrement plus élevée et un excellent travail une note légèrement plus basse. Cela signifiait que, bien que les ordinateurs soient bons pour donner une estimation approximative de la performance, ils n'étaient pas encore assez fiables pour remplacer un enseignant humain dans la décision d'une note finale, car ils perdaient la capacité de classer les étudiants avec précision.

Malgré les imperfections de la notation, les commentaires générés par les ordinateurs ont été étonnamment bien accueillis. Les étudiants qui ont reçu les commentaires générés par l'IA les ont trouvés clairs, utiles et bénéfiques pour comprendre leurs erreurs. En fait, lorsqu'on leur a demandé de choisir les commentaires de l'ordinateur qu'ils préféraient, la grande majorité des étudiants a choisi le modèle d'OpenAI, notant que ses commentaires semblaient plus personnels et constructifs, et plus proches de ce qu'un enseignant humain dirait. Curieusement, cette préférence ne concordait pas toujours avec le modèle qui donnait la note mathématiquement la plus proche ; le modèle que les étudiants préféraient pour son style d'écriture n'était pas nécessairement celui qui était le plus précis dans sa notation. Cela suggère que pour les étudiants, la qualité des conseils importe plus que le chiffre exact attribué à leur travail.

L'étude conclut que ces outils d'intelligence artificielle sont des assistants puissants mais ne sont pas encore prêts à prendre totalement le volant. Ils peuvent gérer le gros du travail de révision de centaines de devoirs, repérer les éléments manquants dans les diagrammes et rédiger des ébauches de commentaires, ce qui fait gagner un temps considérable aux enseignants. Cependant, la recherche suggère fortement qu'un enseignant humain doit rester dans la boucle pour réviser les notes finales et garantir l'équité, en particulier pour les évaluations à enjeux élevés où l'avenir d'un étudiant dépend du résultat. L'avenir idéal, selon ces conclusions, est une approche hybride où l'ordinateur agit comme un premier lecteur infatigable, offrant une évaluation préliminaire et des suggestions détaillées, tandis que l'instructeur humain fournit le jugement final et la compréhension nuancée que seule une personne peut offrir. Ce partenariat pourrait transformer l'enseignement du génie logiciel, rendant les commentaires personnalisés accessibles à chaque étudiant sans surcharger les enseignants.