A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor

Imaginez que vous êtes un enseignant avec une montagne de devoirs à corriger. Vous avez 6 000 programmations informatiques à vérifier et vos yeux sont fatigués. Entrez le « Correcteur Numérique » : un type de cerveau informatique super intelligent appelé Modèle de Langage Étendu (LLM). Considérez ces modèles comme des robots incroyablement érudits qui ont lu presque tout sur Internet, y compris des millions de lignes de code. Ils sont conçus pour comprendre le langage et la logique, il semble donc être une idée parfaite de demander à ces robots de noter les travaux des étudiants instantanément. Mais voici le piège : tout comme les humains, ces robots ont des personnalités différentes. Certains sont stricts, d'autres sont décontractés, et d'autres sont simplement bizarres. La grande question pour les écoles est la suivante : si nous laissons ces robots prendre le relais de la notation, seront-ils équitables ? Seront-ils d'accord avec les enseignants humains ? Ou transformeront-ils le système de notation en un jeu chaotique où un robot vous donne un A+ et un autre un F pour le même code ?

Ce document est comme un immense « test de dégustation » pour ces correcteurs numériques. L'auteur, Marcin Jukiewicz, a rassemblé 6 000 véritables travaux de programmation d'étudiants provenant d'un cours universitaire et a demandé à 18 versions différentes de ces robots IA de les noter tous. Il ne s'est pas contenté de leur demander de donner une note ; il a observé comment ils réfléchissaient, à quel point ils étaient stricts, et s'ils étaient d'accord entre eux ou avec les enseignants humains. L'étude révèle que ces modèles d'IA ne sont pas un bloc d'intelligence uniforme ; ils sont une famille de cousins très différents. Certains sont « libéraux » et distribuent des notes élevées comme des bonbons, tandis que d'autres sont « restrictifs » et font échouer les étudiants pour de minuscules erreurs. Même plus surprenant, les robots d'une même entreprise (comme OpenAI ou Google) ont tendance à penser et à noter de manière très similaire, presque comme s'ils avaient été élevés dans la même maison avec les mêmes règles.

La découverte la plus importante, cependant, est un certain retour à la réalité. Même le « meilleur » robot IA de l'étude n'a montré qu'un niveau de concordance statistique modéré avec les enseignants humains, loin d'une correspondance parfaite. Dans le monde de la notation, c'est comme si deux juges dans un concours de talents donnaaient des scores complètement différents au même chanteur. L'étude suggère que, bien que l'IA puisse être cohérente avec elle-même, elle éprouve toujours des difficultés à égaler la façon nuancée, indulgente et sensible au contexte dont font preuve les enseignants humains. De plus, l'étude a révélé que les versions « mini » ou « nano » de ces modèles (les plus petites et moins chères) étaient généralement moins bonnes pour la notation que leurs grands frères de taille réelle. Ainsi, si une école veut utiliser l'IA pour noter les devoirs, elle ne peut pas simplement choisir n'importe quel robot ; elle doit choisir avec soin, car le choix du robot changera réellement les notes obtenues par les étudiants.

Le Grand Duel des Robots Correcteurs

Imaginez que vous entriez dans une salle de classe où 18 robots sont assis à des bureaux, chacun tenant un stylo rouge. Ils sont sur le point de noter une pile de 6 000 programmations informatiques. Ce ne sont pas n'importe quels robots ; ce sont les derniers modèles de pointe de « Modèles de Langage Étendu » (LLM) de quatre géants de la technologie : OpenAI, Google, Anthropic et DeepSeek. Le but de cette étude était de voir si ces robots seraient tous d'accord sur qui obtient un A, qui obtient un B, et qui échoue.

Les résultats ont été un peu comme une émission de télé-réalité où les juges ne parviennent pas à se mettre d'accord. L'auteur a découvert que ces robots possèdent des « philosophies de notation » distinctes.

Les Robots « Gentils » contre les Robots « Méchants »
Certains robots étaient incroyablement généreux. Des modèles comme GPT-4o et Claude-haiku-3.5 étaient les correcteurs « libéraux ». Ils avaient tendance à donner des notes élevées (un « 1 » ou le crédit total) très souvent. Si le code d'un étudiant était globalement correct, ces robots étaient heureux de lui donner une note de passage. À l'autre extrémité du spectre, vous aviez les robots « restrictifs » comme DeepSeek-Reasoner et GPT-4.1-nano. C'étaient les disciplinaires stricts. Ils étaient beaucoup plus susceptibles de donner un « 0 » (une note d'échec) s'ils repéraient même une petite erreur. C'étaient les robots qui vous feraient échouer pour un point-virgule manquant, alors que les robots gentils vous donneraient juste un petit coup de pouce.

Il y avait ensuite les robots « équilibrés », comme Claude-sonnet-4 et Gemini-2.0-flash-lite. C'étaient les correcteurs du juste milieu. Ils ne se contentaient pas de vous donner une note parfaite ou une note d'échec ; ils adoraient le score de « 0,5 ». C'étaient ceux qui disaient : « Vous avez compris l'idée principale, mais vous avez manqué quelques détails, donc voici un crédit partiel. »

La Ressemblance Familiale
L'une des découvertes les plus cool est que les robots d'une même entreprise agissaient comme des frères et sœurs. Si vous regardiez les modèles de notation des différents modèles OpenAI (comme GPT-4o, GPT-5 et leurs versions « mini »), ils se regroupaient. Ils pensaient de la même manière. Il en allait de même pour les modèles Gemini de Google et les modèles Claude d'Anthropic. C'est comme si OpenAI avait appris à tous ses robots à noter d'un style spécifique, et que Google avait appris à ses robots un style différent. L'étude a trouvé six groupes distincts de robots : cinq « clans » principaux avec des styles partagés (GPT-5, GPT-4, Gemini, DeepSeek et Claude) plus un groupe spécial d'« Outliers » (atypiques) qui regroupait deux modèles uniques parce qu'ils ne rentraient nulle part ailleurs.

Le « Mini » contre le « Mega »
L'étude a également examiné la taille des robots. Les entreprises technologiques sortent souvent des versions « mini » ou « nano » de leurs modèles qui sont plus petites, plus rapides et moins coûteuses à exploiter. L'article a révélé que ces robots plus petits étaient généralement moins bons pour la notation. Les modèles « emblématiques » de taille réelle étaient plus cohérents et fiables. C'est comme comparer un chef professionnel à un enfant qui vient de regarder une émission de cuisine ; l'enfant peut réussir à préparer le plat, mais le professionnel est plus susceptible de réussir le goût à chaque fois. Les modèles « mini » et « nano » avaient un accord plus faible avec les enseignants humains, suggérant que si une école essaie d'économiser de l'argent en utilisant les modèles plus petits et moins chers, elle pourrait obtenir une notation de moindre qualité.

Le Facteur Humain
Voici le rebondissement qui pourrait vous surprendre. Lorsque l'auteur a comparé tous ces robots aux véritables enseignants qui avaient noté les mêmes devoirs, les robots ne correspondaient pas bien. En fait, les enseignants humains étaient les plus généreux de tous ! Ils donnaient les scores moyens les plus élevés (0,726) et étaient beaucoup plus susceptibles de donner un « 1 » complet que n'importe quel robot.

Le meilleur robot, Claude-haiku-3.5, présentait un score de concordance statistique de 0,470 avec les enseignants humains. Dans le monde des statistiques, cela est considéré comme une concordance « modérée », et non « bonne ». Pour être considérée comme « bonne », il faut généralement un score supérieur à 0,75. Cela signifie que si vous utilisiez ce robot pour noter vos devoirs, il vous donnerait probablement une note différente de celle de votre professeur, et il serait plus strict.

Le Paradoxe de la « Foule »
L'étude a fait quelque chose d'astucieux pour tester les robots les uns contre les autres. Au lieu de les comparer aux humains, les chercheurs ont demandé : « Si nous prenons la note la plus courante donnée par les 18 robots, est-ce la « vraie » note ? » Lorsqu'ils l'ont fait, les robots étaient beaucoup plus en accord entre eux (plus de 80 % d'accord pour les meilleurs modèles). Cela suggère que les robots sont très cohérents avec leur propre espèce, mais qu'ils sont tous systématiquement différents des enseignants humains.

Cela soulève une grande question. Les robots ont-ils raison et les enseignants sont-ils trop indulgents ? Ou les robots font-ils tous la même erreur parce qu'ils ont été entraînés sur des données similaires ? L'article suggère que bien que les robots soient cohérents, ils pourraient manquer la « touche humaine » — la capacité de comprendre qu'un étudiant a fait des efforts, ou qu'une petite erreur ne signifie pas qu'il n'a pas compris le concept.

Ce que cela signifie pour l'avenir

L'article ne dit pas que la notation par IA est brisée ou que nous devrions arrêter de l'utiliser. Au lieu de cela, il avertit les écoles d'être prudentes. Choisir un robot pour noter vos devoirs n'est pas une décision neutre ; c'est un choix qui change le résultat. Si vous choisissez un robot « libéral », les étudiants pourraient obtenir des notes plus élevées. Si vous choisissez un robot « restrictif », les étudiants pourraient obtenir des notes plus basses.

L'étude conclut que nous ne pouvons pas simplement laisser l'IA prendre totalement le relais de la notation. Nous avons toujours besoin d'enseignants humains pour surveiller les choses. Les robots sont de bons outils, mais ils sont comme différents types de calculatrices : certaines arrondissent à l'unité supérieure, d'autres à l'unité inférieure, et certaines ont des boutons différents. Jusqu'à ce que nous trouvions comment les faire s'accorder avec les enseignants humains, nous devons nous rappeler que la note qu'un robot vous donne peut ne pas être la même que celle que votre professeur vous donnerait. Et dans le monde de l'éducation, cette différence compte énormément.