Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

Imaginez un monde où la notation des dissertations ne consiste pas seulement pour un enseignant à plisser les yeux devant une pile de copies tard dans la nuit, mais implique un assistant informatique super intelligent. Ce domaine, connu sous le nom de Notation Automatisée de Dissertations (Automated Essay Scoring), existe depuis des décennies, tentant de transformer l'art désordonné de la notation en une science propre et rapide. Voyez cela comme un robot essayant d'apprendre les règles d'un jeu en regardant des milliers de joueurs. Les premiers robots étaient maladroits, comptant des éléments comme la longueur d'une dissertation ou le nombre de mots complexes utilisés. Mais les robots d'aujourd'hui, propulsés par les Grands Modèles de Langage (LLM), sont davantage comme des lecteurs brillants capables de comprendre l' histoire et la logique derrière les mots.

Cependant, il y a un piège. Ce n'est pas parce qu'un robot sait lire qu'il sait noter de manière équitable. Les enseignants s'inquiètent du biais (le robot est-il trop indulgent ou trop sévère ?), de la transparence (pouvons-nous voir pourquoi il a donné un certain score ?) et de l'alignement (est-il d'accord avec ce qu'un enseignant humain dirait ?). Si un robot donne un A à un étudiant qui mérite un C, ou vice versa, cela pourrait changer l'avenir d'un élève. Ainsi, la grande question n'est pas seulement « Le robot peut-il noter ? », mais « Peut-il noter assez bien pour être digne de confiance dans une véritable école ? »

---

L'Expérience du Robot Correcteur

Dans cette étude, un chercheur nommé Tom Bryden a décidé de mettre un robot IA spécifique à l'épreuve dans le monde à haute pression des lycées seniors australiens. Au lieu de demander au robot de simplement donner un score final comme une boule de cristal, il l'a contraint à suivre des règles strictes : il devait agir comme un second correcteur « aveugle » (ce qui signifie qu'il ne savait pas ce que l'enseignant avait déjà noté), et pour chaque point attribué, il devait pointer une phrase spécifique dans le travail de l'élève et expliquer exactement pourquoi cette phrase méritait ce point. C'était comme demander au robot d'être un détective qui doit présenter ses preuves avant de procéder à une arrestation.

Le robot a été nourri de 437 travaux d'élèves réels provenant de 13 matières différentes, allant des Mathématiques et de la Physique à l'Anglais et à l'Histoire Moderne. L'objectif était de voir si les notes du robot correspondaient aux notes des enseignants, s'il avait des habitudes étranges, et si sa « confiance » dans ses propres réponses signifiait quelque chose de réel.

Les Résultats : Un Assistant Utile, mais Légèrement Généreux

Voici ce que l'expérience a révélé, décomposé selon les découvertes clés :

1. Le Robot et l'Enseignant : De Bons Amis, mais Pas des Jumeaux
Le robot et les enseignants humains étaient sur la même longueur d'onde concernant l'ambiance générale de la classe, mais ils n'étaient pas d'accord sur les chiffres exacts. L'étude a trouvé une connexion modérée entre les deux, avec un score de corrélation de 0,51. En langage clair, si un enseignant donnait une note élevée à un élève, le robot donnait généralement une note élevée aussi, mais les chiffres spécifiques s'écartaient souvent.

• Le Taux de Correspondance Exacte : Le robot et l'enseignant ont donné la même note totale dans seulement 20,8 % des cas.
• L'Écart Moyen : En moyenne, le score du robot différait de 2,96 points (sur le total des points possibles pour cette tâche).
• La Marge d'Erreur : Lorsqu'on regarde la taille de l'erreur par rapport au score total, le robot s'est trompé de 13,24 %.

2. Le Problème du « Robot Gentil »
L'une des découvertes les plus intéressantes est que le robot possédait un trait de personnalité distinct : il était indulgent. Il aimait accorder le bénéfice du doute aux élèves.

• Lorsque les chercheurs ont examiné la différence entre le score du robot et celui de l'enseignant, la distribution était fortement biaisée en faveur du robot donnant des notes plus élevées.
• En fait, 44,9 % du temps, le robot a donné un score qui était 2 points ou plus élevé que celui de l'enseignant.
• Seulement 14,2 % du temps, le robot a donné un score plus sévère (2 points ou plus bas) que celui de l'enseignant.
• Cela suggère que si l'on laissait simplement le robot tout noter, les élèves pourraient obtenir des notes un peu trop hautes par rapport à ce qu'un humain donnerait.

3. La Matière Compte : Mathématiques vs Histoire
Le robot n'était pas aussi bon partout. Il semblait avoir plus de mal avec les matières qui exigent une interprétation créative profonde et réussissait mieux avec les matières qui ont des réponses claires, étape par étape.

• Les Ennuis : Dans des matières comme English & Literature Extension et General Mathematics, la différence moyenne entre le robot et l'enseignant était assez grande (environ 18,57 % et 19,0 % des points totaux, respectivement).
• Les Excellences : En Specialist Mathematics et en Chimie, le robot était beaucoup plus proche des enseignants, avec des différences moyennes de seulement 6,67 % et 6,91 %.
• Cela nous indique que le robot est excellent pour suivre des règles strictes (comme en mathématiques) mais se perd un peu lorsque les règles concernent davantage le « ressenti » ou l'« argument » (comme en anglais ou en histoire).

4. Le Piège de la Confiance
Le robot a également communiqué aux chercheurs son niveau de « confiance » dans sa notation, avec des scores allant de 0,80 à 1,00. Vous pourriez penser que lorsque le robot dit : « Je suis sûr à 100 % ! », cela signifie qu'il a raison. L'étude suggère que ce n'est pas le cas.

• Une grande confiance ne signifiait pas une grande précision. En fait, lorsque le robot était très confiant (entre 0,95 et 1,00), il était en réalité plus susceptible d'être indulgent (donnant des notes plus élevées) que lorsqu'il l'était moins.
• Les chercheurs ont constaté que la confiance du robot était plutôt une mesure de la façon dont les preuves paraissaient claires pour le robot, plutôt qu'une mesure de la justesse de la note. C'est comme un détective qui est très sûr de sa théorie parce que les indices sont évidents, même si sa théorie est légèrement erronée.

5. Le Travail de « Détective » : Preuves et Commentaires
Parce que le robot devait justifier son travail, les chercheurs ont pu vérifier s'il était cohérent.

• Le Positif : Dans des matières comme la Physique, l'Économie et les Mathématiques, le robot était excellent pour trouver les bonnes phrases dans la dissertation de l'élève et expliquer pourquoi elles méritaient des points. Il agissait comme un détective transparent.
• Le Négatif : Dans des matières comme Film, Television & New Media, le robot donnait parfois des commentaires trop superficiels. Au lieu d'analyser le sens profond d'une scène de film, il pouvait simplement commenter la grammaire.
• Le Verdict : La capacité du robot à montrer ses preuves en faisait un excellent outil de modération (vérifier si un enseignant était équitable) ou pour donner des commentaires sur des brouillons, mais il n'était pas prêt à remplacer entièrement l'enseignant.

6. Vitesse et Coût : Un Supercalculateur à Prix Réduit
Enfin, l'étude a examiné l'aspect pratique : à quel point cela était-il rapide et peu coûteux ?

• Vitesse : Le robot a traité l'ensemble du lot de 437 copies en environ 5,8 heures (temps de traitement total de 20 929,35 secondes), soit environ 47,89 secondes par copie.
• Coût : Le coût total pour noter les 437 copies était de seulement 4,23 $ USD. Cela représente environ 0,01 $ par copie d'élève.
• Cela prouve que l'utilisation de l'IA pour aider à la notation est incroyablement peu coûteuse et rapide, ce qui en fait un outil très viable pour les écoles à utiliser comme un second regard.

Conclusion

Ce document ne dit pas que l'IA est prête à prendre le contrôle de la classe et à délivrer des diplômes d'elle-même. Le robot est encore un peu trop généreux, il s'embrouille dans les sujets créatifs, et sa « confiance » n'est pas une garantie de vérité.

Cependant, l'étude suggère un avenir très prometteur où l'IA agit comme un assistant super efficace. Imaginez un enseignant corrigeant une pile de dissertations, et l'IA passe instantanément à travers celles-ci, mettant en évidence les preuves pour chaque point, signalant celles où elle n'est pas d'accord avec l'enseignant, et proposant un brouillon de commentaire. Elle n'est pas le juge final, mais c'est un outil fantastique, peu coûteux et transparent pour aider les enseignants à être plus cohérents et à gagner du temps. Le robot est un excellent « second correcteur », mais pour l'instant, l'enseignant humain doit rester aux commandes.