Human-in-the-Loop LLM Grading for Handwritten Mathematics Assessments

Cette étude présente un flux de travail évolutif intégrant l'humain dans la boucle pour l'évaluation par LLM de devoirs de mathématiques manuscrits, démontrant qu'il permet de réduire le temps de correction de 23 % tout en maintenant une équité et une précision comparables à la notation manuelle.

L'essentiel

🎓 Le Problème : La Corvée de la Correction

Imaginez un professeur de mathématiques qui a 100 copies à corriger. Chaque semaine, il doit lire des centaines de pages d'écriture manuscrite, parfois illisible, pour donner des notes et des commentaires. C'est comme essayer de trouver des aiguilles dans une botte de foin, mais en plus, il doit le faire vite pour que les élèves puissent apprendre de leurs erreurs avant le prochain cours.

D'un côté, les professeurs veulent donner du feedback personnalisé (dire exactement où l'élève s'est trompé). De l'autre, ils sont submergés par la charge de travail.

Pendant ce temps, l'Intelligence Artificielle (IA) a créé un nouveau problème : les élèves peuvent maintenant utiliser des robots pour faire leurs devoirs à la maison. Donc, pour être sûrs que les élèves comprennent vraiment, les professeurs doivent les faire travailler en classe, sur papier, sous surveillance. Mais cela signifie plus de copies à corriger à la main !

🤖 La Solution : Le "Co-pilote" IA

C'est là que cette équipe de chercheurs (de l'Université Libre de Bruxelles et Harvard) a eu une idée brillante. Au lieu de demander à l'IA de tout faire (ce qui est risqué) ou de tout faire à la main (ce qui est lent), ils ont créé un système hybride.

Imaginez que l'IA est un assistant de cuisine très rapide mais un peu étourdi, et que le professeur est le Chef étoilé.

1. L'Assistant (l'IA) prépare les plats : Il lit les copies, identifie les étapes de raisonnement et propose une note.
2. Le Chef (le Professeur) vérifie : Il ne regarde pas tout en détail, mais il vérifie les plats que l'assistant a marqués comme "étranges" ou douteux.

🛠️ Comment ça marche ? (Le processus en 3 étapes)

Voici comment ils ont mis en place ce système, étape par étape :

1. La Recette de Cuisine (La "Clé de Correction")

Avant de laisser l'IA travailler, les professeurs écrivent une recette de correction ultra-détaillée.

• L'analogie : Si vous dites à un robot "Fais-moi un gâteau", il va peut-être mettre du sel au lieu du sucre. Mais si vous lui dites : "Mets 2 œufs, 100g de farine, et si le gâteau est trop sec, ajoute du lait", il suivra les instructions.
• Dans ce papier, les chercheurs ont appris à l'IA à décomposer chaque problème mathématique en petits pas précis (ex: "2 points pour avoir reconnu la formule", "3 points pour le calcul"). C'est la partie la plus importante : plus la recette est claire, moins l'IA fait d'erreurs.

2. Le Tri et l'Anonymat (La Sécurité)

Les copies sont scannées. Un logiciel coupe les images pour ne garder que les réponses des élèves, en cachant leurs noms (comme si on enlevait les étiquettes des valises avant de les envoyer). L'IA ne voit que les maths, pas qui les a écrites.

3. Le "Juge de Paix" (La Vérification Humaine)

L'IA ne donne pas une seule note. Elle lit chaque copie 5 fois (comme si 5 juges différents regardaient la même chose).

• Si les 5 notes sont proches, l'IA propose la meilleure note (pour être gentil avec l'élève).
• Si les notes sont très différentes (l'IA est perdue), le système met un drapeau rouge.
• C'est à ce moment que le professeur humain intervient. Il ne corrige pas tout, il ne regarde que les cas où l'IA a hésité.

📊 Les Résultats : Plus vite, et tout aussi juste

Les chercheurs ont testé ce système sur des cours de mathématiques réels. Voici ce qu'ils ont découvert :

• Gain de temps : Les professeurs ont gagné environ 23% de temps. C'est comme si, au lieu de corriger 100 copies, ils n'en avaient que 77 à corriger.
• Justesse : L'accord entre l'IA et les humains est aussi bon, voire meilleur, que l'accord entre deux humains qui corrigent la même copie.
• La sécurité : L'IA fait parfois des erreurs (elle peut être trop optimiste ou mal comprendre un dessin). Mais grâce au système de "5 lectures" et à la vérification humaine finale, ces erreurs sont piégées et corrigées avant que la note ne soit envoyée à l'élève.

💡 La Grande Leçon

Ce papier nous dit quelque chose d'important sur l'avenir de l'éducation : L'IA ne remplace pas le professeur, elle le libère.

Au lieu de demander "L'IA peut-elle faire le travail du professeur ?", la question est : "Comment l'IA peut-elle aider le professeur à faire son travail plus sereinement ?".

C'est comme un GPS pour la correction :

• Le GPS (l'IA) vous dit le chemin le plus rapide et vous évite les embouteillages (la fatigue).
• Mais vous, le conducteur (le professeur), gardez le volant. Vous décidez de l'itinéraire final et vous intervenez si le GPS vous propose de rouler dans un champ.

En conclusion, ce système permet de donner des retours rapides et personnalisés à des centaines d'élèves, tout en gardant l'humain au cœur de la décision pour garantir l'équité. C'est une victoire pour la pédagogie et pour le temps libre des enseignants !

Résumé technique

Titre : Évaluation assistée par LLM avec boucle humaine pour les devoirs de mathématiques manuscrits

1. Problématique

L'article aborde le défi majeur de fournir un feedback rapide, cohérent et individualisé sur les travaux manuscrits des étudiants à grande échelle.

• Contexte : Les évaluations à la maison deviennent moins fiables en raison de la capacité des IA génératives à produire des solutions mathématiques manuscrites de haute qualité. Cela force un retour vers des évaluations supervisées en classe (papier-crayon).
• Contrainte : La notation manuelle de ces devoirs manuscrits est chronophage, ce qui retarde le feedback, essentiel à l'apprentissage.
• Limites des solutions actuelles : Les QCM sont efficaces administrativement mais ne capturent pas le processus de résolution ni les erreurs de raisonnement intermédiaires. Les modèles de langage (LLM) seuls peinent à être déployés de manière fiable en raison de leur stochasticité et de leurs erreurs d'interprétation.

2. Méthodologie

Les auteurs proposent un flux de travail complet et évolutif intégrant les LLM dans un cycle de notation hybride (humain-in-the-loop). Le déploiement a eu lieu dans deux cours de mathématiques de premier cycle à l'Université Libre de Bruxelles (VUB), sur six tests courts (« bonus tests ») de 10 minutes.

A. Pipeline de traitement des données :

1. Numérisation et Anonymisation : Les feuilles de réponse standardisées sont scannées. Un système OCR extrait les zones de réponse et les identifiants (numéros d'étudiants codés par bulles). Les images des réponses sont découpées et anonymisées (suppression de tout identifiant) avant d'être envoyées au LLM.
2. Construction des clés de notation (Grading Keys) : C'est l'étape la plus critique. Les auteurs ont développé des clés de notation détaillées qui décomposent chaque solution en étapes logiques avec des points attribués de manière explicite (ex: 2 points pour reconnaître une forme indéterminée, 4 points pour la factorisation, etc.).
   • Principe clé : Éviter les critères vagues (« crédit partiel ») au profit de critères opérationnels précis pour limiter l'interprétation littérale erronée du modèle.
3. Évaluation par le LLM :
   • Modèle : Utilisation de GPT-5.1.
   • Processus : Chaque réponse est notée 5 fois indépendamment par le modèle pour gérer la stochasticité.
   • Prompting : Le prompt inclut la question, la solution complète, la clé de notation détaillée, et l'image de la réponse de l'étudiant. Il instruit le modèle à ne pas deviner les étapes manquantes et à suivre la logique de l'étudiant.
   • Agrégation : Le score provisoire est déterminé par le maximum des 5 scores générés (approche conservatrice favorable à l'étudiant).
4. Vérification Humaine (Boucle de rétroaction) :
   • Un rapport PDF généré automatiquement présente à l'enseignant l'image anonymisée, les 5 scores du LLM, les métriques de cohérence (variance, écart-type) et le score provisoire.
   • L'enseignant valide ou corrige le score.
   • Un sous-ensemble aléatoire est noté à l'aveugle par des assistants pédagogiques pour calibrer la fiabilité.

3. Contributions Clés

• Workflow Évolutif : Une méthode complète, de la numérisation à la génération de feedback, prête à être déployée dans des classes réelles.
• Ingénierie des Prompts et des Clés de Notation : Démonstration que la qualité de la notation dépend moins du modèle lui-même que de la précision des clés de notation (décomposition fine des étapes) et des instructions de prompt.
• Stratégie Hybride : Preuve qu'un système où le LLM agit comme une « base de référence » stabilisatrice, couplée à une validation humaine pour les cas limites, surpasse la notation purement manuelle en termes de cohérence et de rapidité.
• Préservation de la Vie Privée : Architecture technique garantissant l'anonymat des données avant l'envoi au LLM.

4. Résultats

L'étude a comparé la notation manuelle traditionnelle et la notation assistée par LLM (numérique) sur 6 questions notées par 6 évaluateurs.

• Gain de Temps : La notation assistée par LLM a réduit le temps de notation d'environ 23 % (rapport géométrique moyen de 0,77). Ce gain est structurel et persiste même après la phase d'apprentissage des évaluateurs.
• Alignement et Cohérence :
  • L'accord entre les évaluateurs humains et le LLM (mesuré par le Kappa de Cohen quadratique pondéré) est comparable, voire supérieur, à l'accord entre deux évaluateurs humains.
  • Dans la plupart des cas, le score du LLM se situe entre les deux scores humains ou coïncide avec l'un d'eux.
  • La distribution des écarts de score est plus concentrée autour de zéro dans le mode numérique (réduction de la dispersion), indiquant une plus grande stabilité.
• Gestion des Erreurs : Bien que des erreurs de modèle (hallucinations ou sur-optimisme) surviennent, elles sont rares et efficacement contenues par l'étape de vérification humaine. L'utilisation du score maximum parmi 5 passes protège les étudiants contre le sous-notage accidentel.

5. Signification et Conclusion

Ce travail déplace le paradigme de l'utilisation des LLM dans l'éducation : il ne s'agit pas de remplacer les enseignants, mais de les renforcer.

• Efficacité : Le système permet de maintenir des boucles de feedback rapides et de haute qualité, essentielles pour l'apprentissage, même avec des classes nombreuses.
• Fiabilité : En traitant le LLM comme un outil d'assistance structuré plutôt que comme un juge autonome, on obtient une cohérence supérieure à celle de la notation humaine pure, tout en préservant l'autorité pédagogique humaine pour les cas exceptionnels.
• Généralisation : Bien que testé en mathématiques, le pipeline est applicable à d'autres domaines STEM (comme la programmation en classe) où des tâches structurées et des clés de notation détaillées peuvent être définies.

En résumé, l'article démontre qu'une notation assistée par LLM avec boucle humaine est une solution viable, équitable et efficace pour moderniser l'évaluation des travaux manuscrits à l'ère de l'IA générative.