Large language model scoring of medical student reflection essays: Accuracy and reproducibility of prompt-model variations

Cette étude démontre que le scoring automatisé de rédactions par des modèles de langage large (LLM) atteint une précision et une reproductibilité quasi parfaites, les modèles affinés et les prompts incluant des exemples offrant la meilleure exactitude au prix d'un coût plus élevé, tandis que les modèles non affinés comme GPT-4.1-mini constituent une alternative efficace et économique pour des volumes plus faibles.

L'essentiel

🎓 Le Correcteur Robotique : Qui est le meilleur ?

Imaginez que vous êtes un professeur de médecine. Vous avez 51 copies d'élèves à corriger. Ce ne sont pas des QCM (choix multiples), mais de véritables essais de réflexion où les étudiants racontent une expérience vécue et ce qu'ils en ont appris.

Corriger ces textes à la main, c'est long, fatiguant et coûteux. C'est là qu'intervient l'Intelligence Artificielle (IA), et plus précisément les "Grands Modèles de Langage" (comme ChatGPT).

Cette étude pose une question simple : Si on demande à une IA de corriger ces copies, est-ce qu'elle le fait aussi bien qu'un humain ? Et comment lui donner les meilleures instructions pour obtenir un résultat parfait sans se ruiner ?

Les chercheurs ont testé 29 façons différentes de "parler" à l'IA (ce qu'on appelle le prompting) pour voir quelle recette donnait les meilleurs résultats.

---

🍳 La Cuisine de l'IA : Les Ingrédients du Test

Pour comprendre l'étude, imaginez que l'IA est un chef cuisinier et que la copie de l'étudiant est un ingrédient brut. Le but est de préparer un plat parfait (la note et le commentaire). Les chercheurs ont joué sur plusieurs ingrédients dans la recette :

1. Le Chef (Le Modèle) : Ont-ils utilisé le chef le plus célèbre et cher (GPT-4.1), un chef rapide et moins cher (GPT-4.1-mini), ou un chef un peu dépassé (GPT-3.5) ?
2. La Recette (Le Prompt) : Comment le chef reçoit-il les instructions ?
   • La règle du jeu : Donne-t-on au chef un guide de notation complet (comme un manuel de cuisine de 350 mots) ou juste un mot ?
   • Les exemples (Few-shot) : Donne-t-on au chef 3 exemples de plats déjà notés pour qu'il comprenne le style ?
   • La réflexion (Chain-of-thought) : Demande-t-on au chef de "réfléchir étape par étape" avant de donner la note ?
3. L'Entraînement (Fine-tuning) : Au lieu de juste donner des instructions, on a pris le temps d'entraîner le chef pendant des heures avec 18 copies d'exemple pour qu'il devienne un expert spécialisé.

---

🏆 Les Résultats : Ce qui a fonctionné (et ce qui n'a pas)

Voici les grandes découvertes, traduites en langage courant :

1. L'IA est étonnamment précise (Presque un génie !)

Dans 29 cas sur 29, l'IA a donné des notes presque identiques à celles des humains. C'est comme si un robot avait lu le même livre que le professeur et avait exactement la même opinion.

• La leçon : L'IA est prête à corriger vos copies !

2. Plus d'exemples = Meilleur résultat

Donner à l'IA quelques exemples de copies déjà notées (comme montrer 3 photos de plats réussis à un chef) l'aide énormément à comprendre ce qu'on attend d'elle. C'est comme si on disait : "Regarde, c'est ça un bon travail, c'est ça un travail moyen."

• Le bémol : Cela coûte un peu plus cher car il faut "coller" ces exemples dans chaque message envoyé à l'IA.

3. L'entraînement spécial (Fine-tuning) est le "Super-Héros"

Si vous avez beaucoup de copies à corriger (des milliers), entraîner l'IA spécifiquement pour cette tâche est la meilleure option. C'est comme embaucher un chef qui a passé 10 ans à cuisiner uniquement ce type de plat.

• Le coût : C'est cher au début (comme payer la formation du chef), mais si vous cuisinez pour 10 000 personnes, cela revient moins cher par assiette que d'engager un chef généraliste à chaque fois.

4. Les mythes démolis : "Réfléchir" ne sert pas toujours

On pensait que demander à l'IA de "réfléchir étape par étape" (comme un élève qui montre son calcul) améliorerait la note. Faux ! Pour cette tâche précise, cela n'a rien changé, et parfois même cela a rendu le processus plus lent.

• Analogie : C'est comme demander à un expert de vous expliquer pourquoi il a choisi une note, alors qu'il la connaît déjà par cœur. Cela ne change pas la note, ça prend juste plus de temps.

5. Le prix du ticket

• Petites quantités (100 copies) : Utiliser le modèle standard (sans entraînement spécial) coûte une misère : 4 cents pour 100 copies. C'est moins cher qu'un café !
• Grandes quantités (10 000 copies) : L'entraînement spécial devient le plus économique.

---

💡 En résumé : Que faut-il retenir ?

Imaginez que vous devez corriger des milliers de copies d'étudiants en médecine.

• Si vous avez peu de copies : N'essayez pas de tout compliquer. Utilisez un modèle standard avec une instruction claire. C'est rapide, précis et ça coûte presque rien.
• Si vous avez une montagne de copies : Prenez le temps d'entraîner l'IA (fine-tuning) avec quelques exemples. C'est l'investissement qui paiera le plus sur la durée.
• Oubliez les astuces compliquées : Pas besoin de faire faire des exercices de réflexion complexes à l'IA. Une instruction simple et claire suffit souvent.

Conclusion de l'étude : L'IA est désormais un outil fiable, précis et très abordable pour aider les professeurs à corriger des textes. Elle ne remplace pas l'humain, mais elle peut faire le gros du travail répétitif, permettant aux enseignants de se concentrer sur ce qui compte vraiment : l'accompagnement des élèves.

Résumé technique

1. Problématique

L'évaluation des compétences qualitatives, telles que les essais de réflexion (réflexion narrative) des étudiants en médecine, est essentielle pour l'apprentissage mais pose des défis majeurs à grande échelle. Le notation par des humains est coûteuse, lente, sujette à la fatigue et à l'incohérence inter-évaluateurs. Bien que le notation automatique d'essais (AES) existe depuis des décennies, les systèmes traditionnels sont limités par leur dépendance à des règles de grammaire simples et par le besoin d'expertise technique et de grandes quantités de données étiquetées pour le développement d'algorithmes spécifiques.

Les modèles de langage à grande échelle (LLM) comme OpenAI GPT offrent une solution potentielle en réduisant les barrières techniques et en permettant une interprétation sémantique avancée. Cependant, il manque de preuves empiriques solides sur :

• La précision et la reproductibilité des LLM pour noter des essais médicaux.
• Les meilleures pratiques de « prompt engineering » (ingénierie de prompt) pour optimiser ces performances.
• Le rapport coût-efficacité entre différentes stratégies de prompt (ex. : few-shot learning, chain-of-thought) et différents modèles.

2. Méthodologie

L'étude a évalué systématiquement 29 conditions combinant différents modèles LLM et variations de prompts pour noter 51 essais de réflexion d'étudiants en médecine.

• Données :
  • 15 essais réels (issus d'un jeu de données validé précédemment).
  • 36 essais générés par un autre LLM (Gemini-2.0-flash) pour simuler des niveaux de réflexion variés (de 1 à 6) tout en préservant la structure des essais originaux.
  • Une référence standard (gold standard) a été établie par deux chercheurs humains formés à l'aide d'une « Rubrique de capacité de réflexion » (6 points).
• Modèles testés : GPT-4.1 (modèle phare), GPT-4.1-mini, GPT-o4-mini (modèle de raisonnement), GPT-4o, GPT-4-Turbo et GPT-3.5-Turbo.
• Variables de Prompt (Conditions) :
  • Persona : Évaluateur d'écriture vs Chercheur.
  • Rubrique : Pleine (6 niveaux), partielle (3 ou 1 niveaux), ou absente.
  • Apprentissage (Learning) : Zero-shot (aucun exemple) vs Few-shot (1 ou 3 exemples avec feedback ou justifications). Utilisation d'exemples compressés.
  • Raisonnement : Chain-of-thought (général ou spécifique), séquence de sortie (feedback avant score ou inversement).
  • Paramètres : Température (0.2, 0.7, 1.0).
  • Fine-tuning : Entraînement supervisé des modèles sur 18 essais d'entraînement (5 époques) pour créer des versions spécialisées (FT).
• Mesures de résultat :
  • Précision : Coefficient de corrélation intra-classe (ICC) et différence absolue moyenne (MAD) par rapport aux scores humains.
  • Reproductibilité : ICC calculé sur 6 réplications par condition.
  • Coût et Temps : Coût par 100 essais (en USD) et temps de traitement moyen.

3. Contributions Clés

• Évaluation comparative exhaustive : C'est l'une des premières études à comparer systématiquement une large gamme de techniques de prompt engineering (y compris le fine-tuning, le few-shot learning, le chain-of-thought) sur des modèles LLM de dernière génération pour une tâche éducative médicale.
• Analyse coût-performance : L'étude fournit des données concrètes sur le compromis entre la précision, la reproductibilité et le coût financier, y compris l'amortissement du coût initial du fine-tuning sur de grands volumes.
• Validation de l'utilisation de données synthétiques : Utilisation réussie d'un LLM (Gemini) pour générer des données de test réalistes et calibrées, permettant une validation rapide sans compromettre la confidentialité des étudiants.
• Remise en question des dogmes du prompt engineering : L'étude teste des hypothèses courantes (comme l'efficacité du chain-of-thought) sur des modèles modernes, révélant que certaines techniques anciennes ne sont plus nécessaires ou efficaces.

4. Résultats Principaux

• Précision Globale :

  • La précision était « presque parfaite » (ICC > 0,80) pour 28 des 29 conditions (97 %).
  • Les modèles fine-tunés étaient significativement plus précis que les modèles non fine-tunés (MAD moyen : 0,23 vs 0,45).
  • L'utilisation d'exemplaires (few-shot learning) améliorait significativement la précision par rapport aux prompts sans exemple (MAD différence : -0,44).
  • La précision diminuait de manière ordonnée à mesure que le nombre de niveaux de la rubrique explicitement définis dans le prompt diminuait (de 6 niveaux à 0).

• Reproductibilité :

  • La reproductibilité intra-condition était également « presque parfaite » (ICC > 0,80) pour 28/29 conditions.

• Impact des Techniques de Prompt :

  • Fine-tuning : Supérieur en précision, mais coût initial élevé.
  • Few-shot learning : Très efficace, mais augmente le coût et le temps de traitement (tokens).
  • Chain-of-Thought (CoT) : Contrairement aux hypothèses et aux études précédentes sur d'anciens modèles, l'ajout d'instructions de type « think step-by-step » n'a pas amélioré la précision et a parfois légèrement dégradé les performances tout en augmentant le temps de calcul.
  • Température et Persona : Les variations de température (0.2 à 1.0) et de persona (chercheur vs évaluateur) n'ont pas eu d'impact statistiquement significatif sur la précision.

• Coûts et Efficacité :

  • Petits volumes (ex. 100 essais) : Les modèles non fine-tunés (GPT-4.1 ou GPT-4.1-mini) offrent le meilleur rapport qualité-prix. Le coût pour 100 essais varie de 0,04 $ (GPT-4.1-mini) à 0,21 $ (GPT-4.1).
  • Grands volumes (ex. 10 000 essais) : Le fine-tuning devient la stratégie la plus économique car le coût initial est amorti. Le coût par 100 essais pour un modèle fine-tuné GPT-4.1 tombe à environ 0,20 $, contre 0,21 $ pour le modèle standard.
  • Le modèle GPT-4.1-mini offre des résultats très bons (ICC > 0,87) à un coût très faible (0,04 $/100 essais), le rendant idéal pour les petits volumes.

5. Signification et Implications

• Viabilité de l'automatisation : Les LLM modernes peuvent noter des essais de réflexion médicale avec une précision et une reproductibilité quasi parfaites, validant leur utilisation pour réduire la charge des éducateurs.
• Évolution des meilleures pratiques : Les résultats suggèrent que pour les modèles de pointe (GPT-4.1 et supérieurs), la sophistication extrême du prompt (comme le chain-of-thought détaillé) est moins critique que pour les modèles plus anciens. La présence d'une rubrique complète et d'exemplaires (ou d'un fine-tuning) est plus déterminante.
• Recommandations pratiques :
  • Pour de petits volumes d'essais : Utiliser GPT-4.1-mini ou GPT-4.1 avec un prompt de base (rubrique complète, sans exemplaires) offre un excellent équilibre coût/performance.
  • Pour de grands volumes : Le fine-tuning est recommandé pour maximiser la précision et minimiser le coût unitaire.
  • L'utilisation d'exemplaires (few-shot) est bénéfique mais coûteuse ; elle est justifiée si la précision maximale est requise pour un volume modéré.
• Limites et Avenir : L'étude note que les essais générés par IA peuvent être plus cohérents que les essais réels, ce qui pourrait surestimer la précision. Néanmoins, les résultats ouvrent la voie à une intégration généralisée de l'IA dans l'évaluation formative et sommative en éducation médicale, à condition d'une supervision humaine appropriée.

En conclusion, cette étude démontre que l'évaluation automatisée par LLM est non seulement réalisable mais économiquement viable, à condition de choisir la stratégie de prompt et de modèle adaptée au volume de données à traiter.