Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats

Cette étude démontre que la validité des modèles de langage en tant que juges pour l'évaluation en physique dépend principalement du degré de référentialité des critères d'évaluation et de la fiabilité des références, plutôt que des capacités brutes des modèles, avec des résultats performants pour les questions structurées et les graphiques mais une fiabilité très faible pour les essais.

L'essentiel

🎓 L'IA est-elle un bon professeur ? (Le rapport de l'Université de Durham)

Imaginez que vous avez un nouvel assistant de notation, ultra-intelligent, capable de corriger des milliers de copies en une seconde. C'est l'objectif des Grands Modèles de Langage (LLM) comme GPT-5 ou Claude. Mais la question est : pouvons-nous lui faire confiance pour donner des notes ?

Des chercheurs de l'Université de Durham (Royaume-Uni) ont décidé de tester cette idée sur des étudiants en physique. Ils ont comparé l'IA à des professeurs humains sur trois types d'exercices très différents.

Leur découverte principale tient en une phrase : L'IA est excellente là où les règles sont claires, mais elle perd pied là où il faut du "feeling".

Voici comment cela fonctionne, avec trois analogies simples :

---

1. Les Questions Structurées (Le "Jeu de la Chasse au Trésor") 🗺️

C'est quoi ? Des exercices de maths ou de physique avec une réponse précise (ex: "Calculez la force de gravité"). Il y a une solution officielle.

• Ce que l'IA fait : C'est comme un détective qui a la solution du trésor sous les yeux.
  • Sans la solution (aveugle) : L'IA cherche les indices. Elle est assez bonne, elle trouve souvent le bon chemin, même si elle fait quelques erreurs de calcul.
  • Avec la solution : Elle devient parfaite. Elle compare la copie de l'étudiant à la solution officielle et donne la note exacte.
  • Le piège : Si on donne à l'IA une fausse solution (un trésor qui n'existe pas), elle devient aveugle. Elle ne vérifie pas si la réponse de l'étudiant est physiquement juste ; elle se contente de dire "Non, ça ne correspond pas à ma fausse carte". Elle suit aveuglément le guide, même si le guide ment.

Verdict : ✅ Très fiable, tant qu'on lui donne les règles du jeu.

---

2. Les Essais (Le "Concours de Poésie") ✍️

C'est quoi ? Des textes longs où l'étudiant doit expliquer un concept, construire un argument, etc. Il n'y a pas de "bonne" ou "mauvaise" réponse unique, juste des idées plus ou moins bien développées.

• Ce que l'IA fait : C'est comme un robot qui essaie de juger de la beauté d'un tableau sans avoir d'œil artistique.
  • Le problème : Les humains eux-mêmes ne sont pas d'accord sur la note d'un essai ! Un professeur peut donner 15/20, un autre 12/20. C'est très subjectif.
  • Le résultat de l'IA : L'IA est dure et incohérente. Elle ne sait pas vraiment distinguer un "bon" essai d'un "mauvais".
  • L'astuce qui trompe : Si on donne à l'IA des exemples de notes (un essai note 10, un autre note 15), l'IA devient très bonne pour imiter la distribution des notes. Elle donne des notes qui ressemblent à celles des humains, mais elle ne comprend pas pourquoi. C'est comme un acteur qui joue le rôle d'un critique d'art : il dit les bons mots, mais il ne voit pas la peinture.

Verdict : ❌ Pas fiable. L'IA peut donner l'illusion d'une bonne note, mais elle ne sait pas vraiment évaluer la qualité réelle.

---

3. Les Graphiques Scientifiques (Le "Contrôle Qualité Usine") 📊

C'est quoi ? Des graphiques générés par du code (ex: un graphique montrant la trajectoire d'une planète).

• Ce que l'IA fait : C'est comme un inspecteur de qualité dans une usine.
  • Elle vérifie des choses très concrètes : "Y a-t-il des axes ?", "Les unités sont-elles là ?", "Le graphique est-il lisible ?".
  • Comme il y a des règles claires (un graphique sans axes = 0 point), l'IA excelle. Elle est même parfois plus cohérente que les humains, qui peuvent être fatigués ou distraits.

Verdict : ✅ Excellente. C'est le domaine où l'IA brille le plus.

---

🧠 La Grande Révélation : La "Référence aux Critères"

Les chercheurs ont inventé un mot pour expliquer tout ça : la "Référence aux Critères" (Criterion-referenceability).

• Imaginez une balance :
  • Si vous pesez des pommes (critères clairs : poids, couleur), la balance (l'IA) est parfaite.
  • Si vous essayez de peser "la beauté" ou "l'émotion" (critères flous), la balance ne sert à rien, même si elle affiche un chiffre.

Leçon pour les professeurs :
Ne demandez pas à l'IA de corriger n'importe quoi.

• ✅ Utilisez-la pour les maths, les codes, les graphiques et les questions à réponse courte.
• ❌ N'utilisez pas l'IA pour noter des essais longs ou des sujets subjectifs, car elle risque de donner de fausses notes qui semblent justes mais qui ne le sont pas.

🛑 Conclusion en une phrase

L'IA n'est pas un "professeur" universel ; c'est un assistant très doué pour les tâches précises, mais elle doit être surveillée de près dès que l'exercice demande de l'interprétation humaine.

En résumé : Ne laissez pas l'IA conduire le bus si la route est floue, mais laissez-la conduire sur l'autoroute bien marquée ! 🚗💨

Résumé technique

---

1. Problématique et Contexte

L'utilisation croissante des Grands Modèles de Langage (LLM) pour l'évaluation automatisée et la fourniture de retours d'information soulève une question critique : dans quelles conditions peut-on faire confiance aux notes attribuées par une IA ?

Bien que les LLM aient démontré une capacité à résoudre des problèmes de physique complexes, leur fiabilité en tant que "juge" (LLM-as-a-judge) reste incertaine. Les régulateurs (comme Ofqual au Royaume-Uni et l'UE) imposent des restrictions strictes sur l'utilisation exclusive de l'IA pour l'attribution de notes en raison des risques de biais systématiques et de manque de transparence.

L'article vise à déterminer si l'échec ou la réussite de l'évaluation par l'IA est inhérente au modèle lui-même ou si elle dépend de la nature de la tâche d'évaluation. Les auteurs introduisent le concept de "criterion-referenceability" (capacité de référence aux critères) : la mesure dans laquelle les justifications d'une note peuvent être explicitées, inspectées et appliquées de manière cohérente.

2. Méthodologie

L'étude évalue six modèles de pointe (GPT-5.2, Claude Opus 4.5, Gemini Pro 3, DeepSeek-V3.2, Grok 4.1) et une agrégation en comité (moyenne arrondie des scores) sur trois formats d'évaluation distincts issus d'un programme de physique universitaire.

A. Jeux de Données

1. Questions structurées (n = 1922) :

   • Examen universitaire (n=771) : Questions de Durham University (2018-2022) sans solutions fournies (condition "aveugle").
   • Questions de curriculum (n=1151) : Niveaux GCSE, A-Level et manuels universitaires, avec solutions officielles disponibles.
   • Conditions de marquage : Aveugle, avec solution correcte, et avec fausse solution (solution délibérément corrompue pour tester l'ancrage).
   • Note : Les réponses des étudiants pour les questions structurées sont générées par l'IA (GPT-3.5/4) pour créer un pool de réponses contrôlé (correctes et incorrectes).

2. Essais scientifiques (n = 55 scripts, 275 essais) :

   • Essais courts de physique notés de manière holistique (0-100).
   • Conditions : Aveugle, avec schéma de notation, et avec exemplaires ancrés (5 exemples de réponses aux percentiles 5, 25, 50, 75, 95 fournis au modèle).
   • Référence humaine : La fiabilité inter-évaluateurs humains est très faible (ρ ≈ 0.05), servant de base de référence réaliste mais bruyante.

3. Tracés scientifiques (n = 1400) :

   • Graphiques générés par code (Jupyter notebooks) évalués sur une échelle de 0 à 5.
   • Évaluation basée sur la qualité visuelle, les axes, les unités et la cohérence avec le contexte du notebook.

B. Métriques d'Évaluation

• Précision absolue : Erreur Absolue Moyenne (MAE) et MAE fractionnelle (fMAE).
• Validité discriminative : Coefficient de corrélation de rang de Spearman (ρ) et Kappa pondéré quadratique (QWK) pour mesurer la capacité du modèle à classer correctement les réponses (du meilleur au pire), indépendamment de l'alignement des distributions de scores.
• Calibration : Comparaison des scores moyens prédits par rapport aux scores humains.

3. Résultats Clés

A. Questions Structurées (Physique Mathématique)

• Performance : Les modèles atteignent une précision modérée et une validité discriminative robuste (ρ > 0.6 en aveugle, jusqu'à 0.88 avec comité et solution).
• Impact des solutions : Fournir la solution officielle réduit l'erreur absolue (MAE).
• Effet de la fausse solution : La précision absolue s'effondre (les modèles notent mal car ils suivent la fausse solution), mais la validité discriminative reste élevée (ρ > 0.59). Cela indique que les modèles conservent la capacité de distinguer les bonnes des mauvaises réponses physiques, même s'ils décalent leurs scores absolus pour s'aligner sur une référence erronée.
• Conclusion : Ces tâches sont fortement "référencées aux critères" (réponse unique ou dérivée logique), ce qui permet une évaluation fiable.

B. Essais (Physique Rédactionnelle)

• Performance : L'évaluation par IA est fondamentalement différente et peu fiable.
• Précision et Biais : En condition aveugle, l'IA est plus sévère et plus variable que les humains. L'ajout d'un schéma de notation n'améliore pas la discrimination.
• Effet des exemplaires ancrés : La présence d'exemplaires (ancrage) rapproche la moyenne des scores de l'IA de celle des humains et réduit la variance (MAE chute à ~3.2, inférieur à la variance humaine).
• Le Paradoxe : Malgré une meilleure précision absolue et un alignement distributionnel, la validité discriminative reste proche de zéro (ρ ≈ 0, intervalles de confiance incluant zéro).
• Conclusion : Les modèles apprennent à imiter la distribution des scores humains (heuristique de tendance centrale) sans réellement comprendre la qualité de l'argumentation. La tâche manque de critères explicites suffisants pour une discrimination valide.

C. Tracés Scientifiques (Visualisation de Données)

• Performance : Résultats exceptionnels.
• Validité : Corrélation de rang très élevée (ρ > 0.84) et calibration quasi-linéaire.
• Analyse : Les modèles réussissent à évaluer la qualité des graphiques (axes, unités, clarté) car ces éléments sont observables et objectivement vérifiables, même sans solution unique. La tâche est suffisamment contrainte par des critères pour permettre une évaluation fiable.

4. Contributions Principales

1. Concept de "Criterion-referenceability" : L'article démontre que la validité de l'évaluation par LLM ne dépend pas principalement de la puissance brute du modèle, mais de la nature de la tâche. Plus une tâche permet de mapper des caractéristiques observables à des critères de notation explicites, plus l'évaluation est fiable.
2. Distinction entre Précision et Validité : L'étude met en garde contre l'utilisation de la seule erreur absolue (MAE) comme métrique de succès. Un modèle peut avoir un MAE faible (en s'alignant sur la distribution humaine) tout en ayant une validité discriminative nulle (incapable de distinguer les bons des mauvais travaux), particulièrement dans les tâches holistiques comme les essais.
3. Vulnérabilité à l'Ancrage : Les modèles sont extrêmement sensibles aux références fournies. Ils suivront aveuglément une solution fausse pour ajuster leurs scores absolus, tout en conservant leur capacité relative à classer les réponses.
4. Limites de l'Agrégation (Comité) : L'agrégation de plusieurs modèles réduit la variance mais ne rétablit pas la validité discriminative dans les tâches où la référence humaine elle-même est bruitée (comme les essais).

5. Signification et Implications

• Pour les Éducateurs et Concepteurs de Tests : Avant d'implémenter l'IA pour la notation, il faut évaluer si la tâche est "référencée aux critères".
  • Tâches structurées et graphiques : L'IA peut être utilisée de manière défendable comme outil d'assistance (notation préliminaire, détection d'anomalies, feedback).
  • Tâches holistiques (essais) : L'IA ne doit pas être utilisée comme juge autonome pour le classement ou les notes finales, car elle ne peut pas discriminer la qualité de manière valide, même avec des exemples.
• Gouvernance et Régulation : Les résultats soutiennent les régulations actuelles qui interdisent l'IA comme seul mécanisme de notation. Une faible erreur moyenne ne garantit pas une évaluation juste. L'accent doit être mis sur la fiabilité du processus de notation humain sous-jacent.
• Déploiement Pratique : Une approche en couches est recommandée : l'IA pour les tâches à critères clairs (questions courtes, graphiques) et une supervision humaine stricte pour les tâches interprétatives complexes.

En résumé, cette étude établit que la fiabilité de l'évaluation par LLM est une propriété de la tâche et de sa structure de critères, et non une propriété intrinsèque du modèle. Là où les critères sont flous, l'IA imite la distribution des notes humaines sans véritablement évaluer la qualité, rendant son utilisation pour le classement académique risquée.