Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

Résumé Technique : Délibération Multi-Modèles pour la Stabilité de la Notation Automatisée

Énoncé du Problème
Bien que les grands modèles de langage (LLM) démontrent un potentiel certain pour la notation automatisée de dissertations, leur déploiement pratique dans l'évaluation éducative est entravé par l'instabilité de la notation et un manque de validation trans-contextuelle. La recherche existante privilégie la précision prédictive (accord avec les correcteurs humains) mais néglige souvent la fiabilité — spécifiquement, la cohérence d'un modèle lorsqu'il évalue de manière répétée la même réponse. En tant que générateurs probabilistes, les LLM introduisent une variabilité stochastique similaire à la fatigue des correcteurs humains, ce qui menace l'équité et la validité éducatives. La théorie classique de la mesure pose que la fiabilité est une condition préalable à la validité ; un instrument produisant des scores différents pour une même réponse ne peut soutenir des inférences valides. De plus, les méthodes d'ensemble traditionnelles (par exemple, la moyenne simple) ne parviennent pas à favoriser une « calibration cognitive », car elles agrègent des jugements isolés sans faciliter l'échange d'informations ou le raisonnement conjoint.

Méthodologie
L'étude propose un Cadre de Délibération Multi-Modèles fondé sur la théorie de l'intelligence collective. Ce cadre reconceptualise la notation automatisée comme un processus délibératif impliquant trois LLM open-source chinois hétérogènes : Baichuan2-13B, Qwen2.5-14B et ChatGLM4-9B. Le processus opère en trois cycles séquentiels :

1. Notation Indépendante (R1) : Les modèles notent une réponse de manière isolée, générant des scores initiaux et des justifications.
2. Échange d'Informations (R2) : Les modèles sont confrontés aux scores et aux justifications des deux autres modèles. Ils sont invités à réévaluer la réponse, avec la possibilité d'ajuster leur score ou de maintenir leur jugement initial sur la base de ces nouvelles preuves.
3. Confirmation Finale (R3) : Les modèles reçoivent l'ensemble complet des ajustements et des justifications issus de R2 et soumettent un score final définitif.

Le cadre a été évalué à travers deux corpus complémentaires pour tester la généralisabilité et la stabilité :

• Corpus ASAP-AES : Un benchmark public contenant environ 13 000 dissertations d'élèves (K-12) réparties sur huit sujets de rédaction. Pour cette étude, cinq essais ont été délibérément échantillonnés pour chacun des huit sujets (couvrant les segments de scores supérieurs, moyens et inférieurs) afin de créer un ensemble de test de 40 essais, avec 30 essais par essai (7 350 observations au niveau des traits).
• Corpus de Journalisme : Réponses authentiques issues d'un cours de journalisme universitaire chinois (10 essais, 100 essais chacun, 9 000 enregistrements de notation) notées par un expert humain.

L'étude a comparé l'ensemble de délibération proposé aux modèles de base à modèle unique, aux ensembles de moyenne/médiane simples et à la notation par modèle unique post-délibération. Les métriques incluaient l'Erreur Absolue Moyenne (MAE) inter-modèles pour la convergence, le Coefficient de Variation (CV) pour la stabilité, et les corrélations de rang avec les scores humains.

Résultats Clés

• Réduction Significative du Désaccord : Sur le corpus ASAP-AES, le désaccord inter-modèles (MAE) a diminué de manière significative de R1 à R3 pour tous les sujets (Holm-corrigé p < 0,001). L'effet global était important (Cohen's dz = 1,08), avec une corrélation de rang bisérielle de 0,92, indiquant que la délibération a systématiquement favorisé la convergence, quel que soit le genre ou l'échelle de la grille de notation.
• Stabilité Accrue : Sur le corpus de journalisme, le Coefficient de Variation (CV) de l'ensemble de délibération est passé de 7,29 % (base) à 2,78 %, représentant une amélioration relative de 61,9 % (t(9) = 7,98, p < 0,001). Cette amélioration a nettement surpassé les stratégies d'ensemble simples (qui ont réduit le CV de 40,8 %) et la notation par modèle unique post-délibération (amélioration de 34,2 %), démontrant un effet synergique entre délibération et agrégation.
• Décomposition par Cycle : L'effet de convergence a été partitionné en deux segments. Le cycle d'échange d'informations (R1 à R2) a représenté environ deux tiers (66–69 %) de la convergence totale, tandis que le cycle de confirmation finale (R2 à R3) a contribué au tiers restant (31–34 %). Il a été constaté que les deux étapes étaient statistiquement significatives et non redondantes.
• Hétérogénéité et Comportement des Modèles : Les trois modèles ont affiché des rôles distincts et cohérents à travers les jeux de données. Baichuan2 a agi comme une « ancre » conservatrice avec des changements de score minimaux ; Qwen a servi d'« ajusteur actif », révisant fréquemment les scores à la hausse ; et ChatGLM a fonctionné comme un « juge robuste », équilibrant l'ajustement et la résistance au conformisme de groupe (groupthink). Cette hétérogénéité a empêché une convergence prématurée.
• Alignement avec les Scores Humains : Bien que la délibération ait amélioré la précision (stabilité), elle a induit un décalage systématique vers le haut des scores absolus par rapport aux correcteurs humains (ex: +13,46 points sur l'échelle de 100 points du journalisme). Cependant, la correspondance de rang avec les scores humains a été largement préservée (Spearman ρ = 0,75 sur le corpus de journalisme). L'étude a démontré que ce biais systématique pouvait être corrigé par une calibration linéaire standard par rapport aux ancres humaines, réduisant l'Erreur Absolue Moyenne de 50,3 %.

Contributions Clés

1. Recadrage de la Fiabilité de la Notation : L'étude déplace l'attention de la pure précision prédictive vers la fiabilité de la mesure, proposant un cadre de délibération qui atteint la stabilité par une calibration cognitive active plutôt que par l'annulation numérique des erreurs.
2. Validation Empirique : Elle fournit des preuves robustes de l'efficacité du cadre à travers diverses langues (chinois/anglais), genres (argumentatif/narratif) et échelles d'évaluation, validant la généralisabilité de la délibération multi-modèles.
3. Caractérisation des Mécanismes : La recherche caractérise les schémas de convergence spécifiques et les comportements d'ajustement des modèles hétérogènes, révélant que l'échange d'informations conduit à la majorité de la convergence tandis qu'un cycle de confirmation finale fournit la stabilisation nécessaire.

Signification et Revendications
L'article affirme que la délibération multi-modèles améliore considérablement la stabilité de la notation automatisée, rendant les LLM plus viables pour l'évaluation éducative là où la cohérence est critique pour l'équité. Les auteurs soutiennent que si la délibération améliore la précision (fiabilité) des scores, elle ne garantit pas automatiquement la validité (alignement absolu avec les standards humains). Par conséquent, le cadre est présenté comme une couche d'amélioration de la précision qui doit être couplée à une calibration ancrée sur l'humain pour les applications à enjeux élevés. L'étude conclut qu'un tel système peut soutenir l'évaluation formative et réduire la charge de travail de correction, à condition que le jugement professionnel humain reste central dans le processus d'évaluation et que les biais systématiques soient gérés par la calibration. Les conclusions suggèrent que la « sagesse collective » de modèles hétérogènes, lorsqu'elle est structurée par la délibération, offre une voie vers une notation automatisée plus fiable que les approches d'agrégation simple ou de modèle unique.