💬 NLP

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

Cet article propose un cadre combinant les attributions SHAP et les rationalisations générées par LLM pour évaluer l'évaluation de la qualité de l'enseignement basée sur des grilles de correction, constatant que si les PLM affinés atteignent une précision plus élevée, SHAP fournit des explications plus fidèles, cohérentes et transférables que les rationalisations des LLM.

Auteurs originaux : Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant en train de corriger une pile de copies d'élèves. Vous avez une liste de contrôle stricte (une « grille d'évaluation ») pour décider si le feedback dans la copie est bon, mauvais ou entre les deux. Maintenant, imaginez que vous engagez deux types différents d'« assistants IA » pour effectuer cette correction à votre place.

Ce document est un bulletin de notes sur la manière dont ces deux assistants IA travaillent et, plus important encore, sur leur capacité à expliquer pourquoi ils ont attribué une certaine note.

Voici la décomposition de l'étude en utilisant des analogies simples :

Les deux prétendants

Les chercheurs ont testé deux types de modèles d'IA pour évaluer des conversations de classe (transcriptions) basées sur une grille spécifique appelée « Qualité du feedback ».

L'« Stagiaire Spécialisé » (PLM affinés) : Ce sont des modèles d'IA standards qui ont été spécifiquement entraînés sur des milliers d'exemples de cette tâche de notation exacte. C'est comme un étudiant qui a mémorisé le manuel et pratiqué l'examen cent fois.
Le « Généraliste Intelligent » (LLM par prompting) : Ce sont des modèles d'IA massifs et puissants (comme ceux avec lesquels vous pouvez discuter en ligne) qui n'ont pas été entraînés spécifiquement pour cette tâche. Au lieu de cela, les chercheurs lui ont simplement donné un ensemble d'instructions (un prompt) disant : « Voici la grille, note ceci. » C'est comme un expert brillant qui n'a jamais vu ce test spécifique auparavant, mais à qui l'on demande de le passer sur le champ.

Le premier test : Qui obtient la bonne note ? (Notation)

Les chercheurs ont demandé : Qui donne la note la plus précise ?

Le Résultat : Le Stagiaire Spécialisé était beaucoup plus précis. Il donnait systématiquement des scores très proches de ceux que donneraient les experts humains.
Le Piège : Le Stagiaire avait une étrange habitude d'être « prudent ». Il donnait rarement les scores les plus élevés (7) ou les plus bas (1). Il avait tendance à regrouper toutes ses notes dans la moyenne (3, 4 ou 5). Il était précis, mais un peu ennuyeux et évitant tout risque.
Le Généraliste : Le Généraliste Intelligent était globalement moins précis. Cependant, il était plus « courageux ». Il donnait une plus grande variété de scores, y compris les très hauts et les très bas, même s'il ne se trompait pas toujours.

La Conclusion : Si vous voulez le chiffre le plus précis, utilisez le modèle entraîné. Si vous voulez un modèle qui n'a pas peur de donner des scores extrêmes (même s'il fait plus d'erreurs), utilisez le grand chatbot.

Le deuxième test : Qui dit la vérité ? (Explications)

C'est la partie la plus importante de l'article. En éducation, on ne veut pas seulement un score ; on veut savoir pourquoi.

Le Stagiaire Spécialisé utilisait un outil mathématique appelé SHAP. Considérez SHAP comme un expert-comptable médico-légal. Il examine la transcription, phrase par phrase, et calcule exactement comment chaque phrase a modifié la note finale. C'est comme une calculatrice qui dit : « Cette phrase a ajouté 0,5 point ; cette phrase a soustrait 0,2 point. »
Le Généraliste Intelligent se contentait de parler. Il générait une liste de phrases qu'il jugeait importantes, en les écrivant en langage naturel. C'est comme un élève qui lève la main et dit : « Je pense que cette partie est importante parce que... »

Les chercheurs ont testé qui disait la vérité en jouant au jeu du « Supprimer et Voir ».

Ils ont pris les phrases que l'IA disait être importantes.
Ils ont supprimé ces phrases de la transcription.
Ils ont demandé à l'IA de noter à nouveau la transcription vide.

La Logique : Si l'IA comprenait réellement pourquoi elle avait donné une note, supprimer les phrases « importantes » devrait faire chuter la note ou la faire changer radicalement. Si l'IA ne faisait que raconter une histoire plausible, supprimer ces phrases ne devrait pas changer la note de manière significative.

Le Résultat : Le Stagiaire Spécialisé (SHAP) était honnête. Lorsqu'ils ont supprimé les phrases que SHAP avait signalées, la note a beaucoup changé. L'IA s'appuyait clairement sur ces phrases spécifiques pour prendre sa décision.
Le Résultat : Le Généraliste Intelligent (LLM) mentait souvent. Lorsqu'ils ont supprimé les phrases que le LLM disait être importantes, la note a à peine changé. Le LLM générait une explication « plausible », mais ces phrases n'étaient pas celles qui dictaient sa décision. C'était comme un élève qui livre un discours convaincant sur les raisons pour lesquelles il mérite un A, mais quand on supprime les preuves qu'il a citées, sa note ne change pas réellement.

Le troisième test : Peuvent-ils échanger des notes ? (Cross-Modèle)

Les chercheurs ont voulu voir si les explications étaient universelles.

Ils ont pris les « phrases importantes » identifiées par le Stagiaire Spécialisé et les ont supprimées de l'entrée du Généraliste Intelligent. Résultat : La note du Généraliste a changé de manière significative. L'explication mathématique du Stagiaire fonctionnait aussi sur le Généraliste.
Ils ont pris les « phrases importantes » identifiées par le Généraliste Intelligent et les ont supprimées de l'entrée du Stagiaire Spécialisé. Résultat : La note du Stagiaire n'a presque pas bougé. L'« opinion » du Généraliste n'avait aucune importance pour le Stagiaire.

La Conclusion : L'explication mathématique (SHAP) est une vérité universelle qui fonctionne sur différents cerveaux d'IA. L'explication du chatbot est spécifique à ce chatbot particulier et ne tient pas la route lorsqu'elle est testée contre d'autres.

Le Verdict Final

L'article conclut que, bien que les grands et puissants chatbots (LLM) soient excellents pour générer du texte qui semble être une bonne explication, ils sont peu fiables pour expliquer pourquoi ils ont pris une décision dans des situations à enjeux élevés comme la notation des enseignants.

SHAP (La Mathématiques) : Est comme une fenêtre transparente. Vous pouvez voir exactement quels briques soutiennent le mur. Il est digne de confiance et cohérent.
Les Rationales du LLM (La Discussion) : Sont comme le tour de passe-passe d'un magicien. Cela semble impressionnant et convaincant, mais si l'on regarde de plus près (en supprimant les parties « importantes »), on réalise qu'elles ne supportent pas réellement le poids de la décision.

En bref : Si vous avez besoin d'une raison digne de confiance pour une note dans un contexte scolaire, faites confiance aux mathématiques (SHAP), pas à l'histoire du chatbot. Le chatbot est excellent pour écrire, mais il est actuellement un mauvais témoin de ses propres décisions.

Résumé technique : De la notation aux explications

Problématique

Les modèles de notation automatisés sont de plus en plus déployés pour attribuer des évaluations de qualité basées sur des grilles de correction à des performances linguistiques complexes, telles que des transcriptions de classe. Cependant, ces systèmes fonctionnent généralement comme des « boîtes noires », fournissant des scores scalaires sans donner d'indices sur le raisonnement sous-jacent. Ce manque de transparence est particulièrement problématique dans les contextes éducatifs à enjeux élevés, où les parties prenantes doivent comprendre, faire confiance et potentiellement contester les jugements automatisés. Si les grands modèles de langage (LLM) peuvent générer des rationales sous forme de texte libre, la littérature récente suggère que ces explications peuvent être persuasives mais ne pas être fidèles au processus de décision réel du modèle. Le défi central abordé consiste à déterminer quelles parties d'un texte déterminent réellement le score d'un modèle basé sur une grille et comment évaluer si une explication capture fidèlement ces déterminants.

Méthodologie

Les auteurs proposent un cadre unifié pour l'interprétabilité au niveau de la phrase de la notation basée sur une grille, instancié sur la dimension Qualité du Feedback (QoF) du système Classroom Assessment Scoring System (CLASS) en utilisant le corpus NCTE (6 005 segments de transcriptions de classes de mathématiques élémentaires annotés).

Configuration expérimentale

L'étude compare deux familles de modèles :

Modèles de langage pré-entraînés (PLM) affinés : Incluant BERT, ALBERT, RoBERTa et DeBERTa (variantes base et large). Ces modèles sont affinés pour la régression afin de prédire un score QoF de 1 à 7.
Grands modèles de langage (LLM) ajustés par instruction : Incluant des variantes de Llama 3.1, Mixtral, Qwen 3 et Mistral. Ces modèles effectuent la notation via du prompting à quelques exemples (few-shot) et le classement de phrases via du prompting à zéro exemple (zero-shot).

Protocoles d'interprétabilité et d'évaluation

Le cadre évalue les explications à l'aide de trois mécanismes principaux :

Génération d'explications :
- SHAP (SHapley Additive exPlanations) : Appliqué au niveau de l'embedding de phrase au sein d'une architecture PLM hiérarchique pour générer des attributions de caractéristiques agnostiques au modèle.
- Rationales de LLM : Les LLM sont incités à classer les 10 phrases les plus influentes pour un score donné.
Analyse de fidélité (basée sur la suppression) : Le système supprime progressivement les $k$ meilleures phrases (où $k=10$ ) identifiées par une méthode d'explication et relance le modèle de notation. L'ampleur du changement de prédiction ( $\Delta$ ) sert de proxy pour la fidélité ; des changements plus importants indiquent que l'explication a réussi à identifier le texte influent.
Évaluation inter-modèles : Les explications générées par une famille de modèles (par exemple, SHAP d'un PLM) sont utilisées pour perturber l'entrée de l'autre famille (par exemple, un LLM), et vice versa. Cela teste si les explications se transfèrent de manière robuste entre les architectures ou si elles restent spécifiques au modèle.
Métriques d'alignement : La similitude de Jaccard et la corrélation de Spearman sont calculées pour mesurer le chevauchement dans la sélection des phrases entre SHAP et les LLM.

Contributions clés

Cadre général : Un cadre principled pour l'interprétabilité au niveau de la phrase qui combine les attributions de valeurs de Shapley agnostiques au modèle et les rationales générées par LLM, spécifiquement adaptées à la notation basée sur une grille.
Analyse comparative : Une comparaison systématique des PLM spécialisés et affinés par rapport aux LLM incités (prompted) sur la performance de notation et la fidélité de l'explication.
Évaluation de la fidélité : Une évaluation empirique des méthodes d'explication utilisant des tests de suppression, révélant que SHAP identifie des phrases qui pilotent de manière fiable les prédictions, tandis que les rationales de LLM induisent souvent des changements moins cohérents et moins importants.
Cohérence inter-modèles : Un protocole novateur démontrant que les attributions SHAP se transfèrent de manière robuste entre les architectures, tandis que les rationales de LLM exercent une influence limitée et incohérente sur les autres modèles.
Implications éducatives : Une discussion sur la conception d'outils de feedback transparents, mettant en garde contre l'utilisation de rationales de LLM non validées comme justifications faisant autorité.

Résultats

Performance de notation (RQ1)

PLM : Les PLM affinés surpassent significativement les LLM en termes de précision de prédiction. Le meilleur PLM (DeBERTaV3 large) atteint une erreur absolue moyenne (MAE) de 0,96, comparable à une ligne de base constante. Cependant, les PLM affinés présentent une compression de l'étiquette, prédisant rarement des scores aux extrêmes (1 ou 7) et s'effondrant vers la plage médiane (3–5).
LLM : Les LLM incités présentent des taux d'erreur plus élevés (meilleure MAE : 1,02 pour Mistral Small) mais produisent des prédictions couvrant l'échelle complète de 1 à 7, préservant mieux la variabilité des scores que les PLM.

Fidélité de l'explication (RQ2)

SHAP vs LLM : Les tests de suppression montrent que les phrases identifiées par SHAP produisent des changements de prédiction plus importants et plus cohérents que celles sélectionnées par les LLM.
Alignement : Le chevauchement entre les sélections de phrases de SHAP et de LLM est faible (similitude de Jaccard moyenne : 0,085 ; corrélation de Spearman moyenne : 0,062).
Stabilité : Les LLM présentent une contrôlabilité limitée, échouant souvent à retourner le nombre exact de phrases demandées, et leurs rationales induisent des changements de prédiction plus faibles et souvent instables, même lorsqu'elles sont appliquées aux modèles qui les ont générées.

Transfert inter-modèles (RQ3)

PLM vers LLM : La suppression des phrases identifiées par SHAP (provenant d'un PLM) provoque des changements immédiats et significatifs dans les prédictions du LLM, suggérant que SHAP identifie des caractéristiques pertinentes à travers les architectures.
LLM vers PLM : La suppression des phrases identifiées par les LLM produit des changements de prédiction nettement plus faibles dans les PLM par rapport à la suppression basée sur SHAP. Les rationales de LLM entraînent souvent des trajectoires non monotones, indiquant qu'elles ne capturent pas de manière fiable les caractéristiques qui pilotent les prédictions des PLM.

Signification et affirmations

L'article conclut que SHAP fournit des explications plus fidèles et plus transférables pour la notation basée sur une grille par rapport aux rationales générées par les LLM. Bien que les LLM offrent une utilisabilité immédiate et des distributions de scores plus larges, leurs explications sont souvent infidèles au calcul sous-jacent et ne se généralisent pas bien à travers les architectures de modèles.

Les auteurs affirment que le cadre proposé offre une base fondée sur des principes pour évaluer les modèles de notation et leurs explications dans des contextes éducatifs à enjeux élevés. Ils soulignent que dans des contextes tels que le feedback aux enseignants, où la confiance et la contestabilité sont vitales, le recours à des rationales de LLM non validées est risqué. Au lieu de cela, les méthodes d'attribution agnostiques au modèle comme SHAP fournissent une base plus stable pour une évaluation automatisée transparente et exploitable. Le travail ne prétend pas que les LLM sont inutiles pour la notation, mais souligne que leurs rationales actuelles ne doivent pas être traitées comme des justifications faisant autorité pour les jugements automatisés sans une évaluation rigoureuse de la fidélité.