💬 NLP

Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments

Cet article propose une approche fondée sur quatre principes d'interprétabilité (FGTI) et le cadre AnalyticScore pour concevoir des systèmes de notation automatisée à la fois précis, alignés sur les besoins des parties prenantes et comparables aux évaluations humaines.

Auteurs originaux : Yunsung Kim, Mike Hardy, Joseph Tey, Candace Thille, Chris Piech

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunsung Kim, Mike Hardy, Joseph Tey, Candace Thille, Chris Piech

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un professeur qui doit corriger des centaines de copies d'élèves. Chaque élève écrit un petit texte pour répondre à une question. Corriger tout cela à la main prendrait des jours, voire des semaines. C'est là qu'intervient l'intelligence artificielle (IA) : elle peut lire et noter ces copies en quelques secondes.

Mais il y a un gros problème : l'IA agit souvent comme une boîte noire. Vous lui donnez une copie, elle vous donne une note, mais vous ne savez pas pourquoi elle a donné cette note. Est-ce qu'elle a compris l'élève ? Est-ce qu'elle a fait une erreur ? Est-ce qu'elle est injuste ? C'est comme si un juge vous condamnait sans vous expliquer les raisons de son verdict.

C'est exactement le problème que cette recherche de Stanford cherche à résoudre. Voici l'explication de leur solution, ANALYTICSCORE, avec des images simples.

1. Le Problème : La "Boîte Noire"

Actuellement, les systèmes de notation automatique sont comme des magiciens. Ils sortent un lapin d'un chapeau (la note), mais personne ne voit comment ils l'ont fait. Si l'IA se trompe, on ne peut pas le vérifier facilement. Pour les élèves, les parents et les enseignants, c'est inquiétant. Ils ont besoin de confiance.

2. La Solution : Le "Carnet de Recettes" Transparent

Les auteurs proposent de remplacer le magicien par un cuisinier transparent. Au lieu de faire apparaître la note par magie, le système doit montrer chaque étape de la recette.

Pour y arriver, ils ont créé 4 règles d'or (les principes FGTI) :

Fidélité (Faithful) : L'explication doit dire la vérité. Ce n'est pas juste un texte inventé par l'IA pour faire joli. C'est comme si le cuisinier montrait exactement ce qu'il a mis dans la casserole, pas un mensonge pour faire plaisir.
Ancrage (Grounded) : Les éléments utilisés pour noter doivent être concrets et compréhensibles. Au lieu de dire "ce texte a un score mathématique bizarre de 0,85", le système dit : "L'élève a mentionné que les pandas mangent du bambou". C'est un fait que n'importe qui peut vérifier.
Traçabilité (Traceable) : On doit pouvoir suivre le chemin de la décision, étape par étape. C'est comme une carte au trésor : on voit exactement où l'IA est allée pour trouver la note.
Échangeabilité (Interchangeable) : C'est le plus important. Un humain doit pouvoir prendre la place de l'IA à n'importe quelle étape. Si l'IA se trompe en disant "l'élève a parlé de pandas", un humain peut corriger cela et recalculer la note immédiatement. C'est comme si vous pouviez intervenir dans la chaîne de montage d'une voiture pour réparer une pièce défectueuse sans tout démonter.

3. Comment ça marche ? (Le processus en 3 étapes)

Imaginez que vous évaluez une réponse sur les pandas et les koalas.

Extraction (La Chasse aux Trésors) : Le système lit la copie de l'élève et repère des "pièces" spécifiques (des idées clés). Par exemple : "L'élève a dit que les pandas mangent du bambou" ou "L'élève a dit que les pythons mangent de tout". Ce sont des éléments clairs, pas des sentiments vagues.
Feuturisation (Le Tri) : Le système classe ces pièces. Il dit : "Oui, l'idée sur le bambou est présente (c'est un 2/2)", "Non, l'idée sur l'habitat est absente (c'est un 0/2)". C'est comme remplir une grille de contrôle très simple.
Notation (Le Calcul) : Le système additionne ces points selon une règle mathématique simple (comme une balance). Il donne la note finale.

4. Les Résultats : Est-ce que ça marche ?

Les chercheurs ont testé ce système sur de vraies copies d'élèves (des questions de sciences et de lecture).

Précision : Le système est presque aussi bon que les meilleurs systèmes "boîte noire" (les magiciens). Il rate à peine la note parfaite (moins de 0,06 point d'écart).
Alignement humain : Quand on demande à des humains de faire le même tri que le système, ils sont d'accord avec lui dans la grande majorité des cas.
Transparence : Le plus beau, c'est que si vous regardez la copie, vous voyez exactement pourquoi l'élève a eu sa note. Vous pouvez dire : "Ah, il a eu 10/20 parce qu'il a oublié de parler de l'habitat des pandas".

En résumé

Cette recherche nous dit : On n'a pas besoin de choisir entre être précis et être transparent.

Au lieu de construire des IA mystérieuses qui fonctionnent comme des oracles, on peut construire des IA qui fonctionnent comme des comptes-rendus clairs. C'est comme passer d'un verdict de juge inconnu à un procès où chaque preuve est affichée au tableau. Cela permet aux élèves de comprendre leurs erreurs, aux enseignants de faire confiance à la technologie, et aux décideurs de s'assurer que le système est juste.

C'est une approche "depuis le sol" : on ne commence pas par la technologie, on commence par les besoins des humains (élèves, profs, parents) pour construire une IA qui sert vraiment tout le monde.

1. Problématique

L'évaluation automatisée des réponses ouvertes (rédactionnelles) par l'IA offre des avantages en termes d'échelle et d'efficacité, mais elle souffre d'un manque critique de transparence et d'interprétabilité dans les contextes réels à grande échelle.

Le défi : Les systèmes actuels, souvent basés sur des modèles "boîte noire" (comme les LLMs ou les réseaux de neurones profonds), manquent de justifiabilité. Les parties prenantes (élèves, concepteurs de tests, décideurs) ne peuvent pas comprendre comment une décision de notation est prise, ce qui compromet la confiance, l'équité et la capacité à auditer les biais.
Le constat : Bien que la recherche sur l'IA explicable (XAI) progresse, les solutions existantes pour l'évaluation éducative échouent souvent à répondre aux besoins réels des humains. Par exemple, demander à un LLM de "s'expliquer" via des techniques comme le Chain-of-Thought ne reflète pas fidèlement son mécanisme interne de calcul et peut être instable.
L'objectif : Développer un cadre d'évaluation automatisée qui soit à la fois précis et intrinsèquement interprétable, en partant des besoins des parties prenantes plutôt que de la simple performance algorithmique.

2. Méthodologie et Principes Fondamentaux (FGTI)

Les auteurs adoptent une approche centrée sur les parties prenantes pour définir quatre principes fondamentaux d'interprétabilité, acronyme FGTI :

Fidélité (Faithful) : L'explication doit refléter avec exactitude le mécanisme de calcul du modèle. Les explications générées a posteriori par des LLMs (qui ne sont pas le mécanisme réel) sont rejetées.
Ancrage (Grounded) : Les caractéristiques (features) utilisées par le modèle doivent être des éléments explicitement identifiables et compréhensibles par l'humain dans le travail de l'élève (ex: présence d'une proposition spécifique), et non des embeddings vectoriels abstraits.
Traçabilité (Traceable) : Le processus de notation doit être décomposable en étapes de raisonnement séquentielles et claires que l'humain peut inspecter.
Interchangeabilité (Interchangeable) : Un humain doit pouvoir remplacer n'importe quelle sous-routine de raisonnement du modèle par son propre jugement et recalculer le score, validant ainsi la logique interne.

Le Cadre ANALYTICSCORE

Pour illustrer la faisabilité de ces principes, les auteurs proposent ANALYTICSCORE, un cadre modulaire en trois phases appliqué à la notation de réponses textuelles :

Phase 1 : Extraction de Composants Analytiques.
Le système extrait des éléments explicites (propositions) des réponses des élèves. Ces composants sont identifiés comme des éléments de preuve concrets (ex: "L'élève mentionne que les pandas mangent uniquement du bambou").
Phase 2 : Vectorisation (Featurization) Humain-Interprétable.
Chaque réponse est convertie en un vecteur de caractéristiques binaires ou catégorielles basées sur la présence des composants analytiques.
- Technique : Utilisation d'un LLM (avec Chain-of-Thought comme technique d'inférence, mais les pensées sont rejetées) pour étiqueter la présence des composants.
- Optimisation : Pour réduire les coûts, un petit modèle open-source (Llama-3.1-8B) est affiné (fine-tuning) via distillation sur les sorties du LLM propriétaire, garantissant que les caractéristiques restent compréhensibles.
Phase 3 : Notation Logiquement Traçable.
Les vecteurs de caractéristiques sont alimentés dans un modèle de régression logistique ordinale (Ordinal Logistic Regression).
- Le score final est calculé comme une somme pondérée des caractéristiques ( $\eta$ ), comparée à des seuils appris ( $\theta$ ).
- Cela permet de voir exactement quelles propositions ont contribué au score et avec quel poids.

3. Contributions Clés

Cadre Théorique FGTI : Définition de quatre principes rigoureux pour l'interprétabilité dans l'éducation, dépassant les approches XAI génériques.
Framework ANALYTICSCORE : Première implémentation pratique d'un système de notation automatisée qui respecte simultanément les quatre principes FGTI.
Alignement Humain-Machine : Démonstration qu'un système interprétable peut atteindre une précision compétitive par rapport aux modèles "boîte noire" tout en alignant son comportement de vectorisation avec le jugement humain.
Changement de paradigme : Passage d'une vision de la notation comme une tâche de prédiction isolée à une intégration dans le cycle de vie de l'évaluation centré sur les parties prenantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset ASAP-SAS (10 questions ouvertes couvrant la science et la lecture).

Précision de Notation (QWK - Quadratic Weighted Kappa) :
- ANALYTICSCORE surpasse de nombreuses méthodes de notation non interprétables (baselines).
- Il se situe en moyenne à 0,06 QWK des modèles "State-of-the-Art" (SOTA) non interprétables, ce qui est une performance remarquable compte tenu des contraintes architecturales strictes imposées par les principes FGTI.
- La version distillée (Llama-3.1-8B) montre une amélioration significative (+0,13 QWK en moyenne) par rapport à la version non distillée, atteignant des performances comparables aux modèles propriétaires.
Alignement de la Vectorisation :
- Le comportement de vectorisation de ANALYTICSCORE (la façon dont il identifie les éléments dans le texte) s'aligne fortement avec celui des annotateurs humains (QWK de 0,90, 0,72 et 0,81 selon les domaines).
- La fiabilité inter-annotateurs humains pour la tâche de vectorisation est également élevée ( $\alpha$ de Krippendorff entre 0,67 et 0,72), validant la définition des tâches.
Comparaison avec les LLMs directs :
- Les méthodes de Few-Shot Prompting avec des LLMs (sans vectorisation explicite) obtiennent des scores inférieurs à ANALYTICSCORE.

5. Signification et Implications

Viabilité Pratique : L'article prouve qu'il n'est pas nécessaire de sacrifier la précision pour obtenir de l'interprétabilité. Un système transparent peut rivaliser avec les modèles complexes.
Confiance et Équité : En rendant le processus de décision inspectable et modifiable par un humain (principe d'interchangeabilité), le système renforce la confiance des parties prenantes et permet une détection plus rapide des biais ou des erreurs.
Avenir de la Recherche : Le travail ouvre la voie à l'application de ces principes à d'autres types de réponses (code, simulations) et souligne la nécessité de valider ces systèmes dans des environnements réels et à grande échelle, au-delà des benchmarks publics limités.
Éthique : Les auteurs mettent en garde contre une fausse sensation de sécurité ; l'interprétabilité est un outil nécessaire mais non suffisant pour garantir la validité, nécessitant des protocoles opérationnels rigoureux.

En résumé, ce papier propose une refonte fondamentale de la conception des systèmes de notation automatisée, plaçant l'interprétabilité humaine et les besoins des parties prenantes au cœur de l'architecture algorithmique, tout en maintenant une haute performance technique.