A Transparent Fuzzy-Inference Layer for Explainable Knowledge Tracing: Why Prerequisite Graphs Must Be Expert-Supplied, and Which T-Norm to Use

Dans la classe moderne, la technologie est devenue une compagne constante, offrant des systèmes qui suivent la manière dont les élèves apprennent et adaptent les leçons en temps réel. Ces systèmes, connus sous le nom de traçage de connaissances (knowledge tracing), agissent comme un tuteur numérique qui observe la séquence de réponses d'un élève à des problèmes de mathématiques ou à des questions de lecture. Ils sont remarquablement doués pour prédire si un élève réussira ou échouera à la question suivante. Cependant, ces tuteurs numériques fonctionnent souvent comme des boîtes noires. Ils peuvent signaler qu'un élève éprouve des difficultés avec un concept spécifique, mais ils ne peuvent pas expliquer pourquoi. Ils peuvent signaler qu'un élève échoue à « la division de fractions », mais ils ne peuvent pas dire à l'enseignant quel concept antérieur l'élève a manqué, provoquant cet échec. Pour un enseignant humain, connaître la cause profonde est essentiel ; c'est la différence entre réenseigner le sujet actuel et revenir en arrière pour consolider les fondations. Sans cette clarté, les prédictions les plus puissantes restent inutiles pour une intervention réelle.

Les chercheurs espéraient depuis longtemps résoudre ce problème en apprenant aux ordinateurs à découvrir automatiquement la carte cachée des connexions entre les concepts. L'idée était qu'en analysant des millions de réponses d'élèves, un algorithme pourrait comprendre que « la multiplication des fractions » est une étape nécessaire avant « la division des fractions », sans qu'aucun humain ait besoin de dessiner la carte. Si cela était possible, le système pourrait se déployer sans effort sur n'importe quel sujet, générant ses propres explications à partir des seules données. Une nouvelle étude remet toutefois en question cette prémisse optimiste. En testant rigoureusement si ces cartes automatiques peuvent être construites à partir des journaux d'activité des élèves, les chercheurs ont découvert que les données ne contiennent tout simplement pas les indices nécessaires. Au lieu qu'un ordinateur découvre les règles, l'étude conclut que ces cartes doivent être fournies par des experts humains, et que la véritable percée réside dans la création d'un système transparent qui utilise ces cartes d'experts pour expliquer les prédictions de l'ordinateur.

Les chercheurs ont commencé par tester trois méthodes différentes qu'un ordinateur pourrait utiliser pour apprendre ces connexions de son propre chef. Ils ont alimenté les algorithmes avec de vastes quantités de journaux d'interactions provenant d'une plateforme de mathématiques en ligne populaire, cherchant des modèles où la maîtrise d'une compétence semblait mener au succès dans une autre. La première méthode recherchait le flux d'informations, la deuxième tentait de filtrer la tendance naturelle des élèves brillants à tout réussir, et la troisième utilisait quelques exemples connus pour deviner le reste. Malgré l'utilisation de différentes approches mathématiques, les trois méthodes ont échoué. Lorsque les chercheurs ont comparé les suppositions de l'ordinateur à une carte connue et vérifiée par des experts comprenant seize concepts mathématiques, les résultats étaient indiscernables du hasard. Les algorithmes ne pouvaient pas faire la distinction entre un véritable prérequis et deux compétences sans rapport qui se trouvaient simplement être répondues par les mêmes élèves.

La raison de cet échec est un piège subtil mais puissant dans les données. Dans n'importe quelle classe, les élèves varient en termes de capacité globale ; certains sont naturellement des apprenants rapides, tandis que d'autres éprouvent des difficultés dans tout. Cela crée un signal confus où presque chaque compétence semble être liée à toutes les autres. Un élève fort réussira aussi bien « l'addition de fractions » que « la soustraction de fractions », non pas parce que l'une cause l'autre, mais simplement parce qu'il est bon en mathématiques. Un élève faible échouera dans les deux cas pour la même raison. Ce « piège de la capacité » étouffe les véritables liens causaux, rendant impossible pour un ordinateur d'apprendre la carte à partir des seuls journaux. Les chercheurs ont confirmé cela en testant le même problème sur deux autres ensembles de données massifs, l'un contenant près d'un million d'interactions et l'autre plus de vingt-cinq millions. Dans chaque cas, le piège a persisté, prouvant que la limitation n'est pas un défaut des algorithmes spécifiques, mais une propriété fondamentale des données elles-mêmes.

Puisque l'ordinateur ne peut pas construire la carte, les chercheurs ont déplacé leur attention vers une question différente : si nous donnons à l'ordinateur une carte vérifiée par des experts, peut-il utiliser cette carte pour expliquer ses prédictions de manière claire et fiable ? Ils ont construit une nouvelle couche au-dessus du moteur de prédiction standard, un système qui agit comme un traductur. Ce traducteur prend l'estimation interne du niveau de compétence d'un élève par l'ordinateur et la vérifie par rapport à la carte d'expert. Si l'ordinateur prédit qu'un élève échouera à un concept difficile, le traducteur consulte la carte pour voir quels concepts antérieurs sont requis. Il génère ensuite une déclaration simple et lisible : « L'élève est à risque car sa compréhension de la compétence prérequise est faible. » Crucialement, ce traducteur n'apprend pas et ne change pas ; c'est un ensemble de règles fixes que n'importe qui peut inspecter. Cette conception garantit que l'explication est toujours liée à une règle spécifique et auditable, plutôt qu'à la sortie mystérieuse d'un réseau neuronal complexe.

L'équipe a ensuite testé si cette approche fonctionnait réellement mieux que les méthodes standard utilisées aujourd'hui pour expliquer les décisions de l'IA. Ils ont comparé leur nouveau traducteur aux techniques populaires qui tentent de rétro-concevoir la pensée d'un ordinateur en mettant en évidence quelles interactions passées étaient les plus importantes. Les résultats étaient frappants. Les méthodes standard étaient peu fiables ; elles pointaient souvent les mauvaises interactions passées ou dispersaient leur attention sur de nombreux détails non pertinents, échouant à identifier la véritable cause même lorsque la prédiction de l'ordinateur était correcte. En revanche, le nouveau traducteur, parce qu'il a été construit sur la carte d'expert, identifiait systématiquement le prérequis correct. Il y parvenait indépendamment de l'architecture informatique sous-jacente, fonctionnant tout aussi bien sur différents types de modèles. L'étude a montré que si la logique interne de l'ordinateur était souvent opaque pour les outils d'explication standard, la carte d'expert fournissait un guide fiable que le traducteur pouvait suivre sans faute.

Les chercheurs ont également examiné comment combiner au mieux les différentes parties d'information pour créer ces explications. Ils ont testé quatre méthodes mathématiques différentes pour décider quand un prérequis est réellement la cause d'un problème. Une méthode était très stricte, une autre très lâche, et deux se situaient entre les deux. En comparant leurs choix au comportement réel du modèle informatique, ils ont découvert qu'une méthode spécifique, connue sous le nom de règle du produit, s'alignait le mieux avec la réalité. Cette méthode ne signalait un problème que lorsque le prérequis était faible ET que la compétence actuelle était à risque, trouvant le juste équilibre entre être trop sensible et trop strict. Cette découverte suggère que la manière dont nous combinons ces étapes logiques compte, et qu'un choix soigneux peut rendre l'explication plus précise.

En fin de compte, l'étude offre une voie claire pour la technologie éducative. Elle démontre que tenter de découvrir automatiquement la structure des connaissances à partir des journaux des élèves est une impasse ; les données sont trop bruyantes et les connexions trop obscurcies par la capacité générale des élèves. Au lieu de cela, l'approche la plus efficace consiste à accepter que les experts humains doivent fournir la carte de la façon dont les concepts se connectent. Une fois cette carte en place, un système transparent basé sur des règles peut utiliser celle-ci pour transformer des prédictions opaques en conseils clairs et exploitables pour les enseignants. Cela ne signifie pas que l'ordinateur est moins puissant ; cela signifie que l'ordinateur travaille désormais avec un guide humain pour fournir des explications qui ne sont pas seulement statistiquement probables, mais logiquement fondées et dignes de confiance. La valeur de ce travail ne réside pas dans un nouvel algorithme qui apprend plus vite, mais dans un nouveau principe de conception qui privilégie la clarté et la correction sur l'illusion de la découverte automatique.