🤖 machine learning

Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing

Ce document propose le Phase-Aware Knowledge Tracing (PAKT), un nouveau cadre qui décompose l'apprentissage de l'étudiant en phases de renforcement des capacités et de maîtrise de la compétence en utilisant un Transformer multi-branches afin de remédier aux limites des modèles agnostiques à la phase et d'atteindre une performance supérieure sur plusieurs bancs d'essai.

Auteurs originaux : Duantengchuan Li, Yingqian Bi, Jinsong Chen, Rui Zhang, Mingwen Tong

Publié 2026-07-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Duantengchuan Li, Yingqian Bi, Jinsong Chen, Rui Zhang, Mingwen Tong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où un tuteur informatique pourrait vous observer étudier et savoir instantanément non seulement ce que vous savez, mais aussi comment vous l'avez appris. C'est le cœur de la « Traçabilité des Connaissances » (Knowledge Tracing), un domaine de la technologie éducative qui tente de prédire la réussite d'un étudiant à son prochain examen en se basant sur ses devoirs passés. Voyez cela comme un GPS pour l'apprentissage : au lieu de simplement vous montrer où vous êtes, il essaie de deviner où vous allez ensuite. Pendant des années, ces tuteurs informatiques traitaient chaque question à laquelle vous répondiez comme une simple étape sur la même longue route. Ils supposaient que la façon dont vous luttiez avec un concept le premier jour était exactement la même que la façon dont vous le maîtrisiez avec aisance le dixième jour. Mais quiconque a déjà appris une nouvelle compétence sait que ce n'est pas vrai. Au début, on est maladroit et on cherche ses marques ; plus tard, on est fluide et automatique. La grande question que se posent les chercheurs est la suivante : pouvons-nous construire un tuteur plus intelligent qui comprenne la différence entre la phase de « recherche de repères » et la phase de « maîtrise » ?

C'est précisément ce que traite l'article intitulé « Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing ». Les auteurs, une équipe de chercheurs, soutiennent que les tuteurs informatiques actuels passent à côté d'un détail crucial : ils confondent deux types de comportements d'apprentissage très différents. Ils proposent un nouveau système appelé PAKT (Phase-Aware Knowledge Tracing) qui divise l'historique d'un étudiant en deux chapitres distincts : la Phase de Capacité (Ability Phase) et la Phase de Maîtrise (Proficiency Phase).

Pour comprendre la magie de PAKT, imaginez que vous apprenez à jongler. Au début, vous êtes dans la Phase de Capacité. Vous faites tomber les balles, vos bras s'agitent dans tous les sens, et chaque fois que vous en attrapez une, c'est une immense victoire. Vous construisez la compétence brute à partir de zéro. Votre succès ici dépend entièrement de votre « capacité » naturelle à saisir le concept. Mais une fois que vous avez pratiqué suffisamment et que vous avez enfin arrêté de faire tomber les balles, vous entrez dans la Phase de Maîtrise. Maintenant, vous ne vous contentez pas de rattraper les balles ; vous jonglez avec rythme et aisance. Votre succès ici ne dépend plus de votre capacité à le faire, mais de la façon dont vous le faites de manière fluide et constante.

L'article suggère que les anciens tuteurs informatiques étaient comme un entraîneur qui regardait toute votre carrière de jongleur et vous donnait une seule note, mélangeant vos premiers tâtonnements et votre aisance ultérieure. Cela crée un « signal confus ». Le nouveau modèle PAKT, cependant, agit comme un entraîneur possédant deux tableaux de bord différents. Il sépare votre historique : un tableau suit vos premières difficultés (Capacité), et l'autre suit votre constance ultérieure (Maîtrise).

Voici comment ils l'ont construit et ce qu'ils ont trouvé :

La Division : Les chercheurs ont créé une règle ingénieuse pour diviser les données. Ils comptaient combien de fois un étudiant répondait correctement à un concept spécifique. Une fois qu'un étudiant atteignait un certain nombre de bonnes réponses (un seuil qu'ils appellent $k$ ), le modèle cessait de traiter ce concept comme « nouveau » et commençait à le traiter comme « maîtrisé ». Tout ce qui précédait ce compte allait dans le compartiment « Capacité » ; tout ce qui suivait allait dans le compartiment « Maîtrise ».
Le Moteur : Ils ont injecté ces deux compartiments séparés, ainsi que l'historique complet original, dans un cerveau IA spécial appelé « Multi-branch Transformer ». Voyez cela comme ayant trois experts examinant le même étudiant : un expert se concentre uniquement sur les premières difficultés, un autre sur la fluidité ultérieure, et un troisième observe l'ensemble de la situation.
Le Résultat : Lorsqu'ils ont testé ce nouveau système sur six ensembles de données réels différents (allant de l'algèbre à la géographie et à l'espagnol), il a systématiquement surpassé les meilleurs modèles existants. L'article rapporte que PAKT a amélioré la précision de la prédiction (mesurée par une métrique appelée AUC) d'une moyenne de 0,82 %, avec le bond le plus important de 1,33 % sur l'ensemble de données d'espagnol. Bien que ces chiffres puissent paraître faibles, dans le monde des tests à enjeux élevés et de l'IA, un gain constant comme celui-ci est une victoire significative.

Les auteurs ont également utilisé une méthode appelée « analyse causale » pour expliquer pourquoi l'ancienne méthode échouait. Ils ont montré qu'en mélangeant la capacité et la maîtrise, les anciens modèles créaient un « biais de confusion ». C'est comme essayer de deviner la vitesse d'une voiture en mélangeant la puissance du moteur (capacité) et l'adhérence des pneus sur la route (maîtrise). Si vous ne les séparez pas, vous ne pouvez pas savoir lequel aide réellement la voiture à avancer. En les démêlant, PAKT donne une image plus claire et plus précise de ce qu'un étudiant sait réellement.

Cependant, l'article prend soin de ne pas prétendre qu'il s'agit d'un problème résolu et parfait. Les auteurs notent que leur méthode repose sur un nombre spécifique ( $k$ ) pour décider quand passer de la « capacité » à la « maîtrise », et que ce nombre doit être ajusté avec soin selon les matières. Si un étudiant ne pratique pas assez pour atteindre ce nombre, le modèle ne peut pas voir la partie « maîtrise » de son histoire. Mais globalement, l'étude suggère qu'en reconnaissant que l'apprentissage comporte différentes étapes, nous pouvons construire des tuteurs qui comprennent bien mieux les étudiants qu'auparavant.

Résumé Technique : Phase-Aware Knowledge Tracing (PAKT)

Énoncé du Problème

Le Traçage de Connaissances (Knowledge Tracing - KT) vise à prédire la performance future d'un étudiant en modélisant l'évolution de ses états de connaissances basés sur des séquences d'interactions historiques. Bien que les méthodes existantes de KT basées sur l'apprentissage profond (ex. : DKT, SAINT, AKT) aient réalisé des progrès significatifs, elles traitent principalement la séquence d'interaction brute comme un processus comportemental unifié. Ce paradigme unifié suppose implicitement que toutes les interactions contribuent à l'évolution de l'état de connaissance de la même manière, négligeant la nature spécifique aux phases de l'apprentissage.

Les auteurs observent que les comportements d'apprentissage des étudiants diffèrent considérablement selon les étapes : les interactions précoces reflètent principalement la construction de l'aptitude (acquisition initiale et compréhension des concepts), tandis que les interactions ultérieures reflètent la maîtrise/compétence (automatisation des compétences, fluidité et constance après l'acquisition). Traiter ces phases distinctes comme une séquence homogène unique peut entremêler des signaux d'apprentissage complexes, entraînant un biais de confusion et limitant la capacité du modèle à caractériser précisément l'évolution dynamique des états de connaissances.

Méthodologie : Phase-Aware Knowledge Tracing (PAKT)

Pour remédier à ces limitations, les auteurs proposent PAKT, un cadre qui décompose les séquences d'interaction des étudiants en phases distinctes d'Aptitude (Ability) et de Maîtrise (Proficiency) pour une modélisation spécifique à chaque phase. La méthodologie se compose de trois composantes centrales :

1. Décomposition de Séquence Sensible au Comportement d'Apprentissage

L'innovation centrale est un mécanisme de décomposition qui partitionne l'historique de réponse d'un étudiant pour chaque concept de connaissance (KC) basé sur le nombre cumulé de réponses correctes.

Mécanisme : Une fonction d'indicateur de phase binaire $\delta(s, c, t)$ est définie à l'aide d'un seuil $k$ . Si le nombre cumulé de réponses correctes pour un concept $c$ par l'étudiant $s$ à l'étape $t$ est inférieur à $k$ , l'interaction est assignée à la Phase d'Aptitude. Une fois que le compte atteint ou dépasse $k$ , les interactions suivantes sont assignées à la Phase de Maîtrise.
Résultat : Ce processus génère deux matrices de masquage de décomposition ( $M^{A}$ et $M^{F}$ ) qui divisent la séquence originale en une sous-séquence d'Aptitude et une sous-séquence de Maîtrise, tout en conservant la séquence complète originale.

2. Backbone Transformer Multi-Branches

PAKT emploie une architecture Transformer multi-branches pour traiter les séquences décomposées :

Trois Branches d'Entrée :
1. Branche d'Aptitude : Traite les interactions masquées par $M^{A}$ , capturant la capacité cognitive intrinsèque et l'acquisition initiale.
2. Branche de Maîtrise : Traite les interactions masquées par $M^{F}$ , capturant l'automatisation et la constance induites par la pratique.
3. Branche Complète : Traite la séquence originale, non décomposée, pour maintenir une vue holistique de la trajectoire d'apprentissage.
Entraînement en Deux Étapes : Le backbone utilise un mécanisme de décodeur en deux étapes. La première étape utilise un décodeur Transformer partagé entre toutes les branches pour apprendre efficacement les caractéristiques séquentielles universelles. La seconde étape emploie des décodeurs indépendants pour chaque branche afin de permettre une spécialisation spécifique à la phase.

3. Module de Lecture Sensible au Type (Type-Aware Readout Module)

Pour intégrer les représentations des trois branches, un module de lecture sensible au type est conçu :

Fusion Adaptative : Les représentations d'Aptitude ( $H_A$ ) et de Maîtrise ( $H_F$ ) sont fusionnées via un coefficient apprenable $\alpha$ : $H_{AF} = \alpha \cdot H_A + (1-\alpha) \cdot H_F$ .
Gain Différentiel : Un vecteur d'écart $H_{\Delta} = H_F - H_A$ est calculé pour capturer explicitement l'amélioration de la performance pilotée par la pratique.
Représentation Finale : La représentation finale de l'étudiant $H_S$ est construite en concaténant le vecteur fusionné aptitude-maîtrise, la représentation de la branche complète ( $H_C$ ) et le vecteur de gain différentiel : $H_S = [H_{AF} \parallel H_C \parallel H_{\Delta}]$ .
Prédiction : Cette représentation est combinée avec les caractéristiques de la question cible et transmise à un MLP pour prédire la probabilité d'une réponse correcte.

Analyse Causale

L'article fournit une analyse causale utilisant un Modèle Causal Structurel (SCM). Il postule que dans les modèles de KT conventionnels, l'aptitude intrinsèque de l'étudiant ( $A$ ) et la maîtrise acquise ( $F$ ) sont entremêlées à travers l'historique des interactions observées ( $D$ ), créant un biais de confusion qui affecte la représentation latente de l'étudiant ( $S$ ). En décomposant explicitement et en modélisant séparément $A$ et $F$ , PAKT brise cette corrélation spécieuse, permettant une estimation plus précise de la contribution réelle de chaque facteur au résultat de la prédiction.

Contributions Clés

Mécanisme de Décomposition : Développement d'un nouveau mécanisme sensible au comportement d'apprentissage qui partitionne les séquences d'interaction en phases d'aptitude et de maîtrise basées sur les réponses correctes cumulées.
Architecture du Modèle : Proposition d'un backbone Transformer multi-branches avec un module de lecture sensible au type pour capturer conjointement les états de connaissances spécifiques aux phases et holistiques.
Validation Empirique : Expérimentations approfondies démontrant des améliorations constantes par rapport aux lignes de base représentatives sur six jeux de données publics.
Insight Théorique : Une analyse causale révélant le biais de confusion dans les modèles agnostiques aux phases et justifiant la nécessité de désentrelacer les comportements d'apprentissage.

Résultats Expérimentaux

Les auteurs ont évalué PAKT sur six benchmarks publics : Algebra05, ASSISTments09, ASSISTments17, Ed-Net, Slepemapy et Spanish.

Performance : PAKT a obtenu les meilleures performances sur les six jeux de données tant sur les métriques AUC (Aire Sous la Courbe ROC) que sur l'ACC (Exactitude).
Amélioration : La méthode a montré des gains constants par rapport aux bases les plus fortes, avec un gain moyen d'AUC de 0,82 % et un gain d'AUC maximal de 1,33 % (sur le jeu de données Spanish).
Comparaison : Bien que DisKT (une méthode de décomposition précédente) ait montré des résultats compétitifs, sa performance était instable. La décomposition par phase plus fine de PAKT s'est avérée plus robuste et universellement efficace.
Sensibilité : L'analyse de sensibilité sur le paramètre de seuil $k$ a indiqué que la performance optimale se produit généralement à des valeurs faibles ( $k \le 5$ ), les valeurs optimales spécifiques variant selon les caractéristiques du jeu de données (ex. : densité de concept et volume d'interaction).
Ablation : Le retrait de la branche "Complète" a provoqué la plus grande dégradation de performance, confirmant la nécessité de la vue holistique, tandis que les deux branches spécifiques aux phases fournissaient des raffinements complémentaires.

Signification et Limites

L'article affirme que PAKT fait progresser le domaine en allant au-delà du "paradigme de modélisation homogène" pour modéliser explicitement la transition temporelle de l'acquisition de l'aptitude vers la consolidation des compétences. Cette approche s'aligne mieux sur la sémantique comportementale de l'apprentissage et atténue le biais de confusion.

Cependant, les auteurs reconnaissent des limitations spécifiques :

Rareté des Données : Si un étudiant a trop peu d'interactions avec un concept pour atteindre le seuil $k$ , la branche de maîtrise reçoit peu ou pas de signal, ce qui peut affaiblir son efficacité.
Réglage des Hyperparamètres : Le seuil optimal $k$ doit être réglé manuellement et varie selon les jeux de données, suggérant un besoin de futures stratégies de décomposition automatique.
Séquences Courtes : La méthode peut éprouver des difficultés avec des séquences d'interaction très courtes où la transition de phase n'est pas observable.

Ce travail est soutenu par la Fondation Nationale des Sciences Naturelles de Chine et divers projets de réforme universitaire.