Résumé Technique : Tracer la Maîtrise Mathématique à travers les Processus de Résolution de Problèmes

Énoncé du Problème

Les méthodes traditionnelles de Traçage de Connaissances (KT - Knowledge Tracing) visent à modéliser l'état de connaissances d'un étudiant pour prédire ses performances futures dans les Systèmes de Tutorat Intelligent. Cependant, les approches existantes font face à des limitations fondamentales en termes d'explicabilité et de profondeur. Elles reposent principalement sur une supervision centrée sur le résultat (exactitude binaire : correct/incorrect) et sur des métadonnées limitées (par exemple, la difficulté du problème, le temps de réponse ou les concepts de connaissance). Cette dépendance à la réponse finale ne parvient pas à capturer les nuances de la compréhension réelle d'un étudiant, car elle traite le processus de résolution de problèmes (PSP - Problem-Solving Process) comme une « boîte noire ».

En revanche, les éducateurs du monde réel évaluent la compréhension à travers le processus de résolution de problèmes, en observant les étapes de raisonnement, les calculs intermédiaires et les choix stratégiques. Les jeux de données et les modèles de KT actuels négligent largement cette information riche, particulièrement dans les domaines mathématiques où la capture du PSP à grande échelle est difficile. Par conséquent, les modèles existants peinent à fournir des informations interprétables sur le pourquoi un étudiant réussit ou échoue, et ils sont souvent peu performants dans les scénarios de démarrage à froid (cold-start) où peu de données d'interaction historiques sont disponibles.

Méthodologie : KT-PSP et STATUSKT

Pour combler ces lacunes, les auteurs proposent une nouvelle formulation de tâche et un cadre correspondant.

1. Traçage de Connaissances avec Processus de Résolution de Problèmes (KT-PSP)

Les auteurs redéfinissent la tâche de KT pour incorporer explicitement le processus de résolution de problèmes de l'étudiant dans la séquence d'interaction.

• KT Traditionnelle : Séquence d'entrée $S_{conv} = \{(q_t, c_t, r_t)\}$, où $r_t$ est l'exactitude binaire.
• KT-PSP : Séquence d'entrée $S_{new} = \{(q_t, c_t, r_t, p_t)\}$, où $p_t$ représente le PSP détaillé (raisonnement étape par étape, calculs intermédiaires, etc.).
  L'objectif reste la prédiction de l'exactitude future $P(r_{t+1}=1 | \dots)$, mais exploite désormais à la fois les performances historiques et les stratégies de résolution sous-jacentes.

2. Le Jeu de Données KT-PSP-25

Pour faciliter la recherche dans ce nouveau domaine, les auteurs ont publié KT-PSP-25, un nouveau jeu de données contenant :

• 22 289 interactions étudiant-problème provenant d'une plateforme de mathématiques sur tablette.
• 1 343 étudiants résolvant 2 696 problèmes à travers 490 composantes de connaissances.
• PSP manuscrit : Contrairement aux jeux de données précédents, celui-ci inclut les traces de résolution manuscrites réelles, qui ont été traitées via un pipeline OCR (utilisant GPT-5) pour convertir les images en texte structuré tout en préservant la logique mathématique.
• Confidentialité : Les identifiants des étudiants et des questions ont été anonymisés, et les sorties OCR ont été affinées pour garantir la qualité des données et la confidentialité.

3. Le Cadre STATUSKT

La contribution centrale est STATUSKT, un cadre de KT sensible au processus qui extrait des signaux de Maîtrise Mathématique (MP - Mathematical Proficiency) à partir du PSP brut en utilisant un pipeline LLM Enseignant-Étudiant-Enseignant. Ce pipeline convertit le texte non structuré en signaux intermédiaires structurés et interprétables.

Le pipeline opère en trois étapes :

1. Extraction d'Indicateurs (LLM Enseignant) : Étant donné un texte de problème et ses composantes de connaissances, le LLM Enseignant génère un ensemble d'indicateurs de MP. Il s'agit de questions spécifiques ciblant quatre dimensions observables de la maîtrise mathématique (basées sur Findell et al., 2001) :
   • Compréhension Conceptuelle (CU - Conceptual Understanding)
   • Compétence Stratégique (SC - Strategic Competence)
   • Fluidité Procédurale (PF - Procedural Fluency)
   • Raisonnement Adaptatif (AR - Adaptive Reasoning)
     (Note : La Disposition Productive est exclue car elle est difficile à évaluer via le texte.)
2. Génération de Réponse (LLM Étudiant) : Le LLM Étudiant agit comme un substitut du véritable étudiant. Il analyse le PSP manuscrit de l'étudiant et génère des réponses aux indicateurs de MP. Crucialement, il préserve le raisonnement original de l'étudiant (y compris les erreurs) plutôt que de les corriger.
3. Évaluation de la Maîtrise (LLM Enseignant) : Le LLM Enseignant évalue les réponses du LLM Étudiant par rapport aux indicateurs originaux pour déterminer si l'étudiant a démontré la maîtrise de chaque dimension spécifique.

Intégration :
La sortie de ce pipeline est un Ratio de MP pour chaque dimension (la proportion d'indicateurs satisfaits). Ces ratios servent d'entrées auxiliaires au modèle de base de KT. Le modèle est entraîné avec une fonction de perte composite :
$$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$$
Cette approche à double objectif force le modèle à apprendre à la fois l'exactitude finale et les schémas de maîtrise sous-jacents, améliorant ainsi la précision prédictive et l'interprétabilité.

Contributions Clés

1. Nouvelle Formulation de Tâche (KT-PSP) : Une définition formelle de la KT qui intègre les processus de résolution de problèmes dans la séquence d'interaction, permettant une modélisation sensible au processus.
2. Jeu de Données KT-PSP-25 : Le premier jeu de données de KT mathématique à grande échelle contenant des processus de résolution de problèmes manuscrits réels, transcrits par OCR, pour chaque interaction.
3. Cadre STATUSKT : Une architecture novatrice utilisant un pipeline LLM à trois étapes pour distiller le PSP brut en signaux de MP interprétables, qui sont ensuite intégrés dans des modèles de KT standards.
4. Validation Empirique : Des expériences exhaustives démontrant que STATUSKT surpasse les bases de comparaison de Deep Learning KT (DLKT) et fournit des informations fines et interprétables sur l'apprentissage des étudiants.

Résultats Expérimentaux

Les expériences ont été menées sur KT-PSP-25 en utilisant diverses architectures de base (DKT, DKVMN, SAKT, SAINT, AKT, etc.).

• Performance Globale (RQ1) : STATUSKT améliore systématiquement la performance de prédiction (AUC et Exactitude) à travers la plupart des architectures par rapport aux bases standards et à une variante « Baseline+PSP » (qui concatène simplement les plongements de texte brut). Les auteurs notent que le seul plongement de texte brut introduit souvent du bruit ou échoue à améliorer la performance, tandis que la distillation structurée de la MP dans STATUSKT exploite efficacement l'information de processus.
• Robustesse au Démarrage à Froid (RQ2) : Dans les scénarios avec des données limitées (seulement les 5 premières interactions par étudiant), STATUSKT a nettement surpassé les bases de comparaison. Les signaux de MP ont fourni des priors informatifs qui ont stabilisé l'estimation de l'état de connaissance lorsque les données d'exactitude historiques étaient rares.
• Analyse des Effets de la MP (RQ3) : Des études de cas ont révélé que les signaux de MP aident à corriger les prédictions dans les cas de « aide par la MP » en alignant l'exactitude avec des compétences sous-jacentes spécifiques. Cependant, les auteurs ont également identifié des cas de « nuisance par la MP » où des indicateurs trop enrichis ou mal alignés pourraient dégrader la performance, soulignant l'importance du contrôle de la portée lors de la génération d'indicateurs.

Signification et Revendications

L'article affirme que l'incorporation du raisonnement reflété dans les processus de résolution de problèmes des étudiants est essentielle pour faire progresser la KT vers une modélisation plus précise, interprétable et pédagogiquement significative.

• Interprétabilité : Contra-irement aux prédictions de type « boîte noire », STATUSKT fournit des signaux de maîtrise explicites (ex: « L'étudiant a une haute Fluidité Procédurale mais une faible Capacité de Raisonnement Adaptatif »), offrant des perspectives fines sur la progression de l'apprentissage.
• Alignement Pédagogique : Le cadre imite la façon dont les enseignants humains évaluent les étudiants — en regardant le processus, et non seulement la réponse — comblant ainsi le fossé entre les systèmes automatisés et la théorie éducative.
• Limites : Les auteurs reconnaissent modestement certaines limites, notamment la taille relativement petite du jeu de données, la restriction au domaine des mathématiques, et la dépendance à l'OCR qui peut introduire des erreurs de reconnaissance ou perdre des éléments de raisonnement visuel (diagrammes). Ils ne prétendent pas que le cadre est universellement applicable à toutes les matières sans adaptation supplémentaire.