Knowing When to Defer: Selective Prediction for Responsible Knowledge Tracing

1. Énoncé du problème

Les modèles de Trace de Connaissance (Knowledge Tracing - KT) sont conçus pour prédire la performance future d'un élève sur des questions éducatives en se basant sur son historique d'interactions. Bien que les architectures récentes d'apprentissage profond (par exemple, DKT, SAKT, AKT) aient amélioré la précision prédictive, elles souffrent d'une limitation critique dans le déploiement réel : elles manquent de la capacité à quantifier leur propre incertitude.

• Le Vide : Les modèles KT traditionnels produisent des estimations ponctuelles (par exemple, « 80 % de chances de réussite ») sans indiquer le niveau de confiance. Cela conduit à une faible spécificité, où les modèles font des prédictions incorrectes avec assurance qui passent inaperçues.
• L'Objectif : L'article propose de traiter le déploiement responsable de la KT comme un problème de Prédiction Sélective. Au lieu de forcer une prédiction sur chaque instance, le modèle doit identifier les cas à forte incertitude et les déférer à un enseignant humain, améliorant ainsi la fiabilité et la sécurité globales du système.

2. Méthodologie

Les auteurs introduisent une couche de prédiction sélective intrinsèque qui s'intègre directement aux modèles KT existants sans nécessiter de réentraînement.

A. Quantification de l'incertitude via MC-Dropout

Le mécanisme central pour estimer l'incertitude est le Monte Carlo Dropout (MC-Dropout).

• Processus : Pendant l'inférence, les couches de dropout restent actives. Le modèle effectue $M$ passes avant stochastiques pour une seule entrée.
• Métriques :
  • Prédiction Moyenne ($\bar{p}$) : La probabilité moyenne sur les $M$ passes.
  • Signal d'Incertitude : La variance (ou l'entropie) des prédictions à travers les $M$ passes. Une variance élevée indique une forte incertitude épistémique (le modèle est incertain de sa représentation apprise de l'état de l'élève).
• Stratégie de Sélection : Les prédictions sont triées par variance MC-Dropout. Le système s'abstient (défère) sur les $X\%$ de prédictions les plus incertaines (par exemple, les 20 % supérieures) et ne produit des prédictions que pour les cas restants, plus confiants.

B. Configuration Expérimentale

• Ensembles de Données : L'étude utilise l'ensemble de données mathématiques Eedi, un ensemble de données réel à grande échelle contenant des journaux de réponses aux questions.
• Architectures : La méthode est évaluée sur trois familles dominantes de KT :
  1. DKT (Trace de Connaissance Profonde) : Basée sur LSTM.
  2. SAKT (Trace de Connaissance à Auto-Attention) : Basée sur l'auto-attention.
  3. AKT (Trace de Connaissance Attentionnelle) : Attention consciente du contexte avec mécanismes d'oubli.
• Lignes de Base :
  • IRT 2PL Calibrée : Un modèle standard de Théorie de la Réponse à l'Élément (Two-Parameter Logistic) utilisé comme référence psychométrique pour l'incertitude.
  • Pile Psychométrique Classique : Une analyse de régression testant si l'incertitude peut être expliquée par des caractéristiques standard : difficulté de la question, capacité de l'élève, ambiguïté du résultat IRT et couverture du programme.

3. Contributions Clés

1. Amélioration Indépendante de l'Architecture : Démonstration que la prédiction sélective améliore la précision, l'AUC et les scores F1 sur DKT, SAKT et AKT sans réentraînement.
2. Supériorité sur les Lignes de Base Psychométriques : Preuve que la variance MC-Dropout est un signal de déférence nettement plus fort qu'un modèle IRT 2PL calibré.
3. Décomposition de la Variance (Contenu Épistémique) : Montrer que les caractéristiques psychométriques classiques (difficulté, capacité, etc.) expliquent moins de 4 % (linéaire) à 23 % (non linéaire) de l'incertitude du modèle. Les 77–90 % restants constituent un contenu épistémique spécifique à l'architecture (incertitude concernant la trajectoire séquentielle unique de l'élève) que des modèles plus simples ne peuvent capturer.
4. Équité et Ciblage : Vérification que la stratégie de déférence est hautement ciblée (déférant les erreurs réelles) et équitable (ne déférant pas de manière disproportionnée les élèves à faible capacité).

4. Résultats Clés

A. Gains de Performance (à 80 % de couverture)

En déférant les 20 % de prédictions les plus incertaines, les modèles ont obtenu des améliorations significatives des métriques sans réentraînement :

• Précision : +2,3 à +3,0 points de pourcentage (pp).
• AUC : +1,9 à +2,4 pp.
• Score F1 : +1,4 à +4,3 pp.
• Significativité Statistique : Toutes les améliorations étaient statistiquement significatives avec des intervalles de confiance étroits.

B. Ciblage et Équité

• Taux d'Erreur : L'ensemble des prédictions déferées présentait un taux d'erreur 1,45 à 1,60 fois plus élevé que l'ensemble conservé. Sur les questions les plus difficiles, ce rapport atteignait 2,3–2,5 fois.
• Équité : Le taux d'abstention était cohérent à travers les quartiles de capacité des élèves (variant de 16 à 23 %, proche de la base de 20 %). Crucialement, le modèle ne défère pas par défaut les élèves à faible capacité ; les élèves les plus faibles étaient déferés moins que les autres, évitant un mode de défaillance courant dans l'IA éducative.

C. Comparaison avec la Ligne de Base IRT

• À 80 % de couverture, le MC-Dropout a fourni une amélioration de l'AUC de 2,0–2,4 pp.
• La ligne de base IRT 2PL calibrée n'a fourni qu'une amélioration de 0,41–0,46 pp.
• Conclusion : Le MC-Dropout offre environ 5 fois plus d'amélioration que la ligne de base IRT, prouvant qu'il capture une véritable incertitude épistémique au-delà de la simple difficulté de l'élément et de la capacité de l'élève.

D. Décomposition de la Variance (Le « Pourquoi »)

Les auteurs ont régressé l'incertitude épistémique du modèle (en utilisant la décomposition BALD) contre une pile de caractéristiques classiques :

• Modèle Linéaire : La variance expliquée était < 4 %.
• Modèle Non Linéaire (Random Forest) : La variance expliquée est montée à ~23 % (maximum pour DKT), laissant 77–90 % inexpliqués.
• Implication : Le signal d'incertitude est largement spécifique à l'architecture. Il découle de la représentation interne, non linéaire, de la trajectoire d'apprentissage unique de l'élève par le modèle, qui ne peut être reconstruite par des heuristiques externes ou des proxies psychométriques plus simples.

5. Signification et Conclusion

Cet article établit que la Trace de Connaissance Responsable exige plus qu'une simple haute précision ; elle nécessite une conscience de l'incertitude.

• Nécessité d'une Incertitude Native : L'étude prouve que s'appuyer sur des proxies externes (comme l'IRT ou la couverture du programme) est insuffisant pour un déploiement sûr. Le signal d'incertitude interne du modèle (via MC-Dropout) est nécessaire pour détecter les prédictions à haut risque.
• Stratégie de Déploiement : La couche de « Prédiction Sélective » proposée agit comme un gardien. Les prédictions à faible variance alimentent directement le moteur de recommandation, tandis que les prédictions à haute variance déclenchent une solution de repli (par exemple, examen par un enseignant, questions de diagnostic ou quiz de maîtrise).
• Complémentarité : Cette approche n'est pas un substitut aux audits d'équité ou à l'évaluation en classe, mais constitue un composant complémentaire essentiel pour construire des systèmes d'IA éducative sûrs et conscients de la confiance.

En résumé, l'article soutient que pour que les modèles KT soient déployés de manière responsable dans les classes réelles, ils doivent être équipés d'un mécanisme pour « savoir quand ils ne savent pas », et le MC-Dropout fournit une solution robuste et native à l'architecture pour y parvenir.