💻 computer science

Incorporating Feedback into Elo-Based Knowledge Tracing for Iterative Problem Solving

Cet article propose et valide deux extensions du système de classement Elo tenant compte du feedback — les modèles « New Item » et « Probability Modifier » — qui améliorent significativement la précision de l'estimation des connaissances par rapport aux approches standards en distinguant explicitement les succès assistés des succès non assistés dans les environnements de résolution de problèmes itératifs.

Auteurs originaux : Sébastien Rebaudo, Cédric d'Ham, Sihem Amer-Yahia

Publié 2026-07-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sébastien Rebaudo, Cédric d'Ham, Sihem Amer-Yahia

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre une compétence complexe, comme maîtriser un nouveau niveau de jeu vidéo ou résoudre une énigme de chimie difficile. Dans le monde réel, si vous bloquez, vous pouvez demander un indice à un professeur, ou alors il peut simplement vous donner la réponse. Mais dans le monde numérique, les ordinateurs essaient souvent de deviner votre niveau d'intelligence en fonction de vos réponses. Pour ce faire, ils utilisent un système appelé « Traçage des Connaissances » (Knowledge Tracing), qui est essentiellement une façon pour l'ordinateur de tenir un score continu de ce que vous savez et de ce que vous ne savez pas. Une méthode populaire pour tenir ce score est le « Système de Classement Elo », une méthode inventée à l'origine pour classer les joueurs d'échecs. Cela fonctionne comme une échelle : si vous battez un adversaire coriace, vous montez ; si vous perdez contre un adversaire facile, vous descendez. La grande question que les chercheurs se posent est la suivante : qu'arrive-t-il quand l'ordinateur vous aide ? Si vous résolvez un problème après que l'ordinateur vous a donné un indice, cela compte-t-il la même chose que de résoudre le problème tout seul ? Si l'ordinateur ne fait pas la différence, il pourrait penser que vous êtes un génie alors que vous aviez juste besoin d'un petit coup de pouce, ou il pourrait penser que vous avez des difficultés alors que vous attendiez simplement de l'aide. Se tromper dans ce score est un problème car cela signifie que l'ordinateur pourrait vous donner les mauvais types de leçons la fois suivante.

Cet article s'attaque précisément à ce problème en examinant comment rendre le système de classement Elo plus intelligent concernant le « feedback ». Les chercheurs ont étudié 296 étudiants universitaires travaillant sur une tâche de chimie complexe : concevoir un protocole de titrage (un plan étape par étape pour mélanger des produits chimiques). Ces étudiants pouvaient essayer autant de fois qu'ils le souhaitaient, et après chaque mauvaise réponse, le système leur donnait un feedback spécifique, allant d'un petit indice à la réponse correcte complète. L'équipe a testé deux nouvelles façons de mettre à jour les scores des étudiants qui prêtent réellement attention à cette aide.

La première idée, appelée le modèle « New Item » (Nouvel Élément), traite chaque version d'un problème comme un jeu totalement différent. Elle dit : « Résoudre ce puzzle sans aide est une chose, mais le résoudre avec un indice est un défi complètement différent. » Ainsi, l'ordinateur crée un score distinct pour la version « avec indice » du problème. La deuxième idée, le modèle « Probability Modifier » (Modificateur de Probabilité), est un peu plus semblable à un boost magique. Elle dit : « Le problème est le même, mais avoir un indice rend la réussite beaucoup plus facile. » Elle ajuste les probabilités de succès en fonction de l'importance de l'indice fourni.

Lorsque les chercheurs ont testé ces idées par rapport à l'ancienne méthode standard (qui ignore si une aide a été donnée), les résultats ont été clairs. Les deux nouveaux modèles étaient nettement meilleurs pour prédire si un étudiant réussirait l'étape suivante. Ils ne se contentaient pas de mieux deviner ; ils étaient plus cohérents à travers différents groupes d'étudiants et pouvaient même prédire la performance de nouveaux étudiants encore jamais vus. L'étude a utilisé un ensemble de données de 47 224 interactions pour prouver que l'ignorance du feedback conduit à une image floue et inexacte des connaissances d'un apprenant. En modélisant explicitement l'aide, l'ordinateur obtient une vision plus nette et plus juste de ce que l'étudiant sait réellement, garantissant que le « score » reflète la compétence réelle plutôt que simplement la quantité d'assistance disponible.

Résumé technique : Intégration du feedback dans le suivi des connaissances basé sur le système Elo pour la résolution itérative de problèmes

Énoncé du problème

Dans les environnements d'apprentissage numériques, les apprenants résolvent souvent des tâches complexes par des tentatives itératives soutenues par un feedback automatisé. Bien que les systèmes de classement Elo (ERS - Elo Rating Systems) standards soient largement utilisés pour estimer la capacité de l'apprenant et la difficulté de l'item en raison de leur efficacité computationnelle et de leur scalabilité, ils souffrent d'une limitation critique dans ces contextes : ils traitent tous les succès de manière équivalente. Par conséquent, l'ERS ne parvient pas à distinguer un succès indépendant d'un succès obtenu avec assistance. Cette omission peut conduire à des estimations biaisées des connaissances, car la performance d'un apprenant peut refléter la qualité du feedback reçu plutôt que sa compétence sous-jacente. L'article traite le défi de modéliser précisément les connaissances de l'apprenant lorsque le feedback automatisé fait partie intégrante du processus itératif de résolution de problèmes.

Méthodologie

Données et contexte

L'étude utilise un ensemble de données de 47 224 interactions apprenant-item provenant de 296 étudiants universitaires utilisant la plateforme LabNBook. La tâche consiste à concevoir un protocole de titrage acide-base, une activité complexe nécessitant la sélection, la paramétration et l'ordonnancement d'actions. Le système utilise la modélisation basée sur des contraintes (CBM - Constraint-Based Modeling) pour évaluer les soumissions par rapport à 42 contraintes définies par des experts (items). Le feedback est fourni après des soumissions erronées, ciblant des erreurs spécifiques avec des niveaux d'assistance variables (encodés comme une variable ordinale de 0 à 5, où 0 est l'absence de feedback et 5 est la solution explicite correcte).

Cadre de modélisation

Les auteurs proposent une hiérarchie de modèles, passant d'un standard de référence à des extensions prenant en compte le feedback.

Modèles de base (Baselines) :
- ERS Standard (ST) : Modélise la connaissance de l'apprenant ( $\theta_k$ ) et la difficulté de l'item ( $d_i$ ) à l'aide d'un paramètre global unique par apprenant et d'une fonction logistique standard.
- ERS Amélioré (EN) : Sert de principale base de comparaison. Il améliore le ST en introduisant :
  - Connaissances spécifiques au type de tâche : Remplace la connaissance globale par des paramètres spécifiques aux types de tâches (composantes de connaissances).
  - Taux de mise à jour dynamiques : Introduit un facteur de décroissance pour les mises à jour de la difficulté de l'item afin de refléter la diminution de l'incertitude à mesure que les données s'accumulent.
  - Estimation des connaissances préalables : Accélère le taux de mise à jour lors des premières interactions pour mieux estimer les connaissances antérieures.
Extensions prenant en compte le feedback :
L'article introduit deux modèles distincts pour intégrer le feedback, distinguant les tentatives sans assistance ( $l=0$ ) et assistées ( $l>0$ ) :
- Modèle Nouvel Item (NI) : Repose sur l'hypothèse que le feedback change fondamentalement la nature de la tâche. Il traite chaque paire $(item, niveau\_de\_feedback)$ comme un item distinct. L'espace des items passe de $I$ à $(L+1) \times I$ , où $L$ est le niveau de feedback maximal. Chaque variante possède son propre paramètre de difficulté ( $d_{i,l}$ ).
- Modèle de Modificateur de Probabilité (PM) : Repose sur l'hypothèse que le feedback ne modifie pas la tâche elle-même mais augmente la probabilité de succès de manière graduée. Il utilise une distinction binaire pour l'espace des items (sans assistance vs assistée) mais introduit un décalage dépendant du niveau ( $c_l$ ) dans la fonction de probabilité de succès. La probabilité est modélisée par $\sigma(\theta_{k,t(i)} - d_{i,f(l)} + c_l)$ , où $c_l$ représente le décalage de la probabilité de succès dû au niveau de feedback $l$ .

Stratégie d'évaluation

Les modèles ont été évalués à l'aide de l'erreur quadratique moyenne (RMSE) et de l'aire sous la courbe ROC (AUC). Pour garantir des conclusions robustes, les auteurs ont employé trois stratégies d'évaluation complémentaires :

Robustesse à la variation des apprenants : Une procédure de bootstrap échantillonnant les trajectoires des apprenants pour tester la stabilité sous des perturbations de la population.
Cohérence entre les apprenants : Un test de Wilcoxon signé-rang pour déterminer si un modèle surpasse systématiquement un autre au niveau de l'apprenant individuel.
Généralisation à des apprenants inconnus : Un test de maintien (hold-out) où des modèles entraînés sur la moitié des apprenants sont évalués sur l'autre moitié pour évaluer la capacité de généralisation.

Résultats clés

Précision prédictive : Les deux modèles prenant en compte le feedback (NI et PM) ont nettement surpassé le modèle amélioré (EN) et le modèle standard (ST) sur tous les indicateurs de performance.
- Comparés à l'EN, les modèles NI et PM ont obtenu des gains de RMSE d'environ 5,2 % à 5,5 % dans les tests de robustesse et de généralisation.
- Les intervalles de confiance des différences de performance étaient strictement positifs, et les p-values de Wilcoxon étaient extrêmement faibles ( $< 10^{-20}$ ), indiquant des améliorations statistiquement significatives et constantes.
Dynamique des modèles :
- Le modèle NI a démontré que traiter les niveaux de feedback comme des items distincts conduit à une convergence plus stable des estimations de difficulté, probablement parce que les paires $(item, niveau\_de\_feedback)$ sont plus homogènes en termes de difficulté.
- Le modèle PM a obtenu des performances comparables au NI avec une paramétrisation plus compacte (moins de paramètres de difficulté), bien qu'il nécessite l'estimation de l'hyper-paramètre supplémentaire ( $c_l$ ) pour les décalages de probabilité.
- Les deux modèles ont montré que les approches prenant en compte le feedback nécessitent relativement peu de données pour surpasser les modèles de base, les écarts de performance apparaissant après seulement quelques centaines de prédictions.
Stabilité et discrimination : Crucialement, ces améliorations de la précision prédictive ont été obtenues sans sacrifier l'interprétabilité des modèles. Les deux modèles (NI et PM) préservent une discrimination significative entre les profils de connaissances des apprenants et produisent des estimations de difficulté d'item stables, essentielles pour les systèmes d'apprentissage adaptatifs.

Signification et affirmations

L'article affirme que la modélisation explicite du feedback est essentielle pour un suivi précis des connaissances dans les environnements d'apprentissage itératifs. Les auteurs soutiennent que négliger la distinction entre succès indépendant et succès assisté conduit à des estimations biaisées de la compétence de l'apprenant.

La contribution primaire est la démonstration que des extensions simples et légères du système de classement Elo peuvent capturer efficacement les nuances du feedback riche. En proposant les modèles New Item (NI) et Probability Modifier (PM), l'étude fournit des alternatives computationnellement efficaces aux approches de deep learning plus complexes ou aux extensions du Bayesian Knowledge Tracing (BKT). Les conclusions suggèrent que :

Le feedback ne doit pas être traité comme une simple correction post-hoc, mais comme une variable fondamentale qui modifie la condition d'apprentissage.
Il est possible d'intégrer le feedback dans l'ERS tout en préservant la scalabilité et l'adaptabilité en temps réel du système.
Le choix entre modéliser le feedback comme une transformation de la tâche (NI) ou un décalage de probabilité (PM) dépend du compromis spécifique entre expressivité du modèle et complexité, car les deux ont produit des résultats empiriques très comparables dans ce contexte.

Les auteurs concluent que ces approches offrent une alternative convaincante pour l'exploration de données éducatives (educational data mining), comblant le fossé entre le besoin de modélisation sophistiquée du soutien pédagogique et les contraintes pratiques des systèmes adaptatifs scalables en temps réel.