💬 NLP

Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

Ce papier présente KCGen-KT, un pipeline automatisé basé sur les LLM qui génère et étiquette des composants de connaissances pour des problèmes de codage ouverts, démontrant par une évaluation approfondie que ces composants générés par l'IA surpassent les composants traditionnels rédigés par des humains dans la prédiction des performances des étudiants et la modélisation des courbes d'apprentissage.

Auteurs originaux : Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant essayant de déterminer exactement avec quoi un étudiant éprouve des difficultés dans un cours de programmation. Autrefois, vous deviez écrire manuellement une liste de compétences spécifiques (comme « savoir utiliser une boucle » ou « comprendre comment additionner des nombres »), puis examiner chaque problème de devoir pour étiqueter quelles compétences il évaluait. C'est comme un bibliothécaire écrivant manuellement un catalogue de cartes pour chaque livre d'une immense bibliothèque ; cela prend une éternité, est sujet aux erreurs humaines et est incroyablement ennuyeux.

Ce papier présente une nouvelle méthode automatisée pour y parvenir en utilisant l'Intelligence Artificielle (spécifiquement, les Grands Modèles de Langage ou LLM), mais avec une particularité : elle fonctionne pour des problèmes de programmation ouverts, où les étudiants écrivent leur propre code à partir de zéro, plutôt que de simplement choisir des réponses dans une liste à choix multiples.

Voici une décomposition de ce qu'ils ont fait, en utilisant des analogies simples :

1. Le Problème : Le chaos « ouvert »

Dans les questions à choix multiples, il n'y a qu'une seule bonne réponse, il est donc facile de deviner quelle compétence était évaluée. Mais en programmation, les étudiants peuvent résoudre le même problème de dix manières différentes. Un étudiant pourrait utiliser une « boucle for », tandis qu'un autre utilise des « expressions régulières ». Tous deux obtiennent la bonne réponse, mais ils ont utilisé des compétences différentes.

L'analogie : Imaginez demander à des gens de construire une niche à oiseaux. Si vous leur donnez un quiz à choix multiples, vous savez exactement ce qu'ils ont appris. Mais si vous leur demandez de construire la niche, une personne pourrait utiliser un marteau et des clous, tandis qu'une autre utiliserait de la colle et du bois. Déterminer exactement quelles compétences chaque personne a utilisées simplement en regardant la niche finie est très difficile.

2. La Solution : Le « Détective de compétences » de l'IA

Les auteurs ont construit un pipeline automatisé en trois étapes pour agir comme un « Détective de compétences » :

Étape 1 : L'enquête (Génération) : Ils donnent à l'IA un problème de programmation et un ensemble de différentes solutions d'étudiants (correctes et incorrectes). L'IA agit comme un détective, lit le code et dit : « Ah, pour résoudre cela, il fallait savoir utiliser une « instruction If » et savoir faire des « Mathématiques avec des valeurs absolues ». » Elle crée une liste de ces compétences (appelées Composantes de Connaissance, ou KC).
Étape 2 : Le Chapeau de tri (Clustering) : L'IA peut générer 100 noms légèrement différents pour la même compétence (par exemple, « If-Else », « Logique conditionnelle », « Prise de décision »). Le système regroupe ces idées similaires, comme trier un tas de chaussettes mélangées en paires.
Étape 3 : L'étiqueteuse (Résumé) : Enfin, l'IA examine chaque groupe de compétences similaires et leur donne un nom clair et lisible par l'homme (comme « Logique conditionnelle »). Elle étiquette ensuite chaque problème avec ces nouvelles étiquettes propres.

3. Le Résultat : Un tuteur plus intelligent (KCGen-KT)

Une fois que l'IA a ces étiquettes de compétences, ils ont construit un nouveau système de « Traçage des Connaissances » (une façon de suivre l'apprentissage des étudiants dans le temps) appelé KCGen-KT.

Comment ça marche : Au lieu de simplement deviner si un étudiant aura raison ou tort à la prochaine question, ce système examine l'historique de l'étudiant avec des compétences spécifiques. Il se demande : « Cet étudiant éprouve-t-il des difficultés avec les « Boucles » mais excelle-t-il avec les « Variables » ? »
La Magie : Le système traduit le niveau de compétence de l'étudiant en un « jeton doux » (un signal numérique) que l'IA peut lire. Cela permet à l'IA de prédire non seulement si l'étudiant échouera, mais à quoi ressemblera son prochain morceau de code.

4. La Preuve : Est-ce que ça a marché ?

Les chercheurs ont testé cela sur deux ensembles de données réels contenant des milliers de soumissions de code d'étudiants (un en Java, un en Python).

Mieux que les humains : Étonnamment, les étiquettes de compétences générées par l'IA ont aidé à prédire la performance des étudiants mieux que les étiquettes rédigées par des experts humains.
Mieux que l'ancienne IA : Le nouveau système a surpassé les modèles d'IA de pointe précédents qui n'utilisaient pas ces étiquettes de compétences spécifiques.
Le contrôle de la « Courbe d'apprentissage » : Ils ont vérifié si le système suivait la « Loi de la Pratique » (l'idée que les gens s'améliorent plus ils pratiquent). Les compétences générées par l'IA ont montré un motif clair : à mesure que les étudiants pratiquaient une compétence spécifique, leur taux d'erreur diminuait. Cela a prouvé que l'IA identifiait de vraies compétences significatives.
Approbation humaine : Lorsqu'ils ont montré le travail de l'IA à de véritables enseignants en informatique, ceux-ci ont convenu que les descriptions de compétences de l'IA étaient claires, compréhensibles et précises.

Résumé

En bref, ce papier dit : « Nous avons enseigné à une IA comment déterminer automatiquement exactement quelles compétences les étudiants utilisent dans leurs devoirs de programmation. Nous avons ensuite utilisé ces étiquettes de compétences générées par l'IA pour construire un système plus intelligent qui prédit comment les étudiants se débrouilleront à l'avenir. Cela fonctionne mieux que les experts humains et mieux que les méthodes d'IA précédentes, et cela nous aide à comprendre l'apprentissage des étudiants d'une manière claire et interprétable. »

Ce qu'ils n'ont PAS affirmé :

Ils n'ont pas affirmé que cela remplace les enseignants ; ils déclarent explicitement que c'est destiné à les soutenir.
Ils n'ont pas encore testé cela sur des problèmes de mathématiques ou de sciences (seulement de la programmation).
Ils n'ont pas affirmé que c'est parfait ; ils ont noté que parfois l'IA manque des compétences partagées entre les problèmes car elle les analyse un par un.

Résumé Technique : Génération Automatique de Composantes de Connaissance et Traçage de Connaissance Interprétable dans les Problèmes de Programmation

Énoncé du Problème
Dans la modélisation des étudiants, les Composantes de Connaissance (CC) sont essentielles pour évaluer la maîtrise fine des compétences, permettre un retour personnalisé et piloter des systèmes d'apprentissage adaptatifs. Traditionnellement, les CC sont conçues et étiquetées sur les problèmes par des experts humains du domaine, un processus qui est laborieux, sujet aux biais et difficile à mettre à l'échelle. Bien que des travaux antérieurs aient exploré la génération automatique de CC pour des questions à choix multiples, les problèmes ouverts — en particulier en programmation — restent sous-étudiés. Les problèmes de codage ouverts présentent des défis uniques : les réponses des étudiants exhibent une diversité significative, les erreurs peuvent survenir de mille et une manières, et plusieurs approches de solution valides peuvent exister, chacune couvrant des ensembles différents de CC. Les méthodes automatisées existantes échouent souvent à capturer cette complexité ou reposent sur des structures syntaxiques rigides inadaptées aux soumissions d'étudiants diversifiées.

Méthodologie
Les auteurs proposent un cadre en deux parties : un pipeline automatisé pour générer et étiqueter des CC à l'aide de Modèles de Langage à Grande Échelle (LLM), et une nouvelle méthode de Traçage de Connaissance (TC), KCGen-KT, qui exploite ces CC générées.

Pipeline Automatisé de Génération de CC :
- Génération Initiale : Pour chaque problème de programmation, le système sélectionne un ensemble diversifié de soumissions de code correctes représentatives d'étudiants (regroupées via des embeddings CodeBERT pour assurer la variété). Il sollicite GPT-4o avec des exemples few-shot et un raisonnement en chaîne de pensée pour identifier les CC fines requises pour résoudre le problème, convertissant les étiquettes de sujets existantes en descriptions en langage naturel.
- Contrôle du Regroupement et de l'Abstraction : Pour gérer la granularité, les descriptions textuelles des CC générées sont encodées à l'aide de Sentence-BERT. Le Regroupement Hiérarchique Ascendant (HAC) est appliqué pour fusionner les CC sémantiquement similaires. En ajustant le nombre de clusters, le système contrôle le niveau d'abstraction, passant de compétences spécifiques au niveau de la fonction à des regroupements conceptuels plus larges.
- Étiquetage : GPT-4o est sollicité pour résumer chaque cluster en une seule étiquette informative (soit en sélectionnant une CC existante, soit en synthétisant une nouvelle description). Enfin, une matrice Q est construite en mappant chaque problème vers ses CC résumées correspondantes.
KCGen-KT (Cadre de Traçage de Connaissance) :
- Architecture : Le modèle utilise Llama 3 (8 milliards de paramètres) comme colonne vertébrale pour l'apprentissage multi-tâches, prédisant à la fois la justesse binaire de la prochaine soumission de l'étudiant et le code réel token par token.
- Modélisation de l'État de l'Étudiant : Un LSTM standard met à jour l'état de connaissance latent de l'étudiant ( $h_t$ ) basé sur le texte du problème passé, le code et la justesse. Cet état est projeté dans un vecteur de maîtrise ( $m_t$ ) représentant la compétence sur chaque CC unique.
- Conversion en Soft-Token : Pour intégrer les niveaux de maîtrise dans l'espace d'entrée du LLM, le modèle convertit les valeurs de maîtrise discrètes en « soft tokens ». Un niveau de maîtrise $m^j_t$ pour la CC $j$ est transformé en une combinaison pondérée des embeddings des tokens « vrai » et « faux » : $s^j_t = m^j_t \cdot \text{emb}_{\text{vrai}} + (1 - m^j_t) \cdot \text{emb}_{\text{faux}}$ . Cela permet aux gradients de circuler à travers les paramètres de maîtrise pendant l'entraînement.
- Interprétabilité : Le modèle emploie un modèle compensatoire pour agréger les niveaux de maîtrise individuels des CC en un score de maîtrise global, garantissant qu'une connaissance plus élevée sur des CC spécifiques se corrèle avec une probabilité plus élevée de réponse correcte.
- Objectif d'Entraînement : Le système minimise une fonction de perte combinée incluant la perte de génération de code (entropie croisée), la perte de prédiction de justesse (entropie croisée binaire) et une perte de régularisation pour imposer la monotonie entre la maîtrise des CC et la justesse.

Contributions Clés

Premier Pipeline Automatisé pour le Codage Ouvert : L'article présente le premier pipeline basé sur les LLM capable de générer et d'étiqueter des CC spécifiquement pour des problèmes de programmation ouverts, abordant la diversité et la complexité des soumissions de code des étudiants.
TC Interprétable avec Soft Tokens : Les auteurs introduisent KCGen-KT, qui modélise explicitement la maîtrise de l'étudiant sur des descriptions textuelles de CC. Le nouveau mécanisme de conversion en soft tokens permet au LLM d'utiliser des niveaux de maîtrise continus comme entrées, comblant le fossé entre les états étudiants latents et la génération textuelle.
Validation Empirique : Le cadre est évalué sur deux ensembles de données réels (CodeWorkout et FalconCode) contenant des milliers de soumissions d'étudiants.

Résultats

Performance : KCGen-KT surpasse les méthodes de TC existantes de l'état de l'art (y compris TIKTOC et Code-DKT) et les lignes de base utilisant des CC rédigées par des humains. Plus précisément, la version utilisant des CC générées par LLM réalise des améliorations statistiquement significatives en AUC, score F1, précision et CodeBLEU (pour la génération de code) sur les deux ensembles de données.
Analyse de Granularité : Les expériences variant le niveau d'abstraction des CC révèlent que des CC trop abstraites (clusters de haut niveau) dégradent les performances, tandis que des niveaux d'abstraction moyen à faible (granularité plus fine) produisent les meilleurs résultats. Cela suggère qu'un détail suffisant est crucial pour une modélisation précise des étudiants.
Courbes d'Apprentissage : Les CC générées s'alignent mieux avec la loi de puissance de la pratique (taux d'erreur diminuant avec la pratique) par rapport aux CC rédigées par des humains, atteignant un $R^2$ pondéré plus élevé (0,21 contre 0,18) lorsqu'elles sont ajustées à des modèles de courbes d'apprentissage.
Évaluation Humaine : Les instructeurs ont noté les CC générées par LLM comme hautement interprétables (98,6 % contre 94,6 % pour les lignes de base humaines) et ont trouvé que les mappages problème-CC avaient une haute précision (93,2 %) et une couverture (96 % des cas avaient une couverture égale ou supérieure aux lignes de base humaines).

Signification et Revendications
L'article revendique que des CC de haute qualité, générées automatiquement, et un étiquetage précis sont critiques pour améliorer les performances de la modélisation des étudiants en aval. Les auteurs démontrent que les LLM peuvent identifier efficacement des compétences fines dans des tâches de codage ouvertes, surpassant souvent les étiquettes rédigées par des humains en puissance prédictive et en alignement avec les principes d'apprentissage cognitif.

Le travail est modestement circonscrit à l'éducation en informatique en raison des contraintes de disponibilité des données (le besoin de données de réponse ouvertes longitudinales à grande échelle). Les auteurs reconnaissent que leur pipeline repose actuellement sur des exemples en contexte et que les travaux futurs devraient explorer le raffinement avec boucle humaine, l'optimisation directe pour l'ajustement des courbes d'apprentissage, et l'application à d'autres domaines tels que les mathématiques et les sciences. Ils soulignent que leur approche vise à soutenir les éducateurs en réduisant le travail manuel, et non à remplacer le jugement humain, et recommandent un examen par des experts avant le déploiement dans de véritables contextes éducatifs.