💬 NLP

Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

Cette étude propose un cadre automatisé exploitant les grands modèles de langage pour générer des étiquettes de justesse au niveau des composantes de connaissances dans les problèmes de codage ouverts, permettant ainsi d'améliorer la modélisation de l'apprentissage et la prédiction des performances des étudiants par rapport aux méthodes traditionnelles.

Auteurs originaux : Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à cuisiner. Si vous essayez de faire un gâteau et que le résultat est raté, un enseignant traditionnel pourrait simplement dire : « Mauvais gâteau, 0/10 ». C'est ce qu'on appelle une note globale.

Mais imaginez un meilleur scénario : l'enseignant regarde votre gâteau et dit : « Tu as bien battu les œufs (super !), mais tu as oublié la levure (problème), et tu as brûlé le fond (erreur). » C'est une analyse détaillée.

C'est exactement ce que fait cette recherche. Les auteurs veulent passer de la « note globale » à l'« analyse détaillée » pour les élèves qui apprennent à coder.

Voici l'explication de leur travail, pièce par pièce :

1. Le Problème : Le « Tout ou Rien » ne marche pas

Dans les cours de programmation, les élèves écrivent du code pour résoudre des problèmes. Souvent, un problème demande d'utiliser plusieurs petites compétences à la fois (comme une boucle, une condition, ou une fonction mathématique). On appelle ces petites compétences des Composantes de Connaissance (KC).

Le problème actuel ? Les bases de données scolaires ne disent souvent que : « L'élève a réussi ou échoué au problème entier ».

L'analogie : C'est comme si un professeur de piano vous disait « Vous avez raté le concert » alors que vous aviez joué parfaitement la moitié de la partition, mais vous aviez oublié un accord à la fin.
La conséquence : Si on utilise cette note globale pour tout, on pense que l'élève ne sait rien faire, alors qu'il maîtrise déjà certaines parties. Cela fausse les courbes d'apprentissage et empêche le système d'adapter le cours correctement.

2. La Solution : Un « Super-Chef » Robot (l'IA)

Pour résoudre ça, les chercheurs ont utilisé une Intelligence Artificielle très puissante (un Grand Modèle de Langage, ou LLM, comme GPT-4 ou Qwen).

Au lieu de simplement regarder si le code fonctionne, ils demandent à l'IA de jouer le rôle d'un détective du code.

Comment ça marche ? On donne à l'IA le problème, le code de l'élève, et la liste des compétences requises.
La méthode : L'IA ne se contente pas de donner un verdict. Elle réfléchit étape par étape (comme un humain) : « Est-ce que l'élève a utilisé la boucle ? Oui. Est-ce qu'il l'a utilisée correctement ? Non, il a fait une erreur de logique ici. »
Le résultat : Au lieu d'une seule note « Échec », l'IA produit une liste de notes : « Boucle : Échec », « Variable : Succès », « Condition : Succès ».

3. L'Astuce Magique : Le Contexte Temporel

Il y a un défi : un élève peut écrire du code très différent selon la stratégie qu'il choisit. Comment savoir quelles compétences il a vraiment utilisées ?

Les chercheurs ont inventé un système de mappage intelligent :

Ils regardent le dernier essai de l'élève (qui est souvent le plus proche de la solution finale) pour deviner quelle « stratégie » il a adoptée.
Ensuite, ils regardent son premier essai (le plus important pour voir ce qu'il savait au début) et ils disent à l'IA : « Regarde ce premier code, mais compare-le uniquement aux compétences de la stratégie qu'il a choisie plus tard. »
L'analogie : C'est comme si un coach sportif regardait votre première tentative de saut en longueur, mais en sachant que vous aviez choisi de courir vite plutôt que de sauter haut, pour juger correctement votre technique de départ.

4. Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur méthode sur des milliers d'étudiants en Java.

Courbes d'apprentissage : Avec leur méthode, les courbes montrent clairement que les élèves s'améliorent avec le temps (ce qui est logique !). Avec l'ancienne méthode (note globale), les courbes étaient bizarres et ne montraient pas de progression.
Prédiction : Leur système prédit beaucoup mieux si un élève réussira la prochaine fois.
Validation humaine : Quand des experts humains ont comparé leurs notes avec celles de l'IA, ils étaient d'accord dans la grande majorité des cas. L'IA est devenue un assistant très fiable.

En résumé

Cette recherche propose d'utiliser l'IA pour décomposer la réussite ou l'échec d'un élève en programmation. Au lieu de dire « Tu as raté », l'IA dit « Tu as bien compris ceci, mais tu as besoin de travailler cela ».

C'est comme passer d'un thermomètre qui vous dit juste « il fait chaud » à un météo-local qui vous dit exactement où il pleut et où il fait soleil, permettant à l'élève de savoir exactement où mettre son parapluie pour apprendre plus vite.

1. Problématique

Dans le domaine de la modélisation des étudiants et de l'analyse des apprentissages, les composants de connaissances (Knowledge Components - KCs) sont des unités fines de compétences ou de concepts essentiels. Pour modéliser précisément la maîtrise d'un étudiant, il est crucial de disposer d'étiquettes de justesse (correct/incorrect) au niveau de chaque KC.

Cependant, dans les ensembles de données réels, en particulier pour les problèmes de programmation ouverts, ces étiquettes fines sont rares. On dispose généralement uniquement d'une étiquette de justesse au niveau du problème entier.

Limitation des approches actuelles : Propager l'étiquette de justesse du problème à tous les KCs associés est problématique. Un étudiant peut maîtriser certains KCs tout en échouant sur d'autres au sein d'un même problème. Cette approche « tout ou rien » masque la maîtrise partielle, ce qui conduit à des courbes d'apprentissage mal ajustées (ne suivant pas la loi de la pratique) et à une faible performance prédictive.
Défi spécifique : L'obtention manuelle de ces étiquettes est laborieuse, sujette à des biais et difficilement évolutive. Les méthodes automatiques précédentes basées sur les arbres de syntaxe abstraite (AST) se concentrent souvent sur la syntaxe de surface et négligent les KCs algorithmiques de haut niveau.

2. Méthodologie

Les auteurs proposent un cadre automatisé exploitant les Grands Modèles de Langage (LLM) pour étiqueter directement la justesse de chaque KC à partir du code écrit par l'étudiant.

A. Stratégie de Prompting (Chain-of-Thought)

Le système utilise un modèle LLM (GPT-4o ou Qwen3 Coder) avec une stratégie de chaîne de pensée (Chain-of-Thought - CoT). Pour chaque paire (problème, soumission), le modèle reçoit :

L'énoncé du problème.
Le code soumis par l'étudiant.
L'ensemble des KCs associés au problème.
Quelques exemples in-context (démonstrations few-shot) soigneusement construits.

Le modèle est invité à raisonner étape par étape :

Déterminer si un KC spécifique est présent dans le code de l'étudiant.
Évaluer si l'application de ce KC est correcte.
Produire une étiquette binaire (Correct/Incorrect) pour chaque KC.
Si un KC requis n'est pas utilisé, il est étiqueté comme incorrect.

B. Génération Automatique de KCs

Le cadre est flexible et fonctionne avec n'importe quel ensemble de KCs. Les auteurs expérimentent également avec des KCs générés automatiquement par LLM pour capturer la diversité des stratégies de résolution, évitant ainsi les biais des ensembles de KCs créés manuellement qui peuvent être trop restrictifs ou incomplets.

C. Mécanisme de Mapping Code-KC Contextuel Temporel

Pour améliorer la précision, l'article introduit un mécanisme de mise en correspondance contextuelle et temporelle :

Problème : Un étudiant peut utiliser une stratégie de solution spécifique qui n'active qu'un sous-ensemble des KCs possibles pour un problème.
Solution : Le système identifie la stratégie de l'étudiant en comparant son dernier essai (souvent complet ou presque correct) avec des solutions de référence correctes, en utilisant l'embedding de CodeBERT.
Application : Une fois la solution de référence la plus proche identifiée, le système attribue les KCs pertinents de cette solution au premier essai de l'étudiant pour l'évaluation. Cela permet d'évaluer la maîtrise initiale des KCs sans être biaisé par les comportements de débogage des tentatives ultérieures.

3. Contributions Clés

Première étude systématique de l'utilisation des LLM pour l'étiquetage de la justesse au niveau des KCs dans des problèmes de codage ouverts.
Développement d'un cadre de prompting CoT qui guide le modèle à raisonner sur la présence et la justesse de chaque KC, produisant des étiquettes binaires interprétables.
Innovation dans le mapping Code-KC : Introduction d'une méthode de sélection de KCs basée sur la similarité sémantique entre le dernier essai de l'étudiant et les solutions de référence, permettant une attribution plus fine.
Validation rigoureuse : Comparaison avec des méthodes baselines (étiquetage au niveau du problème) et évaluation par des experts humains.

4. Résultats Expérimentaux

Les expériences ont été menées sur l'ensemble de données CodeWorkout (10 834 codes, 246 étudiants, 50 problèmes Java).

Ajustement des courbes d'apprentissage (Power Law of Practice) :
- Les étiquettes générées par LLM (GPT-4o et Qwen3) suivent beaucoup mieux la loi de la pratique que la baseline.
- Réduction significative de l'erreur quadratique moyenne (RMSE) et augmentation du coefficient de détermination ( $R^2$ ). Par exemple, avec GPT-4o et des KCs sélectionnés, le RMSE passe de 0.110 (baseline) à 0.069.
Performance Prédictive (Additive Factors Model - AFM) :
- L'utilisation des étiquettes LLM améliore la capacité du modèle AFM à prédire les performances futures des étudiants (mesurée par l'AUC). L'AUC atteint 0.631 pour GPT-4o contre 0.529 pour la baseline.
Étude Ablative (CoT) :
- L'utilisation de la stratégie de Chain-of-Thought améliore significativement les résultats par rapport à un prompting direct sans raisonnement intermédiaire, confirmant que la tâche nécessite une analyse structurelle du code.
Évaluation Humaine :
- Accord substantiel entre les annotations LLM et les experts humains (Kappa de Cohen de 0.74).
- Accord presque parfait entre deux annotateurs humains (Kappa de 0.86), validant la fiabilité des étiquettes générées par l'IA.

5. Signification et Impact

Ce travail démontre que les LLM peuvent remplacer les heuristiques simplistes et les annotations manuelles coûteuses pour fournir des étiquettes de justesse fines et cognitivement fondées.

Pour l'analyse de l'apprentissage : Cela permet de visualiser des courbes d'apprentissage réalistes, où la décroissance des erreurs reflète véritablement l'acquisition de compétences, même si le problème global est raté.
Pour les systèmes adaptatifs : Des estimations de maîtrise précises au niveau des KCs permettent des interventions pédagogiques ciblées (feedback diagnostique, séquençage du contenu), évitant ainsi de sauter des pratiques nécessaires ou de fournir un soutien redondant.
Évolutivité : La méthode offre une solution scalable pour l'analyse des données d'apprentissage dans l'éducation informatique, rendant possible l'exploitation de grands ensembles de données de codage ouverts.

En conclusion, cette approche transforme la manière dont les systèmes éducatifs interprètent les erreurs de programmation, passant d'une vision binaire (succès/échec global) à une compréhension nuancée de la maîtrise des compétences individuelles.