💬 NLP

CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

Le papier propose CodeGENCAT, un cadre de test adaptatif informatisé génératif qui exploite un modèle de théorie de réponse aux items génératif pour prédire les réponses de code des étudiants et sélectionner des questions en fonction de la diversité des styles de codage et de l'incertitude des réponses, surpassant ainsi les bases traditionnelles dans l'évaluation des connaissances en programmation.

Auteurs originaux : Wanyong Feng, Alexander Scarlatos, Ruochen Sun, Andrew Lan

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wanyong Feng, Alexander Scarlatos, Ruochen Sun, Andrew Lan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant essayant de déterminer exactement à quel point un élève est compétent en programmation. Dans un test traditionnel, l'enseignant pose une question, l'élève répond, et l'enseignant la note simplement comme « Juste » ou « Faux ». Sur la base de cette seule note, l'enseignant choisit la question suivante : si l'élève a eu raison, la suivante est plus difficile ; s'il a eu tort, elle est plus facile.

Le Problème avec l'Ancienne Méthode
L'article soutient que ce système « Juste/Faux » jette une grande quantité d'informations utiles. Imaginez deux élèves qui échouent tous deux à un problème de programmation.

L'Élève A a fait une toute petite faute de frappe (un point-virgule manquant).
L'Élève B a écrit un code dont la logique était complètement erronée.

Dans un test traditionnel, les deux sont simplement « Faux ». L'enseignant ne peut pas faire la différence, il ne peut donc pas adapter la question suivante pour aider l'élève spécifique. C'est comme un médecin traitant une jambe cassée et un mal de tête avec exactement le même comprimé, simplement parce que le patient a dit « Je me sens mal ».

La Solution : CodeGENCAT
Les auteurs proposent un nouveau système appelé CodeGENCAT. Au lieu d'attendre simplement qu'un élève réponde, ce système utilise un « Jumeau Numérique » (une IA) pour prédire ce que l'élève écrirait avant que l'élève ne réponde réellement.

Voici comment cela fonctionne, étape par étape, en utilisant une analogie culinaire :

1. Le Chef « Jumeau Numérique » (Le Modèle GIRT)

Imaginez que vous voulez savoir à quel point un élève est doué en cuisine. Au lieu de lui demander de cuisiner un repas complet tout de suite, vous avez un chef IA super-intelligent qui connaît le niveau de compétence actuel de l'élève.

Si l'élève est un débutant, l'IA prédit qu'il couperait les légumes de manière irrégulière ou oublierait de saler la soupe.
Si l'élève est un expert, l'IA prédit qu'il utiliserait des compétences précises avec le couteau et un assaisonnement parfait.

Dans l'article, cette IA est appelée le modèle de Théorie de la Réponse aux Items Générative (GIRT). Il prend les connaissances estimées de l'élève et génère un morceau de code qui ressemble exactement à ce que cet élève spécifique écrirait. Il ne se contente pas de deviner « Juste » ou « Faux » ; il génère le véritable code, y compris les bugs et les erreurs spécifiques que l'élève est susceptible de commettre.

2. La « Sélection du Menu » (Sélection de la Question)

Une fois que l'IA a prédit ce que l'élève écrirait, le système doit décider : « Quelle question devrions-nous poser à l'élève ensuite pour apprendre le plus ? »

L'article introduit trois façons de choisir la question suivante, comme un chef choisissant l'ingrédient suivant à tester :

Le Chef de l'Incertitude : Choisit une question où l'IA est la plus confuse quant à savoir si l'élève aura raison ou tort (un pari 50/50). C'est la zone classique « Boucle d'Or » — ni trop facile, ni trop difficile.
Le Chef de la Diversité : Choisit une question où l'IA pense que l'élève pourrait écrire de nombreux types de code différents. Si l'IA est incertaine comment l'élève va résoudre le problème, cette question est très informative.
Le Chef de l'Information : Choisit la question qui, basée sur le code prédit, donnera le plus grand « choc » à la compréhension du système concernant l'élève, aidant à affiner l'estimation des compétences le plus rapidement.

3. L'Entraînement (Enseigner à l'IA)

Pour s'assurer que ce « Jumeau Numérique » est précis, les auteurs l'ont entraîné en deux étapes :

Ajustement Fin Supervisé (SFT) : Ils ont appris à l'IA à examiner les réponses passées d'un élève et à apprendre à les imiter.
Optimisation Directe des Préférences (DPO) : C'est le secret. Ils ont réalisé que l'IA devenait parfois paresseuse et écrivait le même code « parfait » même pour les débutants. Alors, ils ont appris à l'IA à être honnête : « Si l'élève est un débutant, tu dois générer un code avec des erreurs. » Cela garantit que les prédictions de l'IA sont réalistes et variées.

Les Résultats

Les chercheurs ont testé cela sur de vrais ensembles de données de programmation (Java et Python). Ils ont constaté que CodeGENCAT était bien meilleur pour déterminer le véritable niveau de compétence d'un élève que les méthodes traditionnelles, en particulier dans les premières questions du test.

L'Analogie : C'est comme la différence entre un enseignant qui demande « As-tu eu raison ? » et un enseignant qui dit « Laisse-moi deviner exactement comment tu as essayé de résoudre le problème, puis je poserai la question de suivi parfaite pour corriger ton incompréhension spécifique. »

Points Clés à Retenir

Ne regardez pas seulement le score : L'article affirme que regarder le code réel (même le code prédit) donne des informations beaucoup plus riches qu'une simple étiquette « Réussi/Échoué ».
La détection précoce compte : Le système est le plus puissant au début d'un test, aidant à identifier les points forts et les faiblesses d'un élève beaucoup plus rapidement que les anciennes méthodes.
Sécurité : Le système parvient également à maintenir la sécurité du test, garantissant que tous les élèves ne reçoivent pas exactement les mêmes questions, ce qui est un problème courant dans les tests adaptatifs.

En bref, CodeGENCAT utilise l'IA pour simuler l'esprit d'un élève, permettant au test de s'adapter non seulement à savoir s'ils ont eu raison, mais comment ils pensent, conduisant à une évaluation beaucoup plus précise et personnalisée.

Résumé Technique : CodeGENCAT

Énoncé du Problème
Les cadres existants de Tests Adaptatifs Informatisés (TAI) reposent principalement sur la Théorie de la Réponse à l'Item (TRI) pour sélectionner des questions en fonction de la probabilité prédite qu'un élève réponde correctement. Dans ce paradigme, les réponses des élèves sont compressées en étiquettes binaires de justesse (correct/incorrect). Cette abstraction élimine l'information diagnostique riche inhérente aux réponses ouvertes, une limitation particulièrement aiguë dans l'éducation à la programmation. Dans les tâches de codage, deux élèves peuvent tous deux échouer à une question, pourtant leurs soumissions de code peuvent révéler des niveaux de compréhension radicalement différents : l'un pourrait présenter une erreur de syntaxe mineure tandis que l'autre démontre une lacune conceptuelle fondamentale. Traiter les deux comme simplement « incorrects » ignore la nature spécifique de l'erreur, entravant la capacité du système à modéliser avec précision la compréhension conceptuelle et la capacité de codage.

Méthodologie
Les auteurs proposent CodeGENCAT (Test Adaptatif Informatisé Génératif pour Problèmes de Codage Ouverts), un cadre qui exploite les Grands Modèles de Langage (LLM) pour sélectionner des questions basées sur des réponses de code ouvertes prédites plutôt que sur des résultats binaires. La méthodologie se compose de trois composants principaux :

Modèle de Théorie de la Réponse à l'Item Générative (GIRT) :
- Représentation des Connaissances : Les connaissances de l'élève sont représentées sous forme d'un vecteur latent $z_i$ projeté vers des niveaux de maîtrise explicites ( $\theta_i$ ) pour des Composantes de Connaissances (CC) spécifiques via un Perceptron Multicouche (MLP).
- Génération de Code : Un LLM génère des réponses de code prédites conditionnées par le texte de la question et les connaissances estimées de l'élève. Pour combler le fossé entre les niveaux de maîtrise scalaires et les entrées du LLM, les auteurs emploient une technique de « soft prompting ». Les niveaux de maîtrise sont interpolés linéairement entre des embeddings pré-entraînés de « VRAI » et « FAUX » pour créer des embeddings continus injectés dans l'invite.
- Stratégie d'Entraînement : Le modèle subit un processus d'entraînement en deux étapes :
  - Affinement Supervisé (SFT) : Le modèle apprend à générer du code conditionné par les connaissances tout en minimisant la vraisemblance négative logarithmique. Une perte auxiliaire aligne la maîtrise prédite moyenne avec le score de justesse de vérité terrain.
  - Optimisation Directe des Préférences (DPO) : Pour remédier à l'effondrement de mode (où le modèle génère un code identique indépendamment des connaissances d'entrée), une étape d'apprentissage par renforcement est introduite. Des paires de préférences sont formées en comparant les réponses réelles des élèves avec les réponses d'autres élèves moins probables compte tenu des connaissances de l'élève actuel. Le DPO affine le modèle pour garantir que les réponses générées varient sémantiquement en fonction de l'état des connaissances d'entrée.
Algorithmes de Sélection de Questions :
CodeGENCAT utilise le modèle GIRT pour échantillonner $N$ réponses de code potentielles pour des questions candidates. Trois critères de sélection sont proposés pour déterminer la question suivante :
- Basé sur l'Incertitude : Sélectionne la question où le score de justesse prédit moyen est le plus proche de 0,5, maximisant le gain d'information concernant la probabilité de justesse.
- Basé sur la Diversité : Sélectionne la question où les réponses de code échantillonnées présentent la plus grande diversité sémantique (mesurée via la similarité cosinus par paires des embeddings CodeBERT), indiquant une forte incertitude sur la manière dont l'élève pourrait répondre.
- Basé sur l'Information de Fisher : Sélectionne la question qui maximise la trace de la matrice d'information de Fisher, visant à réduire le plus significativement l'incertitude concernant le vecteur de connaissances latentes de l'élève.
Cycle de Test Adaptatif :
Le système initialise les connaissances latentes d'un élève à l'aide d'une priorité de population. À chaque étape, il échantillonne des réponses à partir du modèle GIRT pour les questions candidates, les note en utilisant l'algorithme de sélection, administre la question la mieux notée, et met à jour les connaissances latentes de l'élève par descente de gradient basée sur la réponse réelle.

Contributions Clés

Cadre TAI Génératif : Le premier cadre TAI spécifiquement conçu pour les problèmes de codage ouverts qui utilise les réponses de code prédites des élèves pour la sélection de questions, dépassant la justesse binaire.
Modèle GIRT : Un modèle novateur combinant une représentation de connaissances latentes avec une génération de code pilotée par LLM, entraîné avec SFT et DPO pour garantir que les réponses générées s'alignent sur les connaissances estimées de l'élève.
Algorithmes de Sélection Novateurs : Trois algorithmes distincts (Incertitude, Diversité, Information) qui exploitent les capacités génératives pour évaluer l'informativité des questions dans le contexte des réponses ouvertes.

Résultats Expérimentaux
Le cadre a été évalué sur deux jeux de données réels : CodeWorkout (soumissions Java) et ProgFeed (soumissions Python).

Performance : CodeGENCAT a constamment surpassé des bases de référence solides (TRI 1PL, BOBCAT, NCAT, LACAT) dans l'estimation des connaissances des élèves, mesurée par la Surface sous la Courbe (AUC) et la Précision.
Gains en Phase Précoce : Les améliorations les plus significatives se sont produites dans les premières étapes du test ( $t=1$ à $t=7$ ). Sur CodeWorkout, l'algorithme de sélection basé sur la diversité a réalisé une amélioration de 4,32 % de l'AUC par rapport à la base de référence la plus forte dès la première étape.
Variance des Algorithmes : L'algorithme de sélection optimal variait selon le jeu de données et l'étape du test. La diversité a performé le mieux lors des premières étapes sur CodeWorkout, tandis que la sélection basée sur l'information était constamment supérieure sur ProgFeed et lors des étapes ultérieures sur CodeWorkout.
Sécurité du Test : CodeGENCAT a maintenu des métriques de sécurité de test compétitives (taux d'exposition et de chevauchement des questions), démontrant qu'il peut équilibrer l'efficacité avec les exigences de sécurité.
Études d'Ablation : L'étude a confirmé que l'alignement DPO est critique pour que le modèle génère des réponses diversifiées et conditionnées par les connaissances. Les modèles de base plus grands (3B contre 1B) ont montré des bénéfices dépendants du jeu de données, et réduire le nombre de réponses échantillonnées ( $N$ ) de 10 à 3 a offert des économies de temps significatives avec une perte de précision minimale.

Signification et Revendications
L'article revendique que CodeGENCAT représente une avancée significative dans le test adaptatif pour l'éducation à la programmation en exploitant l'information riche contenue dans le code ouvert. En déplaçant le focus de « si un élève va échouer » vers « comment un élève pourrait échouer », le cadre capture des erreurs et des conceptions erronées spécifiques que les modèles binaires manquent. Les auteurs affirment que cette approche conduit à une estimation des connaissances plus précise et efficace, en particulier pendant les phases critiques de début de test. Ils notent que bien que l'évaluation actuelle soit confinée à l'informatique introductive, le cadre est théoriquement adaptable à d'autres domaines ouverts, à condition que des jeux de données appropriés soient disponibles. Le travail met en évidence le potentiel des modèles génératifs pour améliorer la modélisation psychométrique sans rejeter la nuance du contenu généré par l'élève.