CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

Imaginez que vous appreniez à écrire une histoire. Vous savez que l'intrigue doit avoir du sens, que les personnages doivent agir de manière cohérente et que la fin doit être satisfaisante. Mais il y a une autre couche : votre professeur veut aussi que vous utilisiez des polices spécifiques, que vous indentiez vos paragraphes d'une manière bien précise et que vous évitiez de commencer vos phrases par « Et ». Si vous réussissez l'intrigue mais que vous vous trompez de formatage, vous pourriez perdre des points. Dans le monde de la programmation informatique, ce « formatage » est appelé style de code. Il ne s'agit pas de savoir si l'ordinateur peut exécuter le programme (ce qui est l'intrigue), mais de savoir si le code est propre, organisé et facile à lire pour d'autres humains.

Pendant longtemps, les enseignants ont lutté contre cela. Ils veulent que les étudiants apprennent ces règles de soin, mais donner des commentaires sur celles-ci prend un temps infini. Si un professeur attend la fin du semestre pour dire : « Hé, tu as utilisé la mauvaise police pour tes noms de variables », l'étudiant a déjà oublié la leçon. Récemment, un nouveau type d'« assistant intelligent » appelé Modèle de Langage de Grande Taille (LLM) est apparu. Considérez ces modèles comme des robots super intelligents capables de lire votre code et de discuter avec vous à son sujet. Mais voici le piècon : ces robots sont excellents pour les conseils généraux, mais ils ne connaissent souvent pas les règles spécifiques de votre cours particulier. Ils pourraient vous dire d'écrire comme un professionnel d'un autre pays, alors que votre professeur veut simplement que vous suiviez les règles locales de l'école.

C'est le problème qu'une équipe de chercheurs de l'Université Purdue a tenté de résoudre avec un nouvel outil appelé CodeStylist. Ils voulaient voir s'ils pouvaient construire un robot qui connaît exactement ce que votre professeur veut, afin qu'il puisse vous donner des conseils utiles pendant que vous écrivez encore votre code, et non après que vous l'avez déjà rendu. Ils ne se sont pas contentés de le construire ; ils ont demandé à un groupe d'enseignants et d'assistants d'enseignement d'essayer l'outil et de dire s'il était réellement utile ou s'il s'agissait simplement d'un jouet sophistiqué qui confondrait les étudiants.

L'Expérience : Un Robot Qui Connaît le Programme

Les chercheurs ont construit CodeStylst, une application web qui agit comme un éditeur personnel pour les étudiants en codage. Au lieu de donner des conseils génériques comme « rendez votre code plus propre », CodeStylist est configuré avec le « guide de style » spécifique d'un cours particulier. C'est comme avoir un robot à qui l'on aurait donné le texte exact du syllabus et de la grille d'évaluation de votre professeur pour référence.

Voici comment cela fonctionne dans le monde réel : un étudiant télécharge ses fichiers de code (qui peuvent être un projet entier comprenant de nombreux fichiers différents, pas seulement un seul). Il indique à l'outil : « Ceci est pour mon cours de programmation en C », et l'outil envoie le code à un Modèle de Langage de Grande Taille (une IA). L'IA lit le code et génère un rapport pointant vers des lignes spécifiques. Elle dit des choses comme : « Hé, à la ligne 42, vous avez nommé cette variable 'x', mais notre règle de classe stipule que les variables doivent être descriptives, comme 'totalScore'. De plus, vous avez oublié un commentaire ici pour expliquer ce que cette partie fait. »

Crucialement, dans la version testée dans cette étude, l'outil reposait entièrement sur l'IA pour prendre ces décisions. Il ne possédait pas de programme informatique distinct et strict (un vérificateur « déterministe ») pour vérifier les faits. Il demandait à l'IA de trouver les règles et les erreurs toutes en même temps.

Le but n'était pas de corriger le code pour l'étudiant ni de le noter. Le but était d'agir comme un « compagnon de révision » — un outil pour aider les étudiants à détecter les erreurs avant d'appuyer sur le bouton de soumission. Les chercheurs voulaient savoir : Les enseignants feraient-ils confiance à ce robot ? Les étudiants l'utiliseraient-ils réellement ? Et surtout, le robot donnerait-il des conseils qui correspondent à ce que les enseignants veulent réellement ?

Ce que les Enseignants Ont Dit : Un Bilan Mitigé

Pour le découvrir, les chercheurs ont réuni 18 membres du personnel pédagogique (assistants d'enseignement et un instructeur) d'un cours d'informatique à Purdue. Ces personnes sont celles qui lisent réellement le code des étudiants chaque semaine. Ils ont reçu l'outil et l'ont testé avec de vrais exemples de code qu'ils avaient déjà vus auparavant. Ils ont ensuite rempli un sondage et partagé leurs réflexions honnêtes.

Les résultats étaient un peu comme une pièce de théâtre scolaire où les acteurs font de leur mieux, mais où le script nécessite quelques corrections.

Les Bonnes Nouvelles :
Les enseignants étaient d'accord sur le fait que l'idée était excellente. Ils ont vu que CodeStylist pouvait rendre visibles les règles invisibles. Un enseignant a noté que c'était comme avoir une « deuxième paire d'yeux » capable de repérer instantanément les erreurs de style. Ils pensaient que les étudiants utiliseraient réellement l'outil, la plupart prédisant que les étudiants vérifieraient leur code au moins une fois par semaine. Les enseignants considéraient que c'était un moyen utile de détecter les erreurs de style avant la note finale, ce qui ferait gagner du temps à tout le monde sur le long terme.

Les Mauvaises Nouvelles (et la Grande Inquiétude) :
Le problème principal était la confiance. Les enseignants ne faisaient pas totalement confiance aux réponses du robot.

• Précision : Lorsqu'on leur a demandé à quelle fréquence le robot se trompait, les enseignants ont estimé qu'il réussissait en moyenne 60,7 % du temps. Cela signifie que près de 4 fois sur 10, le robot pourrait se tromper, être confus ou donner des conseils qui ne correspondent pas aux règles de la classe. Comme l'outil reposait uniquement sur l'IA sans un correcteur automatique rigoureux en soutien, il omettait parfois des choses ou inventait des informations.
• Utilité : Sur une échelle de 1 à 5, les enseignants ont évalué l'aide apportée par les réponses à 3,50, et leur utilité à 3,33. Ce sont des scores « corrects », mais pas « exceptionnels ».
• Apprentissage : La plus grande inquiétude concernait la capacité de l'outil à réellement faire apprendre les étudiants. La note moyenne pour « l'apprentissage anticipé de l'étudiant » était de 2,61 sur 5. C'est en dessous de la moitié. Les enseignants craignaient que si le robot donnait de mauvais conseils, les étudiants les suivraient aveuglément sans réfléchir, ou seraient confus lorsque les conseils du robot entreraient en conflit avec les vraies règles de l'enseignant.

Un assistant d'enseignement était si sceptique qu'il a donné un taux de précision de 4 % à l'outil et a déclaré que les étudiants ne l'utiliseraient « Jamais ». Un autre s'inquiétait du fait que si le robot donnait de mauvais conseils, cela créerait plus de travail pour les enseignants, qui devraient ensuite réparer le désordre causé par le robot.

Le Verdict : Un Premier Jet Prometteur, Pas un Produit Fini

Les chercheurs ont conclu que CodeStylist est un début prometteur, mais qu'il n'est pas encore prêt à être l'autorité finale en classe. Les enseignants l'ont vu comme un outil utile pour vérifier le style et identifier des problèmes potentiels, mais ils ne le considéraient pas encore comme un outil capable de enseigner de manière fiable les principes profonds d'un bon codage.

L'article suggère que pour que cet outil fonctionne réellement, il doit adopter une approche « hybride ». Au lieu de laisser l'IA tout deviner, elle devrait utiliser des règles informatiques strictes et immuables (comme un correcteur orthographique) pour trouver les erreurs évidentes, puis utiliser l'IA uniquement pour expliquer pourquoi ces erreurs sont importantes. Les enseignants ont également demandé de meilleurs aides visuels, comme la mise en évidence de la ligne de code exacte et l'affichage de la règle spécifique que l'étudiant a enfreinte, afin que les étudiants puissent vérifier eux-mêmes les conseils.

En résumé, l'étude suggère que bien que le feedback sensible au contexte du cours soit une excellente idée, la version actuelle de CodeStylist est un peu trop peu fiable pour être le meilleur ami d'un enseignant car elle manque de ce support informatique strict. C'est un premier jet utile qui nécessite plus de travail pour garantir qu'il n'enseigne pas accidentellement aux étudiants la mauvaise façon d'écrire du code. Les chercheurs pensent que s'ils parviennent à corriger les problèmes de précision et à rendre le feedback plus facile à vérifier, ce type d'outil pourrait changer la donne pour aider les étudiants à écrire un code plus propre et plus professionnel.