Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
Cet article présente une analyse sur quatre ans des soumissions de programmation d'étudiants de premier cycle afin d'introduire une taxonomie tridimensionnelle des commentaires d'étudiants utilisés comme spécifications pour la génération de code par IA, révélant que les étudiants écrivent principalement des commentaires de type « Quoi », passent aux commentaires de type « Comment » pour les tâches procédurales, et privilégient la vérification du code généré plutôt que la réécriture répétée des spécifications.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef, mais au lieu de couper des légumes et de remuer des casseroles, vous êtes le « Commandant » d'un sous-chef robotique hyper-rapide et hyper-créatif. Votre travail n'est pas de cuisiner le repas vous-même ; il s'agit d'écrire les instructions de la recette en anglais simple pour que le robot cuisine. C'est exactement ce qu'un groupe de chercheurs a observé faire à 1 161 étudiants universitaires pendant quatre ans dans un cours d'informatique. Ils n'écrivaient pas de code ligne par ligne ; ils écrivaient des commentaires (de petites notes) pour dire à un outil d'IA appelé GitHub Copilot comment construire un programme.
Voici ce que les chercheurs ont découvert sur la façon dont ces étudiants-commandants parlaient à leurs assistants robots.
La découverte principale : « Quoi » vs « Comment »
La plus grande surprise ? La plupart des étudiants ne parlaient pas comme des programmeurs. Ils parlaient comme des personnes décrivant un objectif.
- Le groupe du « Quoi » (77 %) : La grande majorité des notes écrites par les étudiants concernaient ce qu'ils voulaient obtenir comme résultat. Par exemple, au lieu de dire « Parcourez cette liste et vérifiez les nombres », ils écrivaient : « Si le nombre est négatif, renvoyez faux ». Ils décrivaient la destination, pas les directions de conduite.
- Le passage au « Comment » : Cependant, quand la tâche devenait complexe — comme lorsqu'il fallait répéter une étape de nombreuses fois ou effectuer une séquence d'actions complexes — les étudiants changeaient de mode. Ils commençaient à écrire des commentaires de type « Comment », donnant des ordres de marche étape par étape. C'est comme quand vous dites à un ami : « Fais-moi un sandwich » (le quoi), mais si vous avez besoin d'un club sandwich spécifique et compliqué, vous devez soudainement dire : « D'abord grille le pain, puis superpose la dinde, puis ajoute les cornichons... » (le comment).
La règle du « Ne modifiez pas la recette »
Vous pourriez penser que si le robot fait une erreur, l'étudiant réécrirait frénétiquement les instructions encore et encore. L'article soutient le contraire.
Les données montrent que les étudiants réécrivaient rarement leurs commentaires. En fait, une fois qu'ils avaient écrit un commentaire, ils le laissaient généralement tel quel.
- La réalité : Sur 100 commentaires, environ 48 n'ont pas été touchés du tout, et 41 autres étaient totalement nouveaux. Seule une infime fraction (environ 4 %) a été lourdement réécrite ou complètement abandonnée.
- Le vrai travail : Alors, s'ils ne réécrivaient pas les notes, que faisaient-ils ? Ils agissaient comme des inspecteurs de qualité stricts. Les étudiants consacraient leur énergie à vérifier le travail du robot, à exécuter des tests et à corriger le code que le robot produisait, plutôt qu'à modifier constamment leurs propres instructions. L'article suggère que la partie difficile n'était pas d'écrire l'instruction (le prompt), mais de vérifier le résultat.
Ce que les étudiants ont dit (Les réflexions)
Après les tâches, les étudiants ont écrit des réflexions, et les chercheurs ont trouvé 13 thèmes principaux. En voici les plus importants :
- La vitesse est reine : Les étudiants adoraient l'outil parce qu'il était rapide. Il était perçu comme un « échafaudage » qui les aidait à démarrer rapidement sans rester bloqués sur des détails ennuyeux.
- Le piège de la « Familiarité » : Le robot était excellent pour les tâches simples et répétitives (comme le code de base/boilerplate), mais il avait du mal lorsque la tâche était étrange, très spécifique ou nécessitait une solution unique.
- Le problème de la confiance : Même si le robot était rapide, les étudiants savaient qu'ils ne pouvaient pas lui faire confiance aveuglément. Ils ressentaient un lourd « fardeau de vérification ». Ils devaient tout revérifier car le robot donnait parfois des réponses qui semblaient correctes mais qui étaient en fait fausses.
- Apprentissage vs Béquilles : Certains étudiants craignaient que s'ils comptaient trop sur le robot, ils n'apprendraient pas à cuisiner par eux-mêmes. Ils sentaient que l'utilisation de l'outil comme une « béquille » pourrait nuire à leur propre capacité à résoudre des problèmes plus tard.
Ce que l'article écarte
Il est important de savoir ce que cette étude n'a pas trouvé.
- Ce n'est PAS un « Bouton Magique » : L'article rejette explicitement l'idée que les étudiants demandaient simplement une solution complète à l'IA et partaient faire autre chose. Cela ne fonctionnait pas bien. Les étudiants qui réussissaient étaient ceux qui traitaient l'IA comme un partenaire qu'ils devaient guider et vérifier.
- Ce n'est PAS une question de code « Parfait » : L'étude n'a pas trouvé que l'IA produisait toujours un code parfait. En fait, les étudiants ont noté que l'IA ajoutait souvent du code non désiré ou manquait de petits détails techniques.
- Ce n'est PAS un problème « Résolu » : L'article ne prétend pas que l'enseignement du "prompting" d'IA aux étudiants est facile ou que tout le monde est désormais expert. Il suggère que c'est un nouvel ensemble de compétences qui nécessite de la pratique, notamment pour savoir quand être spécifique et quand vérifier le travail.
À quel point sommes-nous sûrs ?
Les chercheurs sont très confiants dans ces chiffres car ils ont examiné un ensemble de données massif : 10 257 tentatives de soumission provenant de quatre années de cours. Ils ont utilisé des outils automatisés pour compter plus de 136 000 commentaires et ont analysé les réflexions des étudiants avec une grande précision.
- Ils ont constaté que 99,3 % des étudiants ont fini par faire passer leur code aux tests.
- Ils ont mesuré les « ajustements » des commentaires avec une précision mathématique, constatant que les réécritures lourdes étaient rares.
- Cependant, l'article admet certaines limites : il s'agissait d'un seul cours universitaire utilisant Java. Nous ne savons pas si ces mêmes schémas se produisent exactement dans un autre langage ou dans un autre type de cours. De plus, l'étude n'a examiné que les commentaires que les étudiants ont soumis, et non ceux qu'ils auraient pu taper et effacer au milieu de leur travail.
La conclusion
L'article suggère que, à l'ère de l'IA, la compétence la plus importante n'est pas seulement de taper du code, mais de spécifier ce que vous voulez et de vérifier que vous l'avez obtenu. Les étudiants ont appris que rédiger un « Quoi » clair est la première étape, mais que la vraie magie opère lorsqu'on agit comme un patron, en vérifiant le travail du robot et en n'intervenant pour donner des instructions de type « Comment » que lorsque le robot s'égare. Il ne s'agit pas de laisser l'IA réfléchir à votre place, mais d'apprendre à lui parler pour qu'elle réfléchisse avec vous.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.