Changes in Coding Behavior and Performance Since the Introduction of LLMs

Résumé Technique : Évolution des comportements de codage et de la performance depuis l'introduction des LLM

Énoncé du Problème
L'intégration rapide des modèles de langage de grande taille (LLM) et des outils de codage agentiques dans les flux de travail de développement de logiciels a fondamentalement modifié la manière dont les étudiants abordent les tâches de programmation. Bien que ces outils promettent une productivité accrue, ils introduisent des défis importants pour les éducateurs : distinguer la compréhension réelle de l'étudiant de la production générée par l'IA, et évaluer si les objectifs d'apprentissage sont atteints lorsque la « charge mécanique » du codage est déchargée. La littérature existante offre des comptes divergents concernant l'impact des LLM sur l'apprentissage, allant des effets de tutorat améliorés aux préjudices causés par une dépendance excessive. Il existe un manque de preuves empiriques longitudinales quantifiant comment les comportements de codage et les résultats d'apprentissage ont évolué spécifiquement avant et après l'adoption massive des LLM.

Méthodologie
Cette étude utilise un design quasi-longitudinal analysant les soumissions de code source d'un cours de Cloud Computing de niveau master à l'Université Carnegie Mellon. Le jeu de données s'étend sur 10 semestres (automne 2020 à printemps 2025), couvrant cinq semestres avant la sortie de ChatGPT (novembre 2022) et cinq semestres après sa sortie.

• Source de Données : L'analyse se concentre sur une soumission de code spécifique, une tâche statique (la « tâche PageRank ») au sein d'un projet individuel. Cette tâche a été choisie car sa spécification et son code de départ sont restés inchangés de 2020 à 2025, permettant une comparaison directe des solutions. Elle implique l'implémentation de l'algorithme PageRank sur un graphe social avec un code de départ minimal (60 lignes).
• Métriques Définies :
  • Comportement de Codage : Nombre de soumissions (tentatives), Distance d'Édition Totale (somme des changements de lignes entre soumissions consécutives utilisant l'algorithme de Myers) et Distance d'Édition Moyenne.
  • Performance : Score de la Tâche (score de la soumission finale PageRank auto-corrigé), Score IP (somme des 5 meilleurs scores de projets individuels) et Score TP (scores de projets d'équipe).
  • Efficacité de l'Apprentissage : « Effet de Soumission Moyenne », défini comme le changement moyen du score de la tâche entre deux soumissions consécutives divisé par le nombre de soumissions.
• Contraintes : La collaboration et le codage assisté par IA étaient interdits pour les projets individuels. L'étude repose sur des indicateurs comportementaux (distances d'édition et modèles de soumission) plutôt que sur l'auto-déclaration de l'usage des LLM, reconnaissant que les étudiants peuvent sous-déclarer l'usage abusif.

Résultats Clés
L'étude identifie des changements statistiquement significatifs dans le comportement de codage et les corrélations de performance suite à l'introduction des LLM :

1. Changements Comportementaux (Post-2022) :

   • Augmentation du Volume de Soumissions : La médiane du nombre de soumissions par étudiant a augmenté de 50 % (passant de 2 à 3 tentatives).
   • Expansion du Volume de Code : La médiane de la Distance d'Édition Totale a augmenté de 500 %, et la médiane de la Distance d'Édition Moyenne a augmenté de 300 %. Cela suggère que les étudiants effectuent des changements plus importants et moins incrémentaux entre les soumissions.
   • Gonflement du Code (Code Bloat) : Les soumissions finales pour des scores parfaits comportent nettement plus de lignes de code (comme illustré dans la Figure 1), ce qui est cohérent avec la tendance des LLM à générer de la documentation, du boilerplate ou du formatage non sollicité.

2. Résultats de Performance :

   • Score de la Tâche : Est resté stable, presque tous les étudiants obtenant un score parfait sur la tâche PageRank dans tous les semestres, indiquant que la tâche elle-même est peut-être trop simple pour différencier la performance.
   • Score du Projet Individuel (IP) : A montré une légère baisse du score moyen après ChatGPT.
   • Score du Projet d'Équipe (TP) : A montré une augmentation modérée, suggérant potentiellement que l'IA agit comme un « membre d'équipe non officiel » aidant les individus compétents.

3. Corrélations et Efficacité :

   • Déclin de l'Efficacité de l'Apprentissage : L'« Effet de Soumission Moyenne » (amélioration du score par édition) a diminué de manière significative à partir du printemps 2024. Les étudiants effectuent plus d'éditions mais obtiennent des gains de score plus faibles.
   • Corrélation Négative : Il existe une corrélation négative statistiquement significative ($corr = -0,16, p < 0,001$) entre la Distance d'Édition Moyenne et le Score IP. Pour chaque tranche supplémentaire de 60 lignes de distance d'édition moyenne, les scores IP ont diminué d'environ 1 %.
   • Changement de Dynamique d'Équipe : Avant ChatGPT, des distances d'édition plus élevées étaient corrélées à des scores d'équipe plus faibles ; cette corrélation a disparu après ChatGPT, suggérant que les LLM peuvent masquer les lacunes d'apprentissage individuelles au sein des équipes.

Principales Contributions

• Preuve Empirique : Il s'agit de la première étude complète fournissant des données longitudinales sur les changements de comportement de codage sur 10 semestres consécutifs, isolant spécifiquement la période précédant et suivant la prolifération des LLM.
• Indicateurs Comportementaux : L'article établit que l'augmentation des distances d'édition et du nombre de soumissions, couplée à la réduction de l'amélioration du score par édition, sert de solide indicateur comportemental d'une potentielle dépendance excessive aux LLM, même en l'absence de journaux d'utilisation directs.
• Découplage de la Performance et de l'Apprentissage : L'étude démontre que des scores élevés aux devoirs (Score de la Tâche) ne garantissent plus l'efficacité de l'apprentissage. Les étudiants peuvent obtenir des scores parfaits avec un code nettement plus « gonflé » et une itération moins stratégique, masquant un déclin des véritables capacités de résolution de problèmes.

Signification et Revendications
Les auteurs affirment que les changements de comportement observés sont cohérents avec l'hypothèse selon laquelle les étudiants sont excessivement dépendants des LLM, ce qui affecte négativement leurs résultats d'apprentissage malgré une performance de surface stable ou améliorée.

• Alerte Éducative : Les conclusions soulèvent des inquiétudes concernant la première génération de diplômés entrant sur le marché du travail à l'ère des LLM. Les données suggèrent un déclin potentiel de la capacité à écrire un code efficace et incrémental, ainsi qu'une dépendance aux outils qui génèrent des changements excessifs et non sollicités.
• Désalignement de l'Évaluation : Les méthodes d'évaluation actuelles pourraient être désalignées des compétences requises dans un monde augmenté par l'IA. L'article soutient que les métriques se concentrant uniquement sur le résultat final (les scores) ne parviennent pas à capturer la dégradation du processus d'apprentissage.
• Le Modèle « Centaure » : L'article conclut en proposant un changement de philosophie éducative. S'appuyant sur le modèle du « centaure » issu des échecs (l'humain + la machine surpassant chacun seul), il suggère que le rôle du développeur humain passe de la production tactique de code à la supervision stratégique (définir des abstractions, intégrer des composants et évaluer de manière critique les résultats). Les auteurs appellent à l'évolution des curricula et des évaluations pour mesurer ces compétences stratégiques plutôt que la simple capacité à produire du code de manière isolée.

L'article reste modeste dans ses affirmations, reconnaissant qu'il ne peut prouver de manière définitive l'usage abusif des LLM pour chaque étudiant en raison de l'absence de données d'utilisation directes ou de la possibilité d'autres facteurs (ex: partage de solutions). Cependant, les tendances statistiques suggèrent fortement un changement systémique dans la manière dont les tâches de programmation sont abordées et apprises.