Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

Dans les salles de classe où les jeunes apprennent pour la première fois à concevoir des logiciels, un nouveau genre d'assistant est arrivé. Il ne s'agit pas de tuteurs humains, mais de grands modèles de langage : des programmes informatiques entraînés sur de vastes bibliothèques de textes et de codes qui peuvent lire une question et écrire un programme en réponse. Pendant des années, les éducateurs ont observé l'évolution de ces outils, se demandant s'ils pouvaient réellement comprendre la logique de la programmation ou s'ils ne faisaient que mimer des schémas. La question est importante car la programmation est souvent enseignée via un style spécifique appelé programmation orientée objet, où le code est organisé en unités autonomes qui détiennent des données et exécutent des actions, tout comme un objet du monde réel possède à la fois des propriétés et des comportements. Si ces systèmes artificiels peuvent résoudre les mêmes problèmes que les étudiants, cela change notre façon d'enseigner, de tester et de concevoir l'avenir de l'apprentissage du code.

Des chercheurs de l'Université de Tartu en Estonie ont décidé de mettre cinq des systèmes d'intelligence artificielle les plus populaires à l'épreuve dans un cadre universitaire réel. Ils n'ont pas demandé aux machines de résoudre des énigmes abstraites ou d'écrire du code dans le vide. Au lieu de cela, ils ont repris exactement les mêmes tests de programmation et les mêmes questions d'examen final utilisés dans un cours d'introduction pour les étudiants de première année et les ont soumis directement aux machines. Les tâches étaient rédigées en estonien, la langue locale, et les chercheurs n'ont donné aux systèmes aucune instruction particulière ni aucun indice. Ils ont simplement demandé aux machines de résoudre les problèmes comme le ferait un étudiant, en utilisant les mêmes règles de notation que celles appliquées par les enseignants au travail humain. L'objectif était de voir si ces outils pouvaient suivre le rythme de l'étudiant moyen et, plus important encore, de voir où ils trébuchent encore.

Les résultats ont montré que les systèmes d'intelligence artificielle sont remarquablement capables, surpassant souvent les étudiants humains auxquels ils ont été comparés. Lors du premier test de programmation, qui exigeait la construction d'un programme complet comprenant plusieurs parties, tous les systèmes sauf un ont obtenu un score plus élevé que l'étudiant moyen. Un système, un outil intégré à Microsoft Office, n'a pas réussi à produire un programme fonctionnel dans un cas précis en raison d'une petite erreur de syntaxe, mais les autres ont systématiquement obtenu les meilleures notes. Dans un second test, légèrement plus difficile et impliquant une gestion de données plus complexe, les machines ont de nouveau dominé, la plupart atteignant des scores parfaits ou quasi parfaits. Même lors de l'examen final, qui couvrait l'ensemble du cours et incluait des questions conceptuelles délicates, les machines ont généralement obtenu des scores bien supérieurs à la moyenne de la classe.

Cependant, les machines ne sont pas parfaites, et leurs erreurs révèlent où leur compréhension est encore superficielle. Bien qu'elles puissent écrire de longs programmes complexes qui s'exécutent sans planter, elles omettent parfois des détails spécifiques qu'un enseignien humain remarquerait. Par exemple, certains systèmes n'ont pas réussi à formater correctement le texte ou ont oublié d'inclure une instruction nécessaire pour faire fonctionner le code, entraînant des erreurs qui interrompent l'exécution du programme. Ils ont également eu des difficultés avec certains concepts avancés, tels que la manière dont les différentes parties d'un programme doivent communiquer entre elles via des règles spécifiques appelées interfaces. Dans ces domaines, les machines ont parfois produit un code qui semblait correct mais qui ne faisait pas réellement ce que la question demandait. De plus, l'étude a noté que les performances étaient limitées sur les questions liées aux graphismes impliquant l'interprétation d'images, reflétant un défi plus large auquel l'IA est confrontée lors du traitement d'informations non textuelles.

Les chercheurs ont constaté que ces systèmes se sont considérablement améliorés par rapport aux évaluations d'il y a seulement un an. Là où les anciennes versions de ces outils auraient pu échouer à valider le cours, les nouveaux modèles atteignent désormais systématiquement le haut de la fourchette de performance des étudiants. Pourtant, un schéma clair est apparu : les machines excellent dans le suivi d'instructions pour construire des structures standards, mais peuvent faiblir lorsqu'une tâche nécessite un raisonnement profond sur la manière dont les différentes pièces d'un système s'assemblent conceptuellement. Elles ajoutent souvent des fonctionnalités supplémentaires qui n'ont pas été demandées ou utilisent des techniques avancées que les étudiants n'ont pas encore apprises, suggérant qu'elles puisent dans un réservoir de connaissances beaucoup plus vaste que le programme du cours.

En fin de compte, l'étude brosse le portrait d'un outil puissant mais pas encore totalement fiable pour chaque besoin éducatif. Les systèmes d'intelligence artificielle peuvent générer du code fonctionnel qui surpasse souvent l'étudiant moyen, prouvant qu'ils ont maîtrisé la mécanique de la programmation. Mais ils commettent encore des erreurs spécifiques et récurrentes qui indiquent un manque de véritable compréhension de la logique sous-jacente. Pour les éducateurs, cela signifie que, bien que ces outils puissent être utilisés pour soutenir l'apprentissage, ils ne peuvent pas encore remplacer le besoin de supervision humaine ou la conception minutieuse d'évaluations qui testent la compréhension conceptuelle profonde plutôt que la simple capacité à produire du code. Les machines s'améliorent chaque année, mais elles ont encore un long chemin à parcourir avant de pouvoir véritablement penser comme un programmeur.