The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

Dans la salle de classe, la relation entre un élève et un enseignant est depuis longtemps définie par l'échange de connaissances, où un guide humain décompose des idées complexes en étapes compréhensibles. Aujourd'hui, un nouveau type de guide est entré dans la pièce : l'intelligence artificielle. Ces systèmes peuvent générer du texte, résoudre des problèmes mathématiques et écrire du code informatique avec une rapidité qui rivalise avec celle des experts humains. Mais une question critique demeure pour les éducateurs et les parents : lorsqu'un élève tente d'apprendre, importe-t-il qui fait l'explication ? Existe-t-il une différence fondamentale entre une solution conçue par une personne et une solution générée par une machine, et un apprenant peut-il faire la différence ? Cette enquête est au cœur d'une étude récente explorant la manière dont les étudiants perçoivent les explications de tâches de programmation difficiles, spécifiquement lorsque ces explications sont délivrées par un personnage numérique plutôt que par une personne vivante.

Les chercheurs, une équipe de scientifiques issus d'universités du Kazakhstan, ont cherché à tester les limites de cette technologie émergente auprès d'un groupe de trente-sept lycéens. Il ne s'agissait pas de débutants ; les participants étaient âgés de quinze à dix-sept ans et provenaient d'une école spécialisée connue pour former des élèves aux compétitions de mathématiques et de sciences. Ils apprenaient déjà à coder depuis des années, beaucoup ayant commencé dès l'école primaire. L'objectif était de voir si ces jeunes programmeurs expérimentés pouvaient distinguer les solutions écrites par un instructeur humain de celles produites par un grand modèle de langage, un type d'intelligence artificielle capable de générer du texte et du code. Pour rendre le test équitable et éliminer tout biais basé sur la voix ou l'apparence d'une personne, les chercheurs ont utilisé un personnage animé en 3D, ou avatar, pour délivrer les explications. Cette figure numérique parlait avec une voix générée par ordinateur, garantissant que les étudiants ne puissent pas s'appuyer sur des indices humains comme le ton ou l'émotion pour deviner la source de la réponse.

L'expérience était structurée comme une série de défis. Les étudiants se sont vu présenter cinq problèmes de programmation différents, chacun accompagné d'une solution et d'une explication. Ces problèmes provenaient d'une plateforme en ligne populaire utilisée par les programmeurs compétitifs. Pour chaque problème, l'explication était délivrée par le même avatar 3D, mais la source du code variait. Dans certains cas, le code et l'explication provenaient d'un expert humain ayant résolu le problème sur le site web. Dans d'autres, le code était généré par un système d'intelligence artificielle. Les étudiants regardaient l'avatar expliquer la solution, puis ils devaient répondre à une série de questions. Ils devaient évaluer leur compréhension du matériel, deviner si le code avait été écrit par un humain ou une machine, et évaluer l'avatar lui-même. Les chercheurs ont également vérifié si l'expérience préalable des étudiants en programmation ou leurs interactions antérieures avec des avatars numériques influençaient leur capacité à identifier la différence.

Les résultats de l'étude ont offert un aperçu surprenant de la manière dont les étudiants interagissent avec cette technologie. Lorsqu'on leur demandait d'identifier la source du code, les données ont révélé un schéma nuancé : les participants choisissaient « fourni par ChatGPT » plus souvent et plus résolument pour les tâches qui étaient réellement fournies par ChatGPT. Cependant, pour les tâches fournies par des humains, ils étaient plus hésitants et choisissaient la source de manière plus équitable entre l'humain et l'IA. Cela suggère que, bien que les étudiants puissent identifier le contenu généré par l'IA avec un certain degré de confiance, distinguer les solutions humaines était plus difficile, menant à un mélange de bonnes et de mauvaises réponses plutôt qu'à une capacité claire et constante à les différencier. Les étudiants ont évalué leur compréhension des solutions de manière similaire, que le code provienne d'une personne ou d'une machine. De plus, l'étude a révélé que le parcours d'un étudiant ne changeait pas le résultat. Que l'étudiant ait commencé à coder au primaire ou au lycée, ou qu'il ait déjà interagi avec des assistants numériques, cela n'affectait pas de manière significative sa capacité à distinguer la source ou son niveau d'engagement.

Bien que les étudiants ne puissent pas facilement faire la différence entre les deux sources, leurs commentaires sur la méthode de diffusion étaient plus critiques. L'avatar 3D, qui servait de narrateur pour les solutions humaines et de machines, a reçu des avis mitigés. De nombreux étudiants ont noté que la voix du personnage était monotone et manquait du rythme naturel de la parole humaine. Ils ont souligné que les mouvements de l'avatar étaient parfois répétitifs et ne correspondaient pas toujours aux mots prononcés, ce qui rendait plus difficile le suivi de la logique complexe du code. Certains étudiants ont estimé que la nature robotique du personnage rendait l'expérience d'apprentissage moins personnelle et plus difficile à suivre. Malgré ces critiques, le sentiment général était optimiste. La plupart des étudiants pensaient qu'une telle technologie pourrait être utile à l'avenir, particulièrement comme outil pour expliquer des concepts difficiles lorsqu'un enseignant n'est pas disponible. Ils ont reconnu que, bien que la version actuelle de l'avatar présente des défauts, des améliorations de la voix et de l'animation pourraient en faire un ajout précieux à l'éducation.

L'étude conclut que, bien que l'intelligence artificielle soit rapidement capable de produire des explications indiscernables de celles humaines en termes de clartité et de précision, le support de diffusion compte toujours. Les étudiants étaient prêts à accepter la technologie comme une aide à l'apprentissage, mais ils ont rapidement identifié les limites des avatars numériques actuels. La recherche suggère qu'à mesure que ces outils évoluent, l'attention doit se porter non seulement sur la qualité du code qu'ils génèrent, mais aussi sur la qualité de l'interaction qu'ils fournissent. Pour les éducateurs, les conclusions impliquent que les étudiants pourront bientôt apprendre efficacement à partir de contenus générés par machine, mais la touche humaine d'un enseignant reste unique dans sa capacité à connecter, s'adapter et s'engager d'une manière qu'un avatar statique et monotone ne peut pas encore répliquer. L'avenir de l'éducation pourrait bien impliquer un partenariat entre enseignants humains et machines intelligentes, mais le chemin vers ce partenariat nécessite de perfectionner les outils numériques pour qu'ils soient aussi engageants que les personnes qu'ils sont censés assister.