Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes
Cet article propose et valide de manière préliminaire un modèle d'évaluation pour les cours d'informatique de niveau avancé qui autorise l'usage de l'IA générative pour les devoirs de programmation à la maison tout en garantissant la maîtrise des étudiants grâce à des quiz écrits fortement pondérés et axés sur les devoirs, ne trouvant aucune corrélation significative entre l'utilisation de l'IA et la performance académique dans le cadre de ce modèle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez une salle de classe d'informatique où des étudiants apprennent à construire des machines complexes. Traditionnellement, l'enseignant dirait : « Rentrez chez vous, construisez cette machine de toutes pièces, et rapportez-la moi. » La crainte avec les nouveaux outils d'IA est que les étudiants demandent simplement à l'IA de construire la machine pour eux, la rendent, et obtiennent un « A » sans jamais avoir appris comment les engrenages tournent réellement. C'est ce qu'on appelle la « décharge cognitive » (cognitive offloading) : laisser un robot réfléchir à votre place pour que votre cerveau n'ait pas à le faire.
Ce document décrit une nouvelle stratégie ingénieuse pour gérer ce problème, que l'auteur appelle « Ouvrir et Vérifier » (Open and Verify).
La nouvelle stratégie : l'analogie du cours de cuisine
Imaginez la classe comme une école de cuisine.
- L'ancienne méthode : Le professeur dit : « Rentrez chez vous et faites un gâteau. Apportez-le demain. » Si un étudiant achète un gâteau dans une boulangerie et prétend l'avoir fait lui-même, le professeur pourrait ne jamais le savoir.
- La méthode de l'« Interdiction » : Le professeur dit : « Les gâteaux achetés en magasin sont interdits ! » Mais à l'ère de l'IA, cela revient à vouloir interdire les fours ; il est impossible d'empêcher les étudiants d'utiliser les outils à leur disposition.
- La méthode « Ouvrir et Vérifier » (la solution de ce document) : Le professeur dit : « Vous pouvez utiliser un livre de recettes, un sous-chef ou même un robot pour vous aider à faire le gâteau à la maison. MAIS, quand vous venez en classe, vous devez passer immédiatement un test où vous devrez expliquer exactement comment le gâteau a été fait, pourquoi vous avez utilisé ces ingrédients, et réparer une partie défectueuse de la recette sur le champ. »
Dans cette étude, le « gâteau » est un devoir de programmation, et le « robot » est l'IA générative (GenIA).
Comment cela s'est déroulé dans l'étude
Le professeur de l'Université technologique de Lawrence a testé cela avec un petit groupe de 14 étudiants avancés. Voici la « recette » qu'ils ont utilisée :
- Le devoir (Le gâteau à la maison) : Les étudiants étaient autorisés à utiliser l'IA pour écrire le code de leurs devoirs. Ils devaient même remplir une « déclaration » précisant à quel point ils avaient été aidés par l'IA (ex : « J'ai utilisé l'IA pour 50 % de ce code »).
- Le tournant (Le poids) : Le devoir lui-même valait très peu de points (seulement 2 %).
- Le vrai test (Le quiz en classe) : Immédiatement après le rendu du devoir, les étudiants ont passé un quiz écrit, sans notes, en classe. Ce quiz valait beaucoup plus (5 % ou 10 %).
- Les questions du quiz concernaient directement le devoir qu'ils venaient de rendre.
- Ils devaient expliquer le code, compléter des lignes manquantes ou prédire ce que le code ferait.
- Le but : Si vous aviez utilisé l'IA pour écrire le code mais que vous ne le compreniez pas, vous échoueriez au quiz. Si vous compreniez, vous auriez une note excellente.
Qu'ont-ils découvert ?
Les chercheurs voulaient savoir : L'utilisation de l'IA rend-elle les étudiants moins intelligents, ou est-ce que cela les aide ?
Ils ont analysé les données et ont trouvé des résultats surprenants :
- Aucun lien : Il y avait presque aucun lien entre la quantité d'IA utilisée par un étudiant et sa performance dans le cours. Que l'étudiant utilise l'IA pour 10 % de son travail ou pour 90 %, sa note finale était sensiblement la même.
- Le piège du « milieu » : Curieusement, les étudiants qui utilisaient l'IA de manière modérée (25 à 50 %) obtenaient des scores légèrement inférieurs à ceux qui en utilisaient très peu ou beaucoup. L'auteur suggère que ces étudiants du « milieu » étaient peut-être trop paresseux pour écrire le code eux-mêmes, mais pas assez habiles pour « prompter » l'IA afin d'obtenir de bons résultats. Ils étaient coincés entre deux eaux.
- Retour des étudiants : Les étudiants ont adoré la méthode. Ils ont déclaré que les quiz les forçaient à réellement lire et comprendre le code écrit par l'IA, plutôt que de simplement le soumettre aveuglément. Ils se sentaient moins stressés car ils pouvaient utiliser l'IA pour les aider, tout en sachant que les quiz garantissaient l'apprentissage de la matière.
L'essentiel à retenir
Le document conclut qu'il n'est pas nécessaire d'interdire l'IA pour maintenir l'apprentissage des étudiants.
Si l'on laisse les étudiants utiliser l'IA pour le « gros du travail » de rédaction du code, mais qu'on les teste immédiatement sur leur propre compréhension de ce code, ils apprennent tout de même les concepts. C'est comme laisser un élève utiliser une calculatrice pour ses devoirs de mathématiques, mais l'obliger ensuite à résoudre le problème au tableau sans la calculatrice pour prouver qu'il maîtrise les mathématiques.
Le bémol : L'auteur admet que cette étude est de petite taille (seulement 14 étudiants), il s'agit donc davantage d'une « preuve de concept » que d'une réponse définitive. De plus, cela demande plus de travail à l'enseignant, qui doit concevoir et noter ces quiz supplémentaires. Mais pour l'instant, cela suggère qu'avec les bonnes règles de « Ouvrir et Vérifier », l'IA peut être un outil utile plutôt qu'un raccourci pour tricher.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.