Adapting homework design principles in modern Computer Science education to enhance learning outcomes and reduce unintended consequences

Résumé technique : Adaptation des principes de conception des devoirs dans l'enseignement moderne de l'informatique

Énoncé du problème
L'émergence rapide des modèles de langage de grande taille (LLM) et la prolifération des services de freelance en ligne ont compromis l'authenticité et l'efficacité des devoirs traditionnels en informatique (CS). Les éducateurs éprouvent une difficulté croissante à distinguer le travail généré par les étudiants des solutions assistées par l'IA ou sous-traitées, particulièrement dans les domaines techniques où le code et les algorithmes peuvent être générés instantanément. Ce défi a été exacerbé par le passage à l'apprentissage à distance, qui a réduit les opportunités de discussions conceptuelles spontanées en personne. Les méthodes d'évaluation traditionnelles, telles que les « examens à la maison » ou les soumissions de code statiques, ne sont plus suffisantes pour vérifier la compréhension réelle ou prévenir la malhonnêteté académique. Le problème central est la manière de reconcevoir les devoirs pour favoriser un engagement authentique, la pensée critique et la maîtrise conceptuelle à une époque où les outils d'IA peuvent produire des solutions techniques plausibles.

Méthodologie
L'étude, menée au sein des cursus standards de technologies de l'information et d'ingénierie de l'Université ADA, propose une série de scénarios basés sur des cas pour restructurer la conception des devoirs. Plutôt que d'interdire les outils d'IA, la méthodologie les intègre dans le processus d'apprentissage et d'évaluation à travers trois stratégies principales :

1. Enregistrement d'écran avec explication verbale :

   • Mise en œuvre : Les étudiants sont tenus d'enregistrer leur écran tout en résolvant des tâches techniques, en fournissant des annotations verbales de leur processus de réflexion. Pour garantir l'authenticité, les enregistrements doivent inclure des horodatages visibles, et les étudiants peuvent être invités à effectuer des actions spécifiques (par exemple, modifier un fichier partagé) pendant l'enregistrement.
   • Évaluation : L'étude a utilisé un échantillon de 34 soumissions vidéo pour comparer la notation par l'IA à la notation par l'instructeur. L'analyse quantitative a inclus une corrélation de Pearson ($r=0,512, p=0,00199$) et un test t pour échantillons appariés ($t=-3,266, p=0,00255$). Les résultats ont indiqué une corrélation positive modérée statistiquement significative, bien que le système d'IA ait systématiquement attribué des notes inférieures (différence moyenne de 0,88 point) et se soit montré plus critique concernant les scores maximaux.
   • Retour des étudiants : Les enquêtes ont indiqué une perception élevée de l'efficacité de l'apprentissage (scores de 7,72–8,17) et une réception positive du format comme une transition vers des styles de communication modernes, malgré des préoccupations initiales concernant la charge de travail supplémentaire.

2. Comparaison critique avec les LLM (Auto-évaluation) :

   • Mise en œuvre : Au lieu d'interdire les LLM, les devoirs exigent que les étudiants génèrent une solution, utilisent un LLM pour générer une solution alternative, puis comparent critiquement les deux. Les étudiants doivent identifier les failles, les incohérences ou les approches sous-optimales dans le code ou les diagrammes générés par l'IA et justifier leurs propres choix de conception.
   • Application : Cette approche a été appliquée à des tâches de programmation fonctionnelle (comparaison entre implémentations impératives et fonctionnelles) et à la normalisation de bases de données (critique de diagrammes E-R générés par l'IA).
   • Objectif : Cela déplace l'accent de la correction du résultat vers la profondeur de la compréhension conceptuelle et la capacité à critiquer des solutions techniques.

3. Travail incrémental via le contrôle de version :

   • Mise en œuvre : Pour lutter contre la procrastination et la sous-traitance de « dernière minute », les étudiants doivent soumettre leur travail de manière incrémentale à un dépôt GitHub. Les exigences incluent un nombre minimum de commits (par exemple, trois par semaine ou cinq sur des jours différents) et l'utilisation de branches et de Pull Requests.
   • Objectif : Cela favorise un engagement continu, permet aux instructeurs de suivre l'évolution de la solution et développe des compétences en contrôle de version conformes aux standards de l'industrie.

Résultats clés

• Distribution des notes : La mise en œuvre des devoirs par enregistrement d'écran a été corrélée à une réduction du nombre d'étudiants ayant de faibles notes et à un déplacement vers des scores moyens dans les cours de « Gestion de la production et des opérations » et de « Systèmes de bases de données ».
• Notation IA vs Humaine : Bien que la notation par l'IA ait montré un biais systématique vers des notes inférieures par rapport aux instructeurs humains, elle a préservé la structure de classement de la performance des étudiants, suggérant un potentiel d'automatisation partielle de l'évaluation.
• Perception des étudiants : Les étudiants ont rapporté que l'exigence d'explication verbale les a forcés à une compréhension plus profonde du processus de solution plutôt qu'à la simple génération de résultats. La méthodologie a été perçue comme augmentant la responsabilité et réduisant la dépendance aux solutions d'IA non vérifiées.
• Développement des compétences : L'approche incrémentale a encouragé avec succès l'engagement quotidien et le développement de soft skills tels que la gestion du temps et la documentation technique.

Signification et revendications
L'article soutient qu'une conception de devoirs efficace à l'ère de l'IA ne doit pas reposer sur la prohibition mais sur l'adaptation. En tirant parti des cycles d'apprentissage itératifs (lire-comprendre, demander-faire-vérifier) et du suivi continu des progrès, les éducateurs peuvent maintenir l'intégrité académique tout en favorisant un apprentissage conceptuel plus profond.

L'étude postule que :

1. Le Processus plutôt que le Produit : Déplacer l'accent de l'évaluation de l'artefact final vers le processus de résolution de problèmes (via la vidéo ou l'historique des commits) reflète mieux la compréhension de l'étudiant.
2. L'IA comme outil pédagogique : L'intégration des LLM en tant qu'outil de comparaison pour l'auto-évaluation améliore la pensée critique et empêche la dépendance passive aux résultats de l'IA.
3. Conception structurelle : Le calendrier et la structure des échéances, combinés aux exigences de contrôle de version, sont critiques pour prévenir la procrastination et assurer un effort étudiant authentique.

Les auteurs concluent que ces méthodologies fournissent des orientations pratiques aux éducateurs pour concevoir des évaluations qui motivent les étudiants et reflètent fidèlement leur compréhension, tout en reconnaissant les limites de l'application de ces stratégies aux disciplines non liées au code ou aux tâches nécessitant des rapports techniques complexes. L'article préconise une approche équilibrée qui combine connaissances théoriques et application pratique, garantissant que les étudiants développent à la fois la compétence technique et la pensée critique nécessaire aux rôles d'ingénierie professionnels.