Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

Résumé technique : Mesure des changements dans la conception des cours par les enseignants et l'apprentissage des étudiants après la diffusion des grands modèles de langage (LLM)

Énoncé du problème
La diffusion publique généralisée des grands modèles de langage (LLM) à la fin de l'année 2022 a précipité un changement dans l'enseignement supérieur, pourtant les preuves empiriques concernant son impact sur les comportements d'apprentissage des étudiants, la conception des cours par le corps professoral et la validité des métriques traditionnelles d'évaluation restent rares. Les auteurs identifient une lacune méthodologique critique : les métriques traditionnelles comme les notes sont de plus en plus compromises en tant que proxies de l'apprentissage. Cette distorsion découle de trois facteurs : (1) la dynamique « chat et souris » où les enseignants redéfinissent les travaux pour les rendre résistants aux LLM, brisant la comparabilité longitudinale ; (2) le potentiel d'une utilisation non détectée des LLM pour gonfler artificiellement les notes sans gains d'apprentissage correspondants ; et (3) la pénalisation des étudiants pris à utiliser des LLM, ce qui peut entraîner des échecs malgré une compréhension conceptuelle réelle. Par conséquent, il manque de données triangulées combinant les historiques de notes avec les perceptions qualitatives des enseignants et des étudiants pour évaluer les tendances d'apprentissage dans l'« ère post-LLM ».

Méthodologie
Cette étude emploie une conception mixte, multi-cours, menée à l'Université du Massachusetts à Boston (UMass Boston). La recherche triangule trois sources de données distinctes :

1. Analyse quantitative rétrospective : Des données historiques de notes couvrant jusqu'à dix ans dans environ quinze cours ont été obtenues auprès du secrétariat de l'université. Ces données permettent de comparer les moyennes pondérées cumulatives (GPA), les taux d'abandon et les taux d'échec entre l'ère pré-LLM (avant le printemps 2023) et l'ère post-LLM.
2. Enquêtes auprès des enseignants : Une enquête a été distribuée au corps professoral pour documenter les changements dans la structure des cours, la conception des travaux et les critères d'évaluation. Dix-huit enseignants ont complété l'enquête de recherche. L'enquête utilisait des échelles de Likert et des questions à réponse libre pour capturer l'étendue et la nature des adaptations pédagogiques.
3. Enquêtes auprès des étudiants : Des enquêtes anonymes ont été administrées aux étudiants (principalement issus de programmes liés à l'informatique) pour évaluer la fréquence d'utilisation auto-déclarée des LLM, les comportements d'étude, la compréhension conceptuelle et les perceptions de la validité des notes. Pour répondre au biais de désirabilité sociale, l'étude a adopté une approche à deux volets : une question directe sur l'utilisation personnelle et une question indirecte sur l'utilisation par les pairs afin de calculer un « indice de sous-déclaration ».

L'étude a utilisé l'analyse thématique (Braun & Clarke) pour les données qualitatives et l'analyse statistique (corrélations de Spearman, tests t de Welch) pour les données quantitatives. La validité de contenu des instruments d'enquête a été établie par un examen par des experts de cinq professeurs universitaires, atteignant un taux d'accord global de 94,00 % après raffinement des items.

Contributions clés

• Preuves triangulées : Il s'agit de la première étude à examiner simultanément les données de notes, les perceptions des enseignants et les auto-déclarations des étudiants pour analyser le phénomène des LLM dans l'enseignement supérieur.
• Quantification du changement pédagogique : L'étude documente la chronologie spécifique et l'ampleur des remaniements de cours, identifiant un décalage entre la disponibilité des LLM et l'adaptation significative du corps professoral.
• Indice de sous-déclaration : La recherche propose une approche méthodologique pour estimer l'écart entre l'utilisation auto-déclarée et l'utilisation réelle des LLM en comparant les estimations d'utilisation personnelle et d'utilisation par les pairs.
• Discrepancy note-apprentissage : L'étude fournit des preuves empiriques reliant le manque de remaniement des cours à un gonflement artificiel des notes, suggérant que dans les cours non modifiés, l'accès aux LLM est corrélé à des notes plus élevées mais potentiellement à un apprentissage authentique plus faible.

Résultats

• Adaptation des enseignants : 86,7 % des enseignants répondants ont modifié leurs cours en réponse à l'IA générative. Les changements les plus courants impliquaient un passage vers le travail en classe, les évaluations en classe et les tâches de raisonnement conceptuel (Figure 3). La sévérité du remaniement a augmenté de manière significative après le printemps 2023, de nombreux enseignants modifiant 20 à 40 % ou plus de leurs travaux.
• Tendances des notes : Dans l'ère post-LLM, la moyenne des notes des étudiants (GPA) a légèrement augmenté, passant de 2,96 à 3,00 (statistiquement significative mais avec une taille d'effet négligeable, d de Cohen = 0,04). Les taux d'abandon et d'échec ont également légèrement diminué.
• L'anomalie du cours « inchangé » : Un résultat critique a émergé concernant les deux enseignants qui ont déclaré aucun changement dans la conception de leur cours. Leurs cours ont montré une augmentation substantiellement plus importante de la moyenne des notes (+0,25 point) par rapport aux cours dispensés par des enseignants ayant remanié leurs travaux (+0,01 point). Les taux d'abandon ont également diminué plus nettement dans ces cours non modifiés.
• Comportement et perception des étudiants : Les étudiants ont sous-déclaré leur utilisation personnelle des LLM pour les travaux notés par rapport à leurs estimations de l'utilisation par les pairs. Une utilisation auto-déclarée plus élevée des LLM était corrélée à une moindre croyance que les notes reflètent fidèlement l'apprentissage. Cependant, dans cet échantillon, l'utilisation auto-déclarée des LLM n'a pas montré de corrélation statistiquement significative avec le GPA, le temps d'étude ou les scores de compréhension conceptuelle (ConCal).
• Préoccupations des étudiants : Les étudiants ont exprimé une anxiété significative à l'idée d'être punis pour avoir utilisé l'IA (même lorsqu'ils ne l'avaient pas fait) et concernant l'équité du système où des pairs pourraient utiliser l'IA pour obtenir des notes plus élevées. Il y avait une forte demande, non sollicitée, pour des orientations institutionnelles et des ateliers sur l'utilisation de l'IA.

Portée et affirmations
Les auteurs positionnent ce travail comme une étude pilote destinée à éclairer la recherche institutionnelle et les politiques plus larges. L'article affirme que sa principale portée réside dans la fourniture d'une évaluation fondée sur des preuves des tendances d'apprentissage utilisant des données triangulées, ce qui est nécessaire pour que les universités naviguent dans la politique de l'IA générative.

L'étude conclut que si la plupart des enseignants redessinent activement leurs cours pour atténuer la dépendance à l'IA, ceux qui ne se sont pas adaptés constatent une inflation substantielle des notes dans leurs classes. Cela suggère que sans adaptation pédagogique, l'accès aux LLM peut créer un désavantage compétitif pour les étudiants qui n'utilisent pas l'IA, tout en masquant simultanément l'état réel de l'apprentissage des étudiants. Les auteurs affirment que les données actuelles soutiennent la nécessité de politiques au niveau universitaire et d'orientations destinées aux étudiants, notant que les ressources institutionnelles existantes se concentrent presque exclusivement sur les enseignants. L'article évite explicitement de faire des généralisations larges en raison de son caractère monocentrique et d'échantillonnage de commodité, exhortant à ce que ces résultats servent de fondement à des études plus vastes et multi-institutionnelles.