Analyzing Students' Statistics Writing Before and After the Emergence of Large Language Models

Résumé technique : Analyse de l'écriture statistique des étudiants avant et après l'émergence des modèles de langage de grande taille (LLM)

Énoncé du problème
Le cursus de licence en statistiques et science des données repose largement sur l'apprentissage par projet et les travaux d'écriture pour favoriser l'« écriture pour apprendre » (approfondir la compréhension conceptuelle) et l'« écriture dans la discipline » (communiquer des résultats aux parties prenantes). Une préoccupation majeure liée à l'adoption généralisée des modèles de langage de grande taille (LLM) est que les étudiants pourraient déléguer des tâches cognitives critiques — telles que l'interprétation des coefficients, l'articulation des limites et la structuration des arguments — à l'IA générative. Cette délégation risque de bloquer le développement de l'écriture des étudiants au stade de la « transmission de connaissances » (knowledge-telling), les empêchant d'atteindre le stade de la « construction de connaissances » (knowledge-crafting) requis pour l'expertise, et pourrait potentiellement compromettre l'objectif du GAISE 2016 de produire des consommateurs critiques de résultats statistiques. L'article cherche à déterminer empiriquement comment l'émergence des LLM a modifié le style d'écriture et l'usage des verbes dans les rapports de statistiques de premier cycle.

Méthodologie
Les auteurs ont construit une analyse de corpus comparative impliquant trois ensembles de données distincts :

1. Corpus étudiant : 1 619 rapports d'analyse de données provenant d'un cours d'introduction aux statistiques (36-202) à l'Université Carnegie Mellon, collectés entre le printemps 2021 et l'automne 2025. Les rapports ont été classés en « pré-LLM » (2021–2022), une « année de transition » (2023) et « depuis l'ère LLM » (2024–2025).
2. Corpus LLM : Textes académiques générés par quatre LLM (GPT-4o, GPT-5 Mini, Gemini 2.5 Flash et Claude Haiku 4.5) basés sur le corpus académique Human-AI Parallel English (HAP-E). Ces modèles ont été sélectionnés en fonction de leur accessibilité pour les étudiants durant la période d'étude.
3. Corpus d'experts : 278 articles de statistiques appliquées évalués par des pairs provenant de CHANCE, The American Statistician et du Journal of the American Statistical Association (publiés entre 2018 et 2022), avec un prétraitement pour éliminer la densité mathématique et assurer une comparabilité stylistique avec les rapports des étudiants.

Approche analytique
L'étude a employé deux techniques analytiques primaires :

• Analyse discriminante linéaire (LDA) : Les auteurs ont utilisé 67 caractéristiques lexicogrammaticales de Biber (ex. : nominalisations, voix passive, usage des pronoms, longueur des mots) pour entraîner des modèles LDA.
  • Un modèle LDA global a comparé les rapports complets à travers les trois sources (étudiant pré-LLM, LLM, expert).
  • Un modèle LDA par quintiles a divisé les rapports des étudiants en cinq segments basés sur la longueur (correspondant approximativement à l'Introduction, l'EDA, la Modélisation, la Prédiction et la Discussion) afin de détecter les changements de style spécifiques à chaque section.
• Analyse de la « keyness » (caractère typique) : Les auteurs ont identifié les 50 lemmes verbaux les plus utilisés par chaque LLM (97 verbes uniques au total) et ont réalisé des tests de rapport de vraisemblance binomial pour déterminer si les taux d'utilisation de ces verbes ont augmenté de manière significative dans les rapports des étudiants « depuis l'ère LLM » par rapport aux rapports « pré-LLM ».

Résultats clés

1. Divergence stylistique : Les modèles LDA ont réussi à distinguer les écrits des étudiants pré-LLM, les textes générés par LLM et les écrits d'experts avec une précision de 99,46 %. L'écriture des étudiants pré-LLM était caractérisée par des traits interactifs (pronoms à la première personne, contractions, « there » existentiel) et une densité informationnelle plus faible. Le texte des LLM était caractérisé par une densité informationnelle plus élevée, des mots plus longs, des nominalisations et des participes présents. L'écriture des experts reposait davantage sur des passifs sans agent et sur le verbe « être ».
2. Évolution de l'écriture des étudiants : Depuis l'émergence des LLM, l'écriture des étudiants a glissé vers un mélange de styles LLM et d'expert, bien que ce changement soit plus prononcé dans le premier quintile (Introduction) et le cinquième quintile (Discussion/Conclusion).
   • La probabilité a posteriori qu'un rapport d'étudiant appartienne à la classe « étudiant pré-LLM » a diminué de manière significative dans ces sections (par exemple, le premier quintile est passé d'une probabilité de 32,6 % à 26,9 %).
   • Les étudiants ont adopté des traits stylistiques associés aux LLM (ex. : augmentation des nominalisations, des adjectifs attributifs et des participes présents) plutôt que ceux qui sont uniquement associés aux experts humains.
3. Évolution de l'usage des verbes : Il y a eu une augmentation statistiquement significative de l'utilisation des verbes « favoris des LLM » dans les rapports des étudiants après 2023. Parmi les augmentations notables figurent enhance (une augmentation de 8,71 fois), suggest et underscore. L'analyse de concordance de underscore a révélé des schémas d'utilisation (ex. : « underscores the complexity of ») qui étaient absents des rapports pré-LLM mais courants dans les productions des LLM.
4. Apparence de type « expert » : Bien que l'écriture des étudiants soit devenue plus similaire à celle des experts en termes de certains marqueurs stylistiques, les auteurs notent que cela peut être un sous-produit incident du mimétisme des LLM plutôt qu'une véritable acquisition de stratégies rhétoriques d'expert.

Signification et affirmations
L'article affirme fournir une preuve solide que l'écriture statistique de premier cycle est devenue plus « semblable à un LLM » tant dans son style que dans son usage verbal depuis l'adoption généralisée de l'IA générative. Les auteurs soutiennent que ce changement est particulièrement évident dans le cadrage (introduction) et les sections de conclusion, suggérant que les étudiants consultent le plus fréquemment les LLM lorsqu'ils éprouvent une incertitude quant à la structuration de ces composantes non techniques.

Les auteurs affirment modestement que, bien que les rapports des étudiants puissent paraître plus « proches de l'expert », cela ne signifie pas nécessairement une amélioration de la pensée ou du raisonnement statistique. Ils soulignent que si la qualité « de type expert » provient de la délégation du travail cognitif à l'IA, la valeur éducative des travaux d'écriture pour apprendre est compromise. Par conséquent, l'article propose que les éducateurs réévaluent les méthodes d'évaluation. Plutôt que d'abandonner l'apprentissage par projet, les auteurs suggèrent des évaluations ciblées (ex. : exercices rhétoriques spécifiques pour les introductions) et des examens oraux pour garantir que les étudiants conservent la capacité de réfléchir de manière critique sur les problèmes statistiques et d'évaluer les productions de l'IA, s'alignant ainsi sur les directives du GAISE 2016 pour « enseigner la pensée statistique ».

Limites
Les auteurs reconnaissent que leurs conclusions sont basées sur un seul cours dans une seule institution et que leur corpus de LLM peut ne pas reproduire parfaitement les requêtes spécifiques ou les interactions conversationnelles utilisées par les étudiants. De plus, l'étude analyse le style d'écriture mais ne mesure pas la qualité statistique ou l'exactitude de l'analyse de données sous-jacente dans les rapports des étudiants.