Analyzing Students' Statistics Writing Before and After the Emergence of Large Language Models

Technische Samenvatting: Analyse van het statistisch schrijven van studenten vóór en na de opkomst van Large Language Models

Probleemstelling
Het curriculum voor statistiek en data science op bachelor niveau leunt zwaar op projectgebaseerd leren en schrijfopdrachten om "schrijven-om-te-leren" (het verdiepen van conceptueel begrip) en "schrijven-binnen-de-discipline" (het communiceren van resultaten naar belanghebbenden) te bevorderen. Een primaire zorg bij de wijdverbreide adoptie van Large Language Models (LLM's) is dat studenten kritische cognitieve taken — zoals het interpreteren van coëfficiënten, het formuleren van beperkingen en het structureren van argumenten — kunnen uitbesteden aan generatieve AI. Dit uitbesteden brengt het risico met zich mee dat de schrijfontwikkeling van studenten stagneert op het stadium van "kennis-vertellen" (knowledge-telling), waardoor zij het stadium van "kennis-vormgeven" (knowledge-crafting) niet bereiken dat vereist is voor expertise, en wat potentieel het GAISE 2016-doel ondermijnt om kritische consumenten van statistische resultaten voort te brengen. Het artikel beoogt empirisch vast te stellen hoe de opkomst van LLM's de schrijfstijl en het werkwoordgebruik in undergraduate statistische rapporten heeft veranderd.

Methodologie
De auteurs hebben een vergelijkende corpusanalyse geconstrueerd bestaande uit drie afzonderlijke datasets:

1. Studenten-corpus: 1.619 data-analyseverslagen van een introductiecursus statistiek (36-2020) aan Carnegie Mellon University, verzameld tussen het voorjaar van 2021 en het najaar van 2025. De verslagen werden gecategoriseerd als "pre-LLM" (2021–2022), een "transitiejaar" (2023) en "sinds-LLM" (2024–2025).
2. LLM-corpus: Academische tekst gegenereerd door vier LLM's (GPT-4o, GPT-5 Mini, Gemini 2.5 Flash en Claude Haiku 4.5) gebaseerd op de Human-AI Parallel English (HAP-E) academische corpus. Deze modellen werden geselecteerd op basis van hun toegankelijkheid voor studenten tijdens de studieperiode.
3. Expert-corpus: 278 peer-reviewed toegepaste statistische artikelen uit CHANCE, The American Statistician en het Journal of the American Statistical Association (gepubliceerd 2018–2022), voorbewerkt om de mathematische dichtheid te verwijderen en om stilistische vergelijkbaarheid met studentenverslagen te waarborgen.

Analytische Aanpak
De studie maakte gebruik van twee primaire analytische technieken:

• Lineaire Discriminant Analyse (LDA): De auteurs gebruikten 67 Biber-lexicogrammaticale kenmerken (bijv. nominalisaties, lijdende vorm, pronomengebruik, woordlengte) om LDA-modellen te trainen.
  • Een Algemeen LDA-model vergeleek volledige verslagen over de drie bronnen (pre-LLM student, LLM, expert).
  • Een Quintiel LDA-model splitste studentenverslagen op in vijf lengtegebaseerde segmenten (die ruwweg overeenkomen met Introductie, EDA, Modellering, Predictie en Discussie) om sectie-specifieke verschuivingen in stijl te detecteren.
• Keyness-analyse: De auteurs identificeerden de top 50 werkwoordlemma's die door elke LLM worden gebruikt (97 unieke werkwoorden in totaal) en voerden binomiale likelihood-ratio tests uit om te bepalen of de gebruikscijfers van deze werkwoorden significant zijn toegenomen in "sinds-LLM" studentenverslagen vergeleken met "pre-LLM" verslagen.

Belangrijkste Resultaten

1. Stilistische Divergentie: De LDA-modellen onderscheidden succesvol tussen pre-LLM studentenschrijven, door LLM gegenereerde tekst en expert-schrijven met een nauwkeurigheid van 99,46%. Pre-LLM studentenschrijven werd gekenmerkt door interactieve kenmerken (persoonlijke voornaamwoorden, contracties, existentieel "er") en een lagere informatiedichtheid. LLM-tekst werd gekenmerkt door een hogere informatiedichtheid, langere woorden, nominalisaties en presens participium. Expert-schrijven vertrouwde meer op agentloze lijdende vormen en het werkwoord "zijn".
2. Verschuiving in Studenten-schrijven: Sinds de opkomst van LLM's is het schrijven van studenten verschoven naar een mengeling van LLM- en expert-stijlen, hoewel de verschuiving het meest uitgesproken is in de eerste quintiel (Introductie) en de vijfde quintiel (Discussie/Conclusie).
   • De posterieure waarschijnlijkheid dat een studentenverslag tot de klasse "pre-LLM student" behoort, nam significant af in deze secties (bijv. de eerste quintiel daalde van een waarschijnlijkheid van 3 k% naar 26,9%).
   • Studenten namen stilistische kenmerken over die geassocieerd worden met LLM's (bijv. toegenomen nominalisaties, attributieve adjectieven en presens participium) in plaats van die die uniek geassocieerd worden met menselijke experts.
3. Verschuiving in Werkwoordgebruik: Er was een statistisch significante toename in het gebruik van "LLM-favoriete" werkwoorden in studentenverslagen na 2023. Opvallende toenames waren enhance (een 8,71-voudige toename), suggest en underscore. Concordantie-analyse van underscore onthulde gebruikspatronen (bijv. "underscores the complexity of") die afwezig waren in pre-LLM verslagen maar gebruikelijk zijn in LLM-outputs.
4. Expert-achtige Verschijning: Hoewel het schrijven van studenten meer gelijkenis vertoonde met expert-schrijven wat betreft bepaalde stilistische markers, merken de auteurs op dat dit een incidenteel bijproduct kan zijn van het imiteren van LLM's in plaats van een werkelijke verwerving van expert-retorische strategieën.

Betekenis en Claims
Het artikel beweert sterk bewijs te leveren dat het schrijven van statistiek door undergraduates sinds de brede adoptie van generatieve AI meer "LLM-achtig" is geworden in zowel stijl als werkwoordgebruik. De auteurs stellen dat deze verschuiving bijzonder evident is in de inkadering (introductie) en de concluderende secties van verslagen, wat suggereert dat studenten het meest intensief met LLM's consulteren wanneer zij onzeker zijn over het structureren van deze niet-technische componenten.

De auteurs claimen bescheiden dat hoewel studentenverslagen er meer "expert-achtig" uit kunnen zien, dit niet noodzakelijkerwijs gelijkstaat aan verbeterd statistisch denken of redeneren. Zij benadrukken dat als de "expert-achtige" kwaliteit voortkomt uit het uitbesteden van cognitieve arbeid aan AI, de educatieve waarde van schrijven-om-te-leren opdrachten in gevaar komt. Bijgevolg stelt het artikel voor dat onderwijzers de beoordelingsmethoden moeten heroverwegen. In plaats van projectgebaseerd leren op te geven, suggereren de auteurs gerichte beoordelingen (bijv. specifieke retorische oefeningen voor introducties) en mondelinge examens om ervoor te zorgen dat studenten het vermogen behouden om kritisch over statistische problemen na te denken en AI-gegenereerde outputs te evalueren, in lijn met de GAISE 2016-richtlijnen om "statistisch denken te onderwijzen".

Beperkingen
De auteurs erkennen dat hun bevindingen gebaseerd zijn op een enkele cursus aan één instelling en dat hun LLM-corpus de specifieke prompts of conversationele interacties die studenten gebruiken mogelijk niet perfect repliceert. Bovendien analyseert deze studie de schrijfstijl, maar meet het niet de statistische kwaliteit of juistheid van de onderliggende data-analyse in de studentenverslagen.