Analyzing Students' Statistics Writing Before and After the Emergence of Large Language Models

Sintesi Tecnica: Analisi della scrittura statistica degli studenti prima e dopo l'emergere dei Large Language Models

Problema
Il curriculum di statistica e scienza dei dati per gli studenti universitari si basa fortemente sull'apprendimento basato su progetti e sugli incarichi di scrittura per promuovere la "scrittura per apprendere" (approfondimento della comprensione concettuale) e la "scrittura nelle discipline" (comunicazione dei risultati agli stakeholder). Una preoccupazione primaria legata all'adozione diffusa dei Large Language Models (LLM) è che gli studenti possano delegare compiti cognitivi critici — come l'interpretazione dei coefficienti, l'articolazione dei limiti e la strutturazione degli argomenti — all'IA generativa. Questo offloading rischia di bloccare lo sviluppo della scrittura degli studenti allo stadio di "racconto della conoscenza" (knowledge-telling), impedendo loro di raggiungere lo stadio di "costruzione della conoscenza" (knowledge-crafting) necessario per l'expertise, e potenzialmente minando l'obiettivo GAISE 2016 di produrre consumatori critici di risultati statistici. Il documento mira a determinare empiricamente come l'emergere degli LLM abbia alterato lo stile di scrittura e l'uso dei verbi nei report statistici universitari.

Metodologia
Gli autori hanno costruito un'analisi comparativa del corpus coinvolgendo tre dataset distinti:

1. Corpus degli Studenti: 1.619 report di analisi dei dati da un corso introduttivo di statistica (36-202) presso la Carnegie Mellon University, raccolti tra la primavera 2021 e l'autunno 2025. I report sono stati categorizzati in "pre-LLM" (2021–2022), un "anno di transizione" (2023) e "post-LLM" (2024–2025).
2. Corpus LLM: Testi accademici generati da quattro LLM (GPT-4o, GPT-5 Mini, Gemini 2.5 Flash e Claude Haiku 4.5) basati sul corpus accademico Human-AI Parallel English (HAP-E). Questi modelli sono stati selezionati in base alla loro accessibilità agli studenti durante il periodo di studio.
3. Corpus degli Esperti: 278 articoli di statistica applicata sottoposti a revisione paritaria provenienti da CHANCE, The American Statistician e dal Journal of the American Statistical Association (pubblicati tra il 2018 e il 2022), con pre-elaborazione per rimuovere la densità matematica e garantire la comparabilità stilistica con i report degli studenti.

Approccio Analitico
Lo studio ha impiegato due tecniche analitiche primarie:

• Analisi Discriminante Lineare (LDA): Gli autori hanno utilizzato 67 caratteristiche lessico-grammaticali di Biber (ad es. nominalizzazioni, voce passiva, uso dei pronomi, lunghezza delle parole) per addestrare i modelli LDA.
  • Un Modello LDA Globale ha confrontato i report completi attraverso le tre fonti (studente pre-LLM, LLM, esperto).
  • Un Modello LDA per Quintili ha suddiviso i report degli studenti in cinque segmenti basati sulla lunghezza (mappando approssimativamente Introduzione, EDA, Modellazione, Predizione e Discussione) per rilevare cambiamenti di stile specifici per sezione.
• Analisi della Keyness: Gli autori hanno identificato i primi 50 lemmi verbali utilizzati da ciascun LLM (97 verbi unici in totale) e hanno condotto test di rapporto di verosimiglianza binomiale per determinare se i tassi di utilizzo di questi verbi siano aumentati significativamente nei report degli studenti "post-LLM" rispetto ai report "pre-LLM".

Risultati Chiave

1. Divergenza Stilistica: I modelli LDA hanno distinto con successo tra la scrittura degli studenti pre-LLM, il testo generato da LLM e la scrittura degli esperti con un'accuratezza del 99,46%. La scrittura degli studenti pre-LLM era caratterizzata da tratti interattivi (pronomi in prima persona, contrazioni, "there" esistenziale) e una minore densità informativa. Il testo LLM era caratterizzato da una maggiore densità informativa, parole più lunghe, nominalizzazioni e participi presenti. La scrittura degli esperti faceva affidamento su passivi senza agente e sul verbo "essere".
2. Spostamento nella Scrittura degli Studenti: Dalla comparsa degli LLM, la scrittura degli studenti si è spostata verso una miscela di stili LLM ed esperti, sebbene lo spostamento sia più pronunciato nel primo quintile (Introduzione) e nel quinto quintile (Discussione/Conclusione).
   • La probabilità a posteriori che un report dello studente appartenga alla classe "studente pre-LLM" è diminuita significativamente in queste sezioni (ad es., la probabilità del primo quintile è scesa dal 32,6% al 26,9%).
   • Gli studenti hanno adottato caratteristiche stilistiche associate agli LLM (ad es., aumento di nominalizzazioni, aggettivi attributivi e participi presenti) piuttosto che quelle unicamente associate agli esperti umani.
3. Spostamenti nell'Uso dei Verbi: Si è registrato un aumento statisticamente significativo dell'uso di verbi "preferiti dagli LLM" nei report degli studenti post-2023. Gli aumenti notevoli includono enhance (un aumento di 8,71 volte), suggest e underscore. L'analisi di concordanza di underscore ha rivelato modelli di utilizzo (ad es., "underscores the complexity of") assenti nei report pre-LLM ma comuni negli output degli LLM.
4. Apparenza Simile agli Esperti: Sebbene la scrittura degli studenti sia diventata più simile a quella degli esperti in termini di certi marcatori stilistici, gli autori osservano che ciò può essere un sottoprodotto incidentale del mimare gli LLM piuttosto che un genuino acquisto di strategie retoriche esperte.

Significatività e Rivendicazioni
Il documento sostiene di fornire una prova solida del fatto che la scrittura statistica universitaria sia diventata più "simile agli LLM" sia nello stile che nell'uso dei verbi dalla diffusione dell'IA generativa. Gli autori sostengono che questo spostamento sia particolarmente evidente nelle sezioni di inquadramento (introduzione) e di conclusione dei report, suggerendo che gli studenti consultino maggiormente gli LLM quando si sentono incerti su come strutturare queste componenti non tecniche.

Gli autori affermano con moderazione che, sebbene i report degli studenti possano apparire più "simili agli esperti", ciò non equivale necessariamente a un miglioramento del pensiero o del ragionamento statistico. Essi sottolineano che, se la qualità "simile all'esperto" deriva dall'offloading del lavoro cognitivo all'IA, il valore educativo degli incarichi di scrittura per l'apprendimento è compromesso. Di conseguenza, il documento propone che gli educatori debbano rivalutare i metodi di valutazione. Piuttosto che abbandonare l'apprendimento basato su progetti, gli autori suggeriscono valutazioni mirate (ad es., esercizi retorici specifici per le introduzioni) ed esami orali per garantire che gli studenti mantengano la capacità di pensare criticamente sui problemi statistici e di valutare gli output generati dall'IA, in linea con le linee guida GAISE 2016 per "insegnare il pensiero statistico".

Limitazioni
Gli autori riconoscono che le loro scoperte si basano su un singolo corso in un'unica istituzione e che il loro corpus LLM potrebbe non replicare perfettamente i prompt specifici o le interazioni conversazionali utilizzate dagli studenti. Inoltre, lo studio analizza lo stile di scrittura ma non misura la qualità statistica o la correttezza dell'analisi dei dati sottostante nei report degli studenti.