Analyzing Students' Statistics Writing Before and After the Emergence of Large Language Models

Resumo Técnico: Analisando a Escrita Estatística de Estudantes Antes e Depois da Emergência dos Modelos de Linguagem de Grande Escala

Definição do Problema
O currículo de graduação em estatística e ciência de dados depende fortemente de aprendizagem baseada em projetos e tarefas de escrita para fomentar o "escrever para aprender" (aprofundamento da compreensão conceitual) e o "escrever nas disciplinas" (comunicação de resultados para partes interessadas). Uma preocupação primária com a adoção generalizada de Modelos de Linguagem de Grande Escala (LLMs) é que os estudantes podem delegar tarefas cognitivas críticas — como interpretar coeficientes, articular limitações e estruturar argumentos — à IA generativa. Esse deslocamento corre o risco de estagnar o desenvolvimento da escrita do estudante no estágio de "relato de conhecimento" (knowledge-telling), impedindo-o de atingir o estágio de "elaboração de conhecimento" (knowledge-crafting) necessário para a expertise, e potencialmente minando o objetivo do GAISE 2016 de produzir consumidores críticos de resultados estatísticos. O artigo busca determinar empiricamente como a emergência dos LLMs alterou o estilo de escrita e o uso de verbos em relatórios de estatística de graduação.

Metodologia
Os autores construíram uma análise de corpus comparativa envolvendo três conjuntos de dados distintos:

1. Corpus de Estudantes: 1.619 relatórios de análise de dados de um curso introdutório de estatística (36-202) na Carnegie Mellon University, coletados entre a Primavera de 2021 e o Outono de 2025. Os relatórios foram categorizados como "pré-LLM" (2021–2022), um "ano de transição" (2023) e "desde-LLM" (2024–2025).
2. Corpus de LLM: Texto acadêmico gerado por quatro LLMs (GPT-4o, GPT-5 Mini, Gemini 2.5 Flash e Claude Haiku 4.5) baseado no corpus acadêmico Human-AI Parallel English (HAP-E). Esses modelos foram selecionados com base em sua acessibilidade aos estudantes durante o período de estudo.
3. Corpus de Especialistas: 278 artigos de estatística aplicada revisados por pares das revistas CHANCE, The American Statistician e o Journal of the American Statistical Association (publicados entre 2018–2022), com pré-processamento para remover a densidade matemática e garantir a comparabilidade estilística com os relatórios dos estudantes.

Abordagem Analítica
O estudo empregou duas técnicas analíticas primárias:

• Análise Discriminante Linear (LDA): Os autores utilizaram 67 características lexicogramaticais de Biber (ex: nominalizações, voz passiva, uso de pronomes, extensão de palavras) para treinar modelos LDA.
  • Um Modelo LDA Geral comparou relatórios completos através das três fontes (estudante pré-LLM, LLM, especialista).
  • Um Modelo LDA de Quintis dividiu os relatórios dos estudantes em cinco segmentos baseados em extensão (mapeando aproximadamente para Introdução, EDA, Modelagem, Predição e Discussão) para detectar mudanças de estilo específicas de cada seção.
• Análise de Keyness (Palavra-chave): Os autores identificaram os 50 principais lemas de verbos usados por cada LLM (97 verbos únicos no total) e realizaram testes de razão de verossimilhança binomial para determinar se as taxas de uso desses verbos aumentaram significativamente nos relatórios de estudantes "desde-LLM" em comparação com os "pré-LLM".

Resultos Principais

1. Divergência Estilística: Os modelos LDA distinguiram com sucesso a escrita de estudantes pré-LLM, texto gerado por LLM e escrita de especialistas com 99,46% de precisão. A escrita dos estudantes pré-LLM foi caracterizada por recursos interativos (pronomes de primeira pessoa, contrações, "there" existencial) e menor densidade informacional. O texto do LLM foi caracterizado por maior densidade informacional, palavras mais longas, nominalizações e particípios presentes. A escrita dos especialistas baseou-se mais em passivas sem agente e no verbo "ser" (be).
2. Mudança na Escrita dos Estudantes: Desde a emergência dos LLMs, a escrita dos estudantes mudou para uma mistura dos estilos de LLM e de especialistas, embora a mudança seja mais pronunciada no primeiro quintil (Introdução) e no quinto quintil (Discussão/Conclusão).
   • A probabilidade posterior de um relatório de estudante pertencer à classe "estudante pré-LLM" diminuiu significativamente nessas seções (ex: o primeiro quintil caiu de 32,6% para 26,9% de probabilidade).
   • Os estudantes adotaram características estilísticas associadas aos LLMs (ex: aumento de nominalizações, adjetivos atributivos e particípios presentes) em vez de características unicamente associadas a especialistas humanos.
3. Mudanças no Uso de Verbos: Houve um aumento estatisticamente significativo no uso de verbos "favoritos do LLM" nos relatórios dos estudantes pós-2023. Aumentos notáveis incluíram enhance (um aumento de 8,71 vezes), suggest e underscore. A análise de concordância de underscore revelou padrões de uso (ex: "underscores the complexity of") que estavam ausentes nos relatórios pré-LLM, mas eram comuns em saídas de LLM.
4. Aparência Semelhante à de Especialista: Embora a escrita dos estudantes tenha se tornado mais semelhante à escrita dos especialistas em termos de certos marcadores estilísticos, os autores observam que isso pode ser um subproduto incidental de mimetizar os LLMs, e não uma aquisição genuína de estratégias retóricas de especialistas.

Significância e Alegações
O artigo alega fornecer evidências robustas de que a escrita estatística de graduação tornou-se mais "semelhante ao LLM" tanto em estilo quanto no uso de verbos desde a adoção generalizada da IA generativa. Os autores argumentam que essa mudança é particularmente evidente no enquadramento (introdução) e nas seções de conclusão dos relatórios, sugerindo que os estudantes consultam os LLMs com mais frequência quando se sentem incertos sobre como estruturar esses componentes não técnicos.

Os autores afirmam modestamente que, embora os relatórios dos estudantes possam parecer mais "semelhantes aos de especialistas", isso não equivale necessariamente a uma melhoria no pensamento ou raciocínio estatístico. Eles enfatizam que, se a qualidade "semelhante à de especialista" decorre da delegação do trabalho cognitivo para a IA, o valor educacional das tarefas de escrita para aprender é comprometido. Consequentemente, o artigo propõe que os educadores reavaliem os métodos de avaliação. Em vez de abandonar a aprendizagem baseada em projetos, os autores sugerem avaliações direcionadas (ex: exercícios retóricos específicos para introduções) e exames orais para garantir que os estudantes mantenam a capacidade de pensar criticamente sobre problemas estatísticos e avaliar saídas geradas por IA, alinhando-se às diretrizes do GAISE 2016 para "ensinar o pensamento estatístico".

Limitações
Os autores reconhecem que suas descobertas baseiam-se em um único curso em uma única instituição e que seu corpus de LLM pode não replicar perfeitamente os prompts específicos ou as interações conversacionais que os estudantes utilizam. Além disso, o estudo analisa o estilo de escrita, mas não mede a qualidade estatística ou a correção da análise de dados subjacente nos relatórios dos estudantes.