Analyzing Students' Statistics Writing Before and After the Emergence of Large Language Models

Resumen Técnico: Análisis de la escritura estadística de los estudiantes antes y después del surgimiento de los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El currículo de estadística y ciencia de datos de pregrado depende en gran medida del aprendizaje basado en proyectos y de las tareas de escritura para fomentar el "escribir para aprender" (profundizar la comprensión conceptual) y el "escribir en las disciplinas" (comunicar resultados a las partes interesadas). Una preocupación primordial con la adopción generalizada de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) es que los estudiantes pueden delegar tareas cognitivas críticas —como interpretar coeficientes, articular limitaciones y estructurar argumentos— a la IA generativa. Esta delegación corre el riesgo de estancar el desarrollo de la escritura de los estudiantes en la etapa de "relato de conocimientos" (knowledge-telling), impidiéndoles alcanzar la etapa de "elaboración de conocimientos" (knowledge-crafting) necesaria para la pericia, y potencialmente socavando el objetivo de GAISE 2016 de producir consumidores críticos de resultados estadísticos. El artículo busca determinar empíricamente cómo el surgimiento de los LLM ha alterado el estilo de escritura y el uso de verbos en los informes de estadística de pregrado.

Metodología
Los autores construyeron un análisis de corpus comparativo que involucra tres conjuntos de datos distintos:

1. Corpus de Estudiantes: 1,619 informes de análisis de datos de un curso introductorio de estadística (36-202) en la Universidad Carnegie Mellon, recolectados entre la primavera de 2021 y el otoño de 2025. Los informes se categorizaron en "pre-LLM" (2021–2022), un "año de transición" (2023) y "desde-LLM" (2024–2025).
2. Corpus de LLM: Texto académico generado por cuatro LLM (GPT-4o, GPT-5 Mini, Gemini 2.5 Flash y Claude Haiku 4.5) basado en el corpus académico Human-AI Parallel English (HAP-E). Estos modelos fueron seleccionados basándose en su accesibilidad para los estudiantes durante el periodo de estudio.
3. Corpus de Expertos: 278 artículos de estadística aplicada revisados por pares de CHANCE, The American Statistician y el Journal of the American Statistical Association (publicados entre 2018 y 2022), con un preprocesamiento para eliminar la densidad matemática y asegurar la comparabilidad estilística con los informes de los estudiantes.

Enfoque Analítico
El estudio empleó dos técnicas analíticas primarias:

• Análisis Discriminante Lineal (LDA): Los autores utilizaron 67 rasgos lexicogramaticales de Biber (por ejemplo, nominalizaciones, voz pasiva, uso de pronombres, longitud de palabras) para entrenar modelos LDA.
  • Un Modelo LDA Global comparó informes completos a través de las tres fuentes (estudiante pre-LLM, LLM, experto).
  • Un Modelo LDA de Quintiles dividió los informes de los estudiantes en cinco segmentos basados en la longitud (que mapean aproximadamente a Introducción, EDA, Modelado, Predicción y Discusión) para detectar cambios de estilo específicos por sección.
• Análisis de Keyness (Palabras Clave): Los autores identificaron los 50 lemas verbales más utilizados por cada LLM (97 verbos únicos en total) y realizaron pruebas de razón de verosimilitud binomial para determinar si las tasas de uso de estos verbos aumentaron significativamente en los informes de estudiantes "desde-LLM" en comparación con los informes "pre-LLM".

Resultos Clave

1. Divergencia Estilística: Los modelos LDA distinguieron con éxito entre la escritura de estudiantes pre-LLM, el texto generado por LLM y la escritura de expertos con una precisión del 99.46%. La escritura de los estudiantes pre-LLM se caracterizó por rasgos interactivos (pronombres en primera persona, contracciones, el "there" existencial) y una menor densidad de información. El texto de los LLM se caracterizó por una mayor densidad de información, palabras más largas, nominalizaciones y participios presentes. La escritura de los expertos dependía más de pasivas sin agente y del verbo "ser" (be).
2. Cambio en la Escritura de los Estudiantes: Desde la aparición de los LLM, la escritura de los estudiantes ha cambiado hacia una mezcla de los estilos de LLM y de expertos, aunque el cambio es más pronunciado en el primer quintil (Introducción) y el quinto quintil (Discusión/Conclusión).
   • La probabilidad a posteriori de que un informe de estudiante perteneciera a la clase de "estudiante pre-LLM" disminuyó significamente en estas secciones (por ejemplo, la probabilidad del primer quintil cayó del 32.6% al 26.9%).
   • Los estudiantes adoptaron rasgos estilísticos asociados con los LLM (por ejemplo, un aumento en las nominalizaciones, adjetivos atributivos y participios presentes) en lugar de aquellos asociados únicamente con los expertos humanos.
3. Cambios en el Uso de Verbos: Hubo un aumento estadísticamente significativo en el uso de verbos "favoritos de los LLM" en los informes de los estudiantes post-2023. Entre los aumentos notables se encuentran enhance (un aumento de 8.71 veces), suggest y underscore. El análisis de concordancia de underscore reveló patrones de uso (por ejemplo, "underscores the complexity of") que estaban ausentes en los informes pre-LLM pero que son comunes en los resultados de los LLM.
4. Apariencia de Experto: Aunque la escritura de los estudiantes se volvió más similar a la de los expertos en términos de ciertos marcadores estilísticos, los autores señalan que esto puede ser un subproducto incidental de imitar a los LLM en lugar de una adquisición genuina de estrategias retóricas de expertos.

Significancia y Reivindicaciones
El artículo afirma proporcionar evidencia sólida de que la escritura de estadística de pregrado se ha vuelto más "similar a un LLM" tanto en estilo como en uso de verbos desde la adopción generalizada de la IA generativa. Los autores argumentan que este cambio es particularmente evidente en el encuadre (introducción) y en las secciones de conclusión de los informes, lo que sugiere que los estudiantes consultan más a los LLM cuando se sienten inseguros sobre cómo estructurar estos componentes no técnicos.

Los autores afirman modestamente que, si bien los informes de los estudiantes pueden parecer más "similares a los de un experto", esto no equivale necesariamente a una mejora en el pensamiento o razonamiento estadístico. Enfatizan que si la calidad "similar a la de un experto" proviene de delegar el trabajo cognitivo a la IA, el valor educativo de las tareas de escribir para aprender se ve comprometido. En consecuencia, el artículo propone que los educadores deben reevaluar los métodos de evaluación. En lugar de abandonar el aprendizaje basado en proyectos, los autores sugieren evaluaciones dirigidas (por ejemplo, ejercicios retóricos específicos para las introducciones) y exámenes orales para asegurar que los estudiantes conserven la capacidad de pensar críticamente sobre los problemas estadísticos y evaluar los resultados generados por la IA, alineándose con las directrices de GAISE 2016 para "enseñar el pensamiento estadístico".

Limitaciones
Los autores reconocen que sus hallazgos se basan en un único curso en una sola institución y que su corpus de LLM puede no replicar perfectamente los prompts específicos o las interacciones conversacionales que utilizan los estudiantes. Además, el estudio analiza el estilo de escritura, pero no mide la calidad estadística o la corrección del análisis de datos subyacente en los informes de los estudiantes.