Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

Resumen Técnico: Medición de Cambios en el Diseño de Clases de los Instructores y en el Aprendizaje Estudiantil Tras el Lanzamiento de Modelos de Lenguaje Grande (LLM)

Enunciado del Problema
La amplia difusión pública de los Modelos de Lenguaje Grande (LLM) a finales de 2022 ha precipitado un cambio en la educación superior; sin embargo, la evidencia empírica sobre su impacto en las conductas de aprendizaje estudiantil, el diseño de cursos por parte del profesorado y la validez de las métricas tradicionales de calificación sigue siendo escasa. Los autores identifican una brecha metodológica crítica: las métricas tradicionales, como las calificaciones, son cada vez más comprometidas como proxies del aprendizaje. Esta distorsión surge de tres factores: (1) la dinámica de "gato y ratón" donde los instructores rediseñan las tareas para que sean resistentes a los LLM, rompiendo la comparabilidad longitudinal; (2) la posibilidad de que el uso no detectado de LLM infle artificialmente las calificaciones sin ganancias de aprendizaje correspondientes; y (3) la penalización de los estudiantes atrapados usando LLM, lo que puede resultar en calificaciones reprobatorias a pesar de una comprensión conceptual real. En consecuencia, existe una falta de datos triangulados que combinen registros históricos de calificaciones con percepciones cualitativas tanto del profesorado como del estudiantado para evaluar las tendencias de aprendizaje en la "era post-LLM".

Metodología
Este estudio emplea un diseño mixto y multicurso realizado en la Universidad de Massachusetts, Boston (UMass Boston). La investigación triangula tres fuentes de datos distintas:

1. Análisis Cuantitativo Retrospectivo: Se obtuvieron datos históricos de calificaciones que abarcan hasta diez años en aproximadamente quince cursos del registro de la universidad. Estos datos permiten comparar las Promedios Ponderados (GPA), las tasas de retiro y las tasas de reprobación entre la era pre-LLM (antes de la primavera de 2023) y la era post-LLM.
2. Encuestas a Instructores: Se distribuyó una encuesta al profesorado para documentar cambios en la estructura del curso, el diseño de tareas y los criterios de calificación. Dieciocho instructores completaron la encuesta de investigación. La encuesta utilizó escalas Likert y preguntas de respuesta abierta para capturar la extensión y la naturaleza de las adaptaciones pedagógicas.
3. Encuestas a Estudiantes: Se administraron encuestas anónimas a estudiantes (principalmente de programas relacionados con la informática) para evaluar la frecuencia de uso autoinformado de LLM, las conductas de estudio, la comprensión conceptual y las percepciones sobre la validez de las calificaciones. Para abordar el sesgo de deseabilidad social, el estudio empleó un enfoque de doble vía: preguntas directas sobre el uso personal y preguntas indirectas sobre el uso por parte de compañeros para calcular un "índice de subnotificación".

El estudio utilizó análisis temático (Braun & Clarke) para los datos cualitativos y análisis estadístico (correlaciones de Spearman, pruebas t de Welch) para los datos cuantitativos. La validez de contenido de los instrumentos de encuesta se estableció mediante una revisión experta por cinco profesores universitarios, logrando una puntuación de acuerdo general del 94,00 % tras el refinamiento de los ítems.

Contribuciones Clave

• Evidencia Triangulada: Este es el primer estudio que examina simultáneamente datos de calificaciones, percepciones del profesorado y autoinformes estudiantiles para analizar el fenómeno de los LLM en la educación superior.
• Cuantificación del Cambio Pedagógico: El estudio documenta la cronología específica y la magnitud de los rediseños de cursos, identificando un retraso entre la disponibilidad de LLM y la adaptación significativa del profesorado.
• Índice de Subnotificación: La investigación proporciona un enfoque metodológico para estimar la brecha entre el uso autoinformado y el uso real de LLM, comparando las estimaciones de uso personal y de compañeros.
• Discrepancia Calificación-Aprendizaje: El estudio ofrece evidencia empírica que vincula la falta de rediseño de cursos con calificaciones artificialmente infladas, sugiriendo que en cursos no modificados, el acceso a LLM se correlaciona con calificaciones más altas pero potencialmente con un aprendizaje auténtico menor.

Resultados

• Adaptación del Instructivo: El 86,7 % de los instructores encuestados modificaron sus cursos en respuesta a la IA generativa. Los cambios más comunes implicaron un giro hacia el trabajo en clase, las evaluaciones en clase y las tareas de razonamiento conceptual (Figura 3). La severidad del rediseño aumentó significativamente después de la primavera de 2023, con muchos instructores alterando el 20–40 % o más de sus tareas.
• Tendencias de Calificaciones: En la era post-LLM, el promedio de calificaciones (GPA) estudiantil aumentó ligeramente de 2,96 a 3,00 (estadísticamente significativo pero con un tamaño del efecto negligible, d de Cohen = 0,04). Las tasas de retiro y reprobación también disminuyeron ligeramente.
• La Anomalía del Curso "Inalterado": Surgió un hallazgo crítico respecto a los dos instructores que reportaron ningún cambio en el diseño de su curso. Sus cursos mostraron un aumento sustancialmente mayor en el GPA promedio (+0,25 puntos) en comparación con los cursos impartidos por instructores que rediseñaron sus tareas (+0,01 puntos). Las tasas de retiro también disminuyeron más drásticamente en estos cursos no modificados.
• Conducta y Percepción Estudiantil: Los estudiantes subnotificaron su uso personal de LLM para tareas calificadas en comparación con sus estimaciones sobre el uso de sus compañeros. Un mayor uso autoinformado de LLM se correlacionó con una menor creencia de que las calificaciones reflejan con precisión el aprendizaje. Sin embargo, en esta muestra, el uso autoinformado de LLM no mostró una correlación estadísticamente significativa con el GPA, el tiempo de estudio o las puntuaciones de comprensión conceptual (ConCal).
• Preocupaciones Estudiantiles: Los estudiantes expresaron una ansiedad significativa sobre ser castigados por usar IA (incluso cuando no lo hicieron) y sobre la equidad del sistema donde los compañeros podrían usar IA para lograr calificaciones más altas. Hubo una demanda fuerte y espontánea de orientación institucional y talleres sobre el uso de la IA.

Significado y Afirmaciones
Los autores posicionan este trabajo como un estudio piloto destinado a informar la investigación institucional más amplia y la política. El artículo afirma que su principal significado radica en proporcionar una evaluación basada en evidencia de las tendencias de aprendizaje utilizando datos triangulados, lo cual es necesario para que las universidades naveguen la política de IA generativa.

El estudio concluye que, si bien la mayoría del profesorado está rediseñando activamente los cursos para mitigar la dependencia de la IA, aquellos que no se han adaptado están viendo una inflación sustancial de calificaciones en sus clases. Esto sugiere que, sin adaptación pedagógica, el acceso a LLM puede crear una desventaja competitiva para los estudiantes que no utilizan IA, al tiempo que oscurece el estado real del aprendizaje estudiantil. Los autores afirman que los datos actuales respaldan la necesidad de políticas a nivel universitario y orientación dirigida a los estudiantes, señalando que los recursos institucionales existentes se centran casi exclusivamente en el profesorado. El artículo evita explícitamente hacer generalizaciones amplias debido a su naturaleza de un solo sitio y muestreo por conveniencia, instando a que estos hallazgos sirvan como base para estudios más grandes y multicentro.