Not All Students Engage Alike: Multi-Institution Patterns in GenAI Tutor Use

Resumen Técnico: No todos los estudiantes se involucran de la misma manera: Patrones multiinstitucionales en el uso de tutores de IA Generativa

Planteamiento del problema
La rápida integración de los tutores de Inteligencia Artificial Generativa (IA Gen) en la educación postsecundaria ofrece un apoyo de aprendizaje individualizado y escalable. Sin embargo, persiste una preocupación crítica: los estudiantes pueden interactuar con estas herramientas de formas que eluden el aprendizaje genuino, como la búsqueda de atajos cognitivos o el copiar y pegar respuestas. Además, la literatura existente sugiere que los patrones de compromiso pueden variar significarray significativamente entre distintos contextos instructivos (por ejemplo, la selectividad institucional y las disciplinas de los cursos), lo que podría exacerbar las desigualdades educativas. Si bien estudios previos han documentado altas tasas de adopción e identificado diferencias cualitativas en el uso, a menudo se limitan a una sola institución o a cursos específicos de STEM. Existe una falta de evidencia multiinstitucional a gran escala sobre cómo los estudiantes interactúan con los tutores de IA Gen a lo largo del tiempo, cómo evolucionan estas interacciones y cómo difieren en diversos entornos educativos.

Metodología
Este estudio utiliza un flujo de trabajo analítico de dos etapas para examinar registros de interacción desidentificados de un Sistema de Gestión de Aprendizaje (LMS) comercial integrado con un tutor de IA Gen. El conjunto de datos comprende registros de 11,406 estudiantes de 200 clases en diez instituciones postsecundarias (incluyendo tres universidades altamente selectivas) durante el semestre de primavera de 2025.

1. Preprocesamiento de datos y segmentación de sesiones:

   • Los registros de interacción brutos se segmentaron en "sesiones de conversación" discretas utilizando un enfoque híbrido: un algoritmo basado en el tiempo (umbral de inactividad de 15 minutos) y un algoritmo basado en el tema (utilizando un LLM para analizar el contenido semántico). Este proceso produjo 113,255 sesiones de conversación.
   • La segmentación se validó contra un subconjunto de registros de actividades de aprendizaje específicas (por ejemplo, problemas de cuestionarios), logrando una puntuación F1 de 0.9.

2. Ingeniería de características:

   • Se diseñaron diez características para caracterizar las sesiones a través de tres dimensiones:
     • Conductual: Número de turnos de conversación, duración promedio por turno y conteo promedio de palabras por turno.
     • Cognitiva: Número de eventos de copiar y pegar (inferidos a partir de cargas de imágenes, palabras clave específicas y patrones de texto estructurado), número de solicitudes de respuestas directas y número de consultas orientadas a la comprensión.
     • Temporal: Progreso de la semana, indicador de periodo de exámenes, hora del día e indicador de clase presencial.

3. Flujo de trabajo analítico:

   • Etapa 1 (Clustering a nivel de sesión): Se aplicó el agrupamiento K-means (con reducción de dimensionalidad mediante PCA) a las características de nivel de sesión para identificar distintos tipos de compromiso. Las pruebas de robustez confirmaron la estabilidad de los clusters resultantes.
   • Etapa 2 (Minería de procesos a nivel de estudiante): Se empleó un Modelo de Markov de Primer Orden (FOMM) para analizar las probabilidades de transición entre los tipos de compromiso a lo largo del tiempo para estudiantes individuales. Esto permitió la caracterización de patrones de compromiso longitudinales.
   • Análisis contextual: Se utilizaron modelos de regresión lineal y minería de procesos comparativa para evaluar las variaciones según la selectividad institucional y las disciplinas de los cursos (STEM frente a no-STEM).

Resultados Clave

• Adopción e intensidad de uso: El 60.8% de los estudiantes interactuó con el tutor de IA Gen al menos una vez. La intensidad de uso (número de sesiones) aumentó constantemente durante el semestre, incluso cuando el número total de usuarios activos disminuyó, lo que indica un cambio hacia un uso más intensivo por parte de un subgrupo de estudiantes. Los estudiantes de STEM fueron significativamente menos propensos a adoptar la herramienta y participaron en menos sesiones en comparación con los estudiantes de áreas no-STEM. La selectividad institucional no predijo significativamente las tasas de adopción ni la intensidad general de uso.

• Cuatro tipos de compromiso distintos a nivel de sesión:

  1. Compromiso Profundo (14.0%): Caracterizado por un alto compromiso conductual y cognitivo (muchos turnos, larga duración, alto conteo de palabras y consultas orientadas a la comprensión). Distribuido uniformemente durante el semestre.
  2. Compromiso Superficial (10.4%): Caracterizado por pocos turnos, corta duración, bajo conteo de palabras y una alta prevalencia de copiar y pegar y solicitudes de respuestas directas. Distribuido uniformemente durante el semestre.
  3. Compromiso de Aprendizaje de Rutina (44.5%): Ocurrió principalmente durante el día y en la primera mitad del semestre. Implicó conteos de palabras moderados y consultas orientadas a la comprensión, sugiriendo una conexión con las actividades de clase rutinarias.
  4. Compromiso Impulsado por Exámenes (31.2%): Concentrado en las últimas semanas del semestre. Implicó sesiones cortas con un mínimo de copiar y pegar, lo que sugiere un uso para la preparación genuina de exámenes en lugar de atajos para tareas.

• Patrones de transición a nivel de estudiante:

  • Ciclo de Compromiso Profundo: Los estudiantes en este ciclo transitaron frecuentemente entre el compromiso profundo, de rutina y el impulsado por exámenes, pero rara vez cambiaron al compromiso superficial.
  • Ciclo de Compromiso Superficial: Los estudiantes aquí tendieron a permanecer en el compromiso superficial con transiciones muy limitadas a otros tipos.
  • Ciclos de Rutina y de Examen: Los aprendices de rutina a menudo transitaron hacia el compromiso profundo, mientras que los usuarios impulsados por exámenes ocasionalmente transitaron hacia el compromiso profundo.

• Variaciones contextuales:

  • Selectividad Institucional: Los estudiantes de instituciones altamente selectivas exhibieron proporciones significativamente mayores de compromiso profundo y de aprendizaje de rutina, y proporciones menores de compromiso impulsado por exámenes en comparación con las instituciones menos selectivas. Además, los estudiantes de instituciones selectivas fueron más propensos a transitar de manera flexible entre los tipos de compromiso, mientras que aquellos de instituciones menos selectivas fueron más propensos a permanecer en ciclos superficiales o de exámenes.
  • Disciplina: Los cursos de STEM mostraron proporciones más altas de compromiso superficial y de aprendizaje de rutina, mientras que los cursos no-STEM tuvieron un mayor compromiso impulsado por exámenes. En STEM, el compromiso superficial estuvo a menudo ligado al aprendizaje de rutina y terminó rápidamente; en no-STEM, estuvo más asociado con la preparación de exámenes y persistió por más tiempo.

Contribuciones Clave

1. Evidencia empírica a gran escala: El estudio proporciona el primer análisis multiinstitucional a gran escala sobre el compromiso con los tutores de IA Gen, yendo más allá de los estudios de caso de una sola asignatura o institución para revelar variaciones sistemáticas en los contextos institucionales y disciplinares.
2. Marco analítico: Los autores proponen un marco de analítica de aprendizaje de dos etapas que combina el clustering a nivel de sesión con la minería de procesos a nivel de estudiante. Este enfoque captura eficazmente tanto la naturaleza cualitativa de las interacciones individuales como la evolución dinámica del comportamiento del estudiante a lo largo del tiempo.
3. Comprensión matizada del compromiso: La investigación desafía la visión binaria del uso de la IA Gen (aprendizaje vs. trampa). Demuestra que los comportamientos "superficiales" (como copiar y pegar) no son el modo dominante de uso y son menos prevalentes durante la preparación de exámenes de alto riesgo. En su lugar, el compromiso es una mezcla heterogénea de comportos profundos, de rutina y de examen.

Significado y Reivindicaciones
El artículo sostiene que el principal desafío de equidad en la adopción de la IA Gen no es el acceso o la intensidad de uso, sino cómo los estudiantes se involucran con las herramientas. Los hallazgos sugieren que los estudiantes de instituciones altamente selectivas son más propensos a integrar la IA Gen en procesos de aprendizaje profundos y de rutina, mientras que los estudiantes de instituciones menos selectivas pueden ser más propensos a quedarse "atrapados" en ciclos superficiales o de repaso para exámenes. Esta disparidad puede estar vinculada a diferencias en las habilidades de aprendizaje autorregulado.

Los autores argumentan que los tutores de IA Gen no son una solución de "talla única". La variación significativa en los patrones de compromiso entre las disciplinas STEM y no-STEM indica que la efectidad de estas herramientas depende en gran medida del diseño instruccional y las estructuras de evaluación de cada disciplina. Por consiguiente, los autores abogan por diseños sensibles a la disciplina y regulaciones institucionales que apoyen el compromiso productivo en lugar de centrarse simplemente en el acceso. El estudio concluye que comprender la calidad y la trayectoria del compromiso es esencial para la escalabilidad responsable de la IA Gen en la educación.