The StudyChat Dataset: Analyzing Student Dialogues With ChatGPT in an Artificial Intelligence Course

Este artículo presenta StudyChat, un conjunto de datos público que analiza las interacciones reales de estudiantes universitarios con un chatbot de IA en un curso de inteligencia artificial, revelando que el uso de la herramienta para comprender conceptos y programar mejora el rendimiento académico, mientras que su uso para eludir los objetivos de aprendizaje lo reduce.

Lo esencial

Imagina que la clase de Inteligencia Artificial de la universidad es como un gimnasio de programación. Los estudiantes van allí para levantar pesas (resolver problemas de código) y hacerse más fuertes (aprender).

En el pasado, si un estudiante se atascaba, tenía que levantar la mano y esperar a que el profesor (el entrenador) pasara por su lado para darle un consejo. Pero ahora, gracias a la Inteligencia Artificial (como ChatGPT), los estudiantes tienen un entrenador virtual personal que está disponible 24/7, siempre listo para responder cualquier pregunta.

El artículo que presentas, llamado "StudyChat", es como una cámara de seguridad y un cuaderno de notas que los investigadores instalaron en ese gimnasio durante un semestre entero. Su objetivo no era vigilar para castigar, sino entender cómo los estudiantes usaban a este entrenador virtual.

Aquí tienes los puntos clave explicados de forma sencilla:

1. ¿Qué hicieron exactamente?

Los investigadores crearon una aplicación web que se veía y funcionaba exactamente como ChatGPT. Se la dieron a usar a 203 estudiantes en un curso de Inteligencia Artificial. Les dijeron: "¡Usen esta herramienta tanto como quieran para sus tareas! No les bajaremos la nota por usarla".

El resultado fue un tesoro de datos: 16,851 conversaciones reales entre estudiantes y la IA. Es como tener grabadas miles de sesiones de entrenamiento donde se puede escuchar exactamente qué le preguntan los alumnos al robot.

2. El "Semáforo" de las Preguntas (Etiquetado)

Para entender estas conversaciones, los investigadores crearon un sistema de clasificación, como un semáforo de colores para las intenciones de los estudiantes:

• 🔵 Preguntas de Concepto (Azul - Bueno): "¿Cómo funciona este algoritmo?" o "¿Por qué mi código falla?". Son preguntas para entender.
• 🟢 Pedir que escriban el código (Verde - Mixto): "Escribe este programa por mí". Aquí hay un riesgo: si el estudiante solo copia y pega, no está aprendiendo a montar la pesa, solo está dejando que el robot lo haga.
• 🔴 Pedir que escriban informes (Rojo - Peligroso): "Escribe el informe de la tarea". Esto es como pedirle al robot que corra la carrera por ti.

3. ¿Qué descubrieron? (Las Sorpresas)

El estudio encontró patrones muy interesantes, como si estuvieran leyendo la mente de los estudiantes:

• Los que preguntan "¿Por qué?" ganan: Los estudiantes que usaban la IA para entender conceptos difíciles o para pedir ayuda con la lógica del código, obtenían mejores notas en los exámenes. Era como si el entrenador virtual les ayudara a entender la técnica de levantamiento, no solo a levantar el peso.
• Los que piden "hazlo por mí" pierden: Los estudiantes que usaban la IA para redactar los informes o para saltarse el proceso de aprendizaje, obtuvieron peores resultados en los exámenes. ¡El examen es la prueba de fuego! Si el robot hizo la tarea, el estudiante no aprendió nada y se quedó atascado cuando tuvo que demostrar lo que sabía solo.
• La confusión es mala: Cuando los estudiantes hacían preguntas muy específicas sobre errores de su código actual (preguntas de "contexto"), a menudo indicaba que estaban confundidos o que la IA les había dado una respuesta incorrecta (alucinación), lo que bajaba sus notas.

4. Los "Atletas" de la IA

Los investigadores también agruparon a los estudiantes según cómo usaban la herramienta:

• El grupo "Copiar y Pegar": Usaban la IA para escribir todo el código y los informes. Tenían notas decentes en las tareas (porque la IA las hacía bien), pero sus notas en los exámenes eran más bajas y variaban mucho.
• El grupo "Pregunta y Aprende": Usaban la IA para aclarar dudas. Sus notas en los exámenes fueron más altas y consistentes. No había estudiantes que reprobaban; todos tenían un rendimiento sólido.

5. La Lección Final

Imagina que la IA es como una calculadora.

• Si usas la calculadora para entender cómo funciona una fórmula matemática, te vuelves más inteligente.
• Si usas la calculadora para que haga toda la tarea de matemáticas por ti, nunca aprenderás a sumar.

Conclusión:
El estudio nos dice que la Inteligencia Artificial en la educación es una herramienta de doble filo. No es mala en sí misma; el problema es cómo la usamos.

• Úsala como un tutor (para preguntar y entender) = Éxito.
• Úsala como un hacedor de tareas (para que haga el trabajo por ti) = Fracaso en el aprendizaje real.

Los autores quieren compartir estos datos con otros investigadores para que, en el futuro, podamos crear mejores "entrenadores virtuales" que sepan cuándo ayudar a entender y cuándo decir: "Espera, intenta resolverlo tú mismo primero".

Resumen técnico

Resumen Técnico: El Dataset StudyChat

1. Planteamiento del Problema

La proliferación de Modelos de Lenguaje Grande (LLM) como ChatGPT ha transformado la educación, generando una dicotomía entre oportunidades de aprendizaje y riesgos académicos. Si bien los estudiantes pueden utilizar estas herramientas para obtener retroalimentación personalizada y tutoría bajo demanda, existe la preocupación de que se utilicen para eludir los objetivos de aprendizaje (por ejemplo, generando respuestas completas para tareas) o para crear una dependencia excesiva.

El problema central abordado en este trabajo es la falta de datos empíricos a gran escala sobre cómo interactúan realmente los estudiantes con LLMs en un entorno educativo universitario, específicamente en cursos de Ciencias de la Computación. La mayoría de los estudios existentes se basan en encuestas o casos de estudio limitados, sin un análisis detallado de los patrones de diálogo (actos de habla) y su correlación directa con los resultados académicos (calificaciones en tareas y exámenes).

2. Metodología

Los autores desarrollaron un estudio de caso longitudinal de un año en un curso de Inteligencia Artificial (IA) de nivel universitario en la Universidad de Massachusetts Amherst (semestres Otoño 2024 y Primavera 2025).

• Recolección de Datos:

  • Se desplegó una aplicación web que replica las funcionalidades centrales de ChatGPT (utilizando el modelo gpt-4o-mini), permitiendo a los estudiantes interactuar sin restricciones durante las tareas de programación.
  • Se recopilaron 16,851 interacciones únicas (enunciados de estudiantes y respuestas del LLM) de 203 estudiantes a través de 7 tareas de programación y 3 exámenes.
  • También se recolectaron 924 entregas de tareas de 158 estudiantes que consintieron compartir su trabajo.
  • Se implementó un proceso riguroso de filtrado para eliminar Información de Identificación Personal (PII), como nombres de usuario de GitHub o rutas de directorios, mediante expresiones regulares.

• Annotación de Actos de Diálogo (Dialogue Acts - DA):

  • Se diseñó un esquema de etiquetado de dos niveles (8 categorías amplias y 31 etiquetas específicas) inspirado en estudios previos sobre programación colaborativa y revisiones sistemáticas de las conversaciones.
  • Las categorías incluyen: Escritura (escribir código, inglés), Edición, Preguntas Contextuales (clarificación de tareas, explicación de código), Preguntas Conceptuales (bibliotecas de Python, matemáticas), Verificación, Contexto (mensajes de error) y Fuera de tema.
  • Automatización: Dado el volumen de datos, se utilizó un enfoque basado en prompting con LLMs (GPT-4.1) para etiquetar los enunciados a escala.
  • Validación: Se realizó una evaluación humana para validar el esquema. La concordancia inter-annotador (Kappa de Cohen) fue de 0.910 para etiquetas amplias y 0.788 para específicas en la fase de desarrollo. La validación con LLMs mostró una concordancia moderada con humanos (0.58), comparable a la concordancia entre humanos en conjuntos de prueba.

• Análisis Estadístico:

  • Regresión Lineal: Se modeló la relación entre los conteos de actos de diálogo (y sus subcategorías) y las calificaciones normalizadas de las tareas y exámenes, utilizando el promedio de calificaciones previas como variable de control.
  • Agrupamiento (Clustering): Se aplicó el algoritmo K-means sobre vectores de características normalizados de los actos de diálogo para identificar perfiles de comportamiento estudiantil.
  • Análisis de Varianza: Se compararon resultados entre grupos de bajo, medio y alto uso del LLM.

3. Contribuciones Clave

1. Dataset StudyChat: Se libera un dataset público y anónimo que contiene más de 16,000 interacciones estudiante-LLM en un curso de IA, junto con las entregas de tareas correspondientes. Es uno de los conjuntos de datos más grandes y detallados de su tipo en educación superior.
2. Esquema de Etiquetado Específico: Un esquema de actos de diálogo validado y escalable, diseñado específicamente para capturar matices en la interacción de programación (ej. distinguir entre pedir explicación de código vs. pedir que escriban el código).
3. Metodología de Etiquetado Asistido por LLM: Una demostración práctica de cómo utilizar LLMs para anotar grandes volúmenes de datos educativos con una validación humana rigurosa, ofreciendo un modelo para futuras investigaciones a gran escala.

4. Resultados Principales

El análisis de los datos reveló patrones significativos sobre cómo el comportamiento en el diálogo se correlaciona con el rendimiento académico:

• Correlación Positiva con el Aprendizaje: Los estudiantes que utilizan el LLM principalmente para preguntas conceptuales (entender bibliotecas, conceptos de CS) y ayuda en la escritura de código (solicitar fragmentos o lógica) tienden a obtener mejores resultados tanto en tareas como en exámenes.
• Correlación Negativa con el Aprendizaje:
  • Las preguntas contextuales (específicas sobre la tarea actual, errores inmediatos) a menudo se correlacionan negativamente con las calificaciones, sugiriendo confusión o dependencia reactiva.
  • El uso del LLM para escribir informes o redactar respuestas completas (eludir el aprendizaje) se asocia con peores resultados en los exámenes, indicando que estos estudiantes no han internalizado el conocimiento.
• Análisis de Clusters (Comportamiento):
  • Se identificaron cuatro perfiles principales. El grupo "Escritores de Código" (que piden ayuda para implementar) y el grupo "Preguntas de Codificación" obtuvieron las mejores calificaciones en los exámenes.
  • El grupo "Escritores de Informes" (que piden redacción de texto y síntesis) obtuvo las calificaciones más bajas en los exámenes, lo que sugiere que el uso del LLM para tareas de redacción en lugar de resolución de problemas perjudica la comprensión profunda.
• Nivel de Uso: Los estudiantes con un uso muy alto del LLM mostraron una menor varianza en sus resultados y un mínimo de calificación más alto en comparación con los usuarios de bajo uso. Esto sugiere que un uso consistente y significativo puede estabilizar el rendimiento, especialmente para estudiantes que necesitan tutoría adicional.
• Limitaciones del Modelo: Se observó que los estudiantes que confiaron en el LLM para derivaciones matemáticas complejas (en una tarea de modelos n-gramas) obtuvieron peores resultados, lo que indica que los LLMs actuales (como gpt-4o-mini) pueden proporcionar explicaciones procedimentales incorrectas o inconsistentes en matemáticas avanzadas.

5. Significado e Implicaciones

Este trabajo proporciona evidencia empírica crucial para la comunidad educativa y de tecnología educativa:

• Diseño de Herramientas de Tutoría: Los resultados sugieren que los Sistemas de Tutoría Inteligente (ITS) basados en LLM deben estar diseñados para fomentar preguntas conceptuales y desalentar la solicitud de soluciones completas o redacción de informes.
• Detección de Riesgo: Los patrones de diálogo pueden utilizarse para identificar en tiempo real a estudiantes que están en riesgo de fracaso académico debido a una dependencia excesiva o mal uso de la IA (ej. uso para eludir objetivos de aprendizaje).
• Política Educativa: En lugar de prohibir el uso de LLMs, los educadores deberían guiar a los estudiantes hacia un uso "estratégico" (como un compañero de programación para conceptos) y advertir sobre los peligros de usarlo para tareas de redacción o derivaciones matemáticas complejas sin validación.
• Investigación Futura: El dataset abierto permite a otros investigadores explorar la evolución de la interacción humano-IA, desarrollar modelos de conocimiento estudiantil más robustos y crear evaluaciones que midan la dependencia de la IA.

En conclusión, el estudio demuestra que no es la cantidad de uso del LLM lo que determina el éxito, sino la calidad y el tipo de interacción. Un uso enfocado en la comprensión conceptual y la implementación de código mejora el aprendizaje, mientras que un uso enfocado en la generación de contenido y la evitación del esfuerzo cognitivo conduce a un rendimiento inferior.