Investigating Self-regulated Learning Sequences within a Generative AI-based Intelligent Tutoring System

Resumen Técnico: Investigación de las Secuencias de Aprendizaje Autorregulado en un Sistema de Tutoría Inteligente basado en IA Generativa

Planteamiento del Problema
Aunque la Inteligencia Artificial Generativa (GenAI) se integra cada vez más en los entornos educativos para proporcionar contenido y retroalimentación adaptativa, su mera presencia no garantiza el éxito académico. La eficacia del aprendizaje asistido por GenAI depende en gran medida de cómo los estudiantes regulan sus interacciones con la tecnología. Aunque el Aprendizaje Autorregulado (SRL, por sus siglas en inglés) es reconocido como crítico en estos contextos, la investigación existente carece a menudo de la granularidad necesaria para capturar la dinámica temporal de las interacciones de los estudiantes con la GenAI. Específicamente, existe una brecha en la comprensión de los patrones secuenciales de los comportamientos de SRL (por ejemplo, planificación, monitoreo, reflexión) a medida que se desarrollan en tiempo real dentro de los Sistemas de Tutoría Inteligente (ITS) apoyados por GenAI, y cómo estas secuencias se correlacionan con el desempeño de aprendizaje y los propósitos específicos del uso de la IA.

Metodología
El estudio empleó un enfoque cuantitativo orientado al proceso mediante el análisis de datos de traza dentro de un entorno de aprendizaje controlado.

• Participantes y Contexto: El estudio involucró a 110 estudiantes universitarios (de 114 reclutados) que interactuaron con "Healthy Choice", un ITS diseñado para mejorar la alfabetización nutricional. El sistema integró ChatGPT a través de una función "Ask AI" para proporcionar andamiaje. Los participantes completaron una tarea de resolución de problemas que requería seleccionar elementos nutricionales óptimos basados en escenarios específicos.
• Extracción y Codificación de Datos:
  • Secuencias de SRL: Los datos de traza de la plataforma se codificaron basándose en el modelo de tres fases de SRL de Zimmerman (Previsión, Ejecución, Reflexión). Las acciones a micro-nivel incluyeron Establecimiento de Metas (GS), Ejecución (EX), Evaluación (EV), Monitoreo (MO), Elaboración (EL) y Reflexión (RE).
  • Propósito de Uso de GenAI: Los prompts utilizados en la función "Ask AI" se clasificaron en dos categorías basadas en la teoría del procesamiento de información: Adquisición de Información (búsqueda de comprensión de términos o hechos desconocidos) y Transformación de Información (evaluación, confirmación o resolución de conflictos cognitivos).
• Técnicas Analíticas:
  • Clustering Secuencial: Se aplicaron algoritmos de clustering jerárquico a las secuencias de estados derivadas de las acciones codificadas para identificar grupos distintos de aprendices basados en sus patrones de transición de SRL.
  • Análisis de Transición: Se generaron mapas de calor de tasas de transición para visualizar y comparar la frecuencia de secuencias de acciones específicas (por ejemplo, $EV \to EX$, $Ask\ AI \to EV$) entre los clusters.
  • Análisis Estadístico: Se utilizaron intervalos de confianza de Wilson para analizar la prevalencia de los propósitos de uso de GenAI, y se examinaron las diferencias de desempeño entre los clusters.

Resultados Clave

• Identificación de Dos Clusters Distintos: El análisis clasificó con éxito a los 62 participantes que utilizaron la función "Ask AI" en dos grupos distintos basados en sus secuencias de SRL:
  • Cluster 1 (n=18): Caracterizado por tasas de transición más altas en secuencias específicas, notablemente $Ask\ AI \to EV$ (uso de la IA para aclarar antes de evaluar) y $EV \to EX$ (pasar de la evaluación de vuelta a la ejecución). Estos estudiantes participaron en más actividades consecutivas de establecimiento de metas y ejecución, pero pasaron más tiempo analizando piezas de información individuales en lugar de sintetizarlas.
  • Cluster 2 (n=44): Exhibió secuencias repetidas que involucran autorreflexión ($RE \to RE$) y establecimiento de metas ($GS \to GS$). Notablemente, este grupo participó en múltiples rondas de diálogo con la GenAI, lo que sugiere una interacción más profunda.
• Patrones de Uso de GenAI:
  • Frecuencia: Los estudiantes en el Cluster 1 usaron la función "Ask AI" significativamente más a menudo (media de 5 veces) en comparación con el Cluster 2 (media de 2 veces).
  • Propósito: En todos los participantes, la GenAI se utilizó con mayor frecuencia para la Adquisición de Información (53.6% de los prompts) que para la Transformación de Información (46.4%).
• Correlación con el Desempeño: El estudio encontró que la correlación entre el propósito específico de usar GenAI (Adquisición vs. Transformación) y el desempeño de aprendizaje no fue estadísticamente significativa. Sin embargo, el artículo señala que el patrón del Cluster 1 de analizar información aislada sin una integración coherente pudo haber contribuido a un menor desempeño, aunque esto es una inferencia basada en los patrones de comportamiento observados y no una afirmación estadística directa de causalidad en la sección de resultados.

Contribuciones Clave

1. Dinámicas Temporales del SRL: El estudio va más allá de las medidas estáticas de SRL para mapear el desarrollo secuencial de los comportos de los estudiantes en un entorno de GenAI, demostrando que el orden y la frecuencia de las transiciones (por ejemplo, de la interacción con la IA a la evaluación) varían significamente entre los grupos de aprendices.
2. Diferenciación de los Propósitos de Uso de la IA: Al distinguir entre la adquisición y la transformación de información, el estudio destaca una tendencia prevalente entre los estudiantes a utilizar la GenAI para la recuperación de hechos en lugar del procesamiento cognitivo de orden superior (evaluación/síntesis).
3. Clustering de Comportamiento: La aplicación de clustering secuencial a los datos de traza de ITS identificó con éxito perfiles de comportamiento distintos, revelando que los usuarios de alta frecuencia de IA no necesariamente exhiben los mismos patrones regulatorios que los usuarios de baja frecuencia, y que patrones de transición específicos (como la reflexión repetida) son observables.

Significancia y Reivindicaciones
Los autores afirman que sus hallazgos ofrecen perspectivas críticas tanto para el diseño pedagógico como para el desarrollo de entornos de aprendizaje asistidos por GenAI.

• Implicaciones Pedagógicas: Los resultados subrayan la importancia de la autorreflexión como estrategia para el desarrollo de la pericia. Los autores sugieren que los diseños instruccionales deben andamiar explícitamente los ciclos de reflexión iterativos para ayudar a los estudiantes a integrar metas, acciones y resultados.
• Implicaciones de Diseño: El estudio indica que la profundidad y la secuencia de las interacciones con la IA influyen en el aprendizaje. La observación de que el Cluster 2 (con interacciones más profundas y de múltiples rondas) mostró patrones diferentes sugiere que las herramientas de IA adaptativas deben diseñarse para apoyar interacciones sostenidas y estructuradas alineadas con las estrategias de SRL, en lugar de simples bucles de consulta-respuesta.
• Necesidades de Intervención: Los hallazgos resaltan la necesidad de intervenciones dirigidas para los estudiantes que dependen fuertemente del análisis de información aislada (patrón del Cluster 1) para ayudarlos a construir representaciones mentales coherentes de los problemas. Los autores proponen que los sistemas futuros podrían aprovechar la analítica de aprendizaje en tiempo real para proporcionar guía personalizada, orientando a los estudiantes hacia estrategias de SRL más efectivas.

El documento concluye de manera modesta, señalando que si bien el estudio identifica estos patrones, se requiere investigación futura para determinar cómo la analítica en tiempo real puede operacionalizarse efectivamente para proporcionar dicha guía personalizada en entornos apoyados por GenAI.