Analyzing Curricular Pattern Complexity Using AI to Improve On-Time Graduation Rates

Resumen Técnico: Análisis de la Complejidad de los Patrones Curriculares mediante IA para Mejorar las Tasas de Graduación a Tiempo

Planteamiento del Problema
Los programas de títulos de grado, particularmente en campos como la Ingeniería de Software, a menudo sufren de "complejidad curricular". Esta complejidad surge de secuencias de cursos prerrequisitos largas y rígidas. Cuando un estudiante reprueba un curso dentro de una ruta crítica, la naturaleza secuencial del currículo puede retrasar la graduación por un semestre o incluso un año académico completo. La identificación de estos cuellos de botella y la revisión de los currículos para mejorar las tasas de graduación a tiempo es, tradicionalmente, un proceso manual y laborioso para el profesorado universitario. En consecuencia, las actualizaciones curriculares son poco frecuentes y luchan por mantenerse al ritmo de las necesidades cambiantes de los estudiantes. Los autores postulan que la Inteligencia Artificial (IA), específicamente los Modelos de Lenguaje Extensos (LLM), puede automatizar el análisis de los patrones curriculares y los prerrequisitos para reducir estos retrasos de manera más eficiente que los métodos manuales.

Metodología
El estudio empleó un enfoque experimental comparativo para evaluar la eficacia de varios LLM en el análisis y la revisión de un currículo de grado específico: el B.S. en Ingeniería de Software en la Universidad Aeronáutica Embry-Riddle.

1. Entrada de Datos: Los investigadores proporcionaron a los LLM el marco de Heileman et al. para calcular la complejidad curricular (definiendo factores de bloqueo, factores de retraso y crucialidad), el diagrama de flujo del programa de grado y las descripciones detalladas de los cursos.
2. Selección de Modelos: Se probaron cinco LLM distintos:
   • ChatGPT 5.3
   • Claude Sonnet 4.6
   • Gemini 3.1 Flash Lite Preview
   • Amazon Nova 2 Lite
   • Claude Opus 4.1
   • Adicionalmente, se probó una configuración de Generación Aumentada por Recuperación (RAG) utilizando Claude Sonnet 4.6 para observar si el anclaje del modelo en documentos externos mejoraba el rendimiento.
3. Criterios de Evaluación: Los modelos fueron evaluados basándose en cuatro métricas:
   • Comprensión de los conceptos de complejidad curricular.
   • Precisión en el cálculo de los factores de bloqueo y de retraso.
   • Calidad y formato de la salida de datos.
   • El porcentaje de sugerencias accionables "razonables" (definidas como cambios factibles que no violan las restricciones académicas).
4. Validación: Las sugerencias generadas por el modelo con mayor rendimiento fueron revisadas por dos profesores sénior de Ingeniería de Software para validar la viabilidad e identificar consecuencias no deseadas.

Contribuciones Clave
El artículo realiza cuatro contribuciones primarias al dominio del análisis de datos educativos:

1. Análisis Comparativo: Proporciona una comparación sistemática de múltiples LLM de vanguardia y un LLM con RAG para la tarea específica de análisis curricular.
2. Aplicación de LLM a la Complejidad: Demuestra la aplicación de los LLM para analizar la complejidad curricular de un título de grado, yendo más allá del modelado teórico.
3. Revisión Automatizada: Utiliza un LLM para generar revisiones curriculares específicas y accionables destinadas a reducir los cuellos de botella.
4. Validación por el Profesorado: Valida los cambios curriculares generados por la IA a través de una encuesta al profesorado universitario, cerrando la brecha entre las sugerencias algorítmicas y la realidad académica.

Resultados
Los resultados experimentales destacaron una varianza significativa en el rendimiento de los modelos:

• Mejor Desempeño: Claude Sonnet 4.6 emergió como la herramienta más efectiva. Fue el único modelo que explicó correctamente los conceptos de complejidad, calculó con precisión los factores de bloqueo y retraso, y proporcionó un alto porcentaje de sugerencias razonables (83%). También generó una herramienta interactiva de JavaScript para visualizar el análisis.
• Otros Modelos:
  • ChatGPT 5.3: Explicó correctamente los conceptos pero falló en los cálculos matemáticos de los factores de complejidad, lo que hace que sus salidas de datos específicas no sean confiables a pesar de ofrecer sugerencias de alto nivel razonables.
  • Gemini 3.1 Flash Lite: Identificó correctamente los conceptos pero falló al calcular con precisión los factores de bloqueo y retraso específicos.
  • Nova 2 Lite: Describió correctamente los conceptos pero falló en los cálculos y ofreció sugerencias pobres y a menudo ilógicas (por ejemplo, paralelizar cursos que no pueden ser paralelizados).
  • Claude Opus 4.1: Identificó correctamente las rutas de prerrequisitos pero cometió errores consistentes en los cálculos de los factores de retraso y sugirió eliminar prerrequisitos inexistentes.
• Desempeño de RAG: La implementación de RAG utilizando Sonnet 4.6 no mejoró el rendimiento. El modelo tuvo dificultades para recuperar e interpretar los datos del diagrama de flujo visual del corpus externo, volviéndose confuso a menudo. Los autores señalaron que el procesamiento de diagramas de flujo visuales probablemente requeriría Reconocimiento Óptico de Caracteres (OCR) o Modelos de Lenguaje Visual (VLM), lo que añadiría complejidad y reduciría la accesibilidad.

Revisiones Sugeridas y Retroalimentación del Profesorado
Sonnet 4.6 sugirió varios cambios específicos, incluyendo el movimiento de ciertos cursos (por ejemplo, CS 222, SE 420) a semestres anteriores, la eliminación de prerrequisitos específicos (por ejemplo, SE 310/320 para la capstone) y la oferta de cursos clave tanto en otoño como en primavera.

La validación de los profesores reveló una realidad matizada:

• Si bien las sugerencias fueron un "buen punto de partida", contenían imprecisiones respecto a las ofertas departamentales actuales (por ejemplo, el modelo sugirió ofrecer cursos en ambos semestres, pero el departamento ya lo hace).
• Los profesores señalaron que mover los cursos a etapas anteriores podría causar una sobrecarga de créditos en los semestres tempranos.
• Algunas sugerencias tuvieron consecuencias no deseadas, como afectar a los cursos de posgrado con doble titulación o los requisitos de acreditación ABET.
• Crucialmente, los profesores enfatizaron que estas sugerencias no pueden adoptarse de forma aislada y requieren un modelado adicional de su impacto en las tasas de graduación y la distribución de créditos.

Significado y Reivindicaciones
El artículo afirma modestamente que Sonnet 4.6 (sin RAG) es actualmente la mejor herramienta disponible para analizar la complejidad curricular debido a su capacidad para calcular correctamente los factores de complejidad y formatear los resultados para la revisión humana.

Los autores sostienen que, si bien los LLM pueden acelerar significamente el proceso de análisis y generar hipótesis intrigantes para la revisión curricular, aún no son un reemplazo para el juicio humano. El estudio concluye que los LLM sirven como una poderosa herramienta de "lluvia de ideas" para identificar posibles cuellos de botella y sugerir revisiones, pero estas sugerencias deben ser rigurosamente modeladas y validadas por el profesorado antes de su implementación. El trabajo destaca el potencial de la IA para reducir el tiempo de cambio de los currículos, aunque reconoce las limitaciones actuales en el procesamiento de datos visuales (diagramas de flujo) y la necesidad de la supervisión humana para considerar las restricciones institucionales y las consecuencias no deseadas.