Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

En las aulas de las universidades modernas, se está produciendo una revolución silenciosa, impulsada por un nuevo tipo de inteligencia artificial conocida como modelo de lenguaje extenso. Estos no son simples motores de búsqueda que recuperan datos; son sistemas entrenados en vastas cantidades de escritura humana, capaces de comprender el contexto, razonar a través de problemas complejos y generar texto que imita la conversación humana. Durante años, los educadores se han preguntado si estas herramientas podrían hacer algo más que simplemente charlar; ¿podrían realmente enseñar o, al menos, ayudar a los profesores a calificar las montañas de trabajos que entregan los estudiantes? Esta cuestión es particularmente complicada en campos como la ingeniería de software, donde los estudiantes no solo escriben ensayos o resuelven problemas matemáticos. En su lugar, crean planos complejos para sistemas de software, trazando diagramas que muestran cómo las diferentes partes de un programa deben conectarse y funcionar. Estos diseños visuales requieren un ojo humano para detectar errores sutiles de lógica y estructura. Si una computadora pudiera calificar estas tareas con precisión y ofrecer consejos útiles sobre cómo mejorar, liberaría a los profesores para que se concentren en un aprendizaje más profundo, pero solo si la computadora es lo suficientemente confiable como para que se confíe en ella la calificación de un estudiante.

Un equipo de investigadores de universidades de Pakistán y el Reino Unido se propuso probar precisamente esta idea. Querían ver si dos de los sistemas de inteligencia artificial más avanzados disponibles podían calificar tareas complejas de diseño de software y proporcionar retroalimentación personalizada a los estudiantes. Para ello, recopilaron 54 entregas reales de estudiantes de un curso sobre diseño y arquitectura de software. Cada estudiante había creado tres tipos específicos de diagramas: un diagrama de casos de uso que muestra cómo los usuarios interactúan con un sistema, un diagrama de clases que describe los componentes básicos del software y un diseño de arquitectura de tres niveles que mapea las capas del sistema. Un instructor humano experimentado ya había calificado cada una de estas tareas utilizando un conjunto estricto de reglas, o rúbrica, que definía exactamente lo que se requería para obtener la puntuación máxima. Los investigadores introdujeron luego estas mismas tareas, junto con las reglas del instructor, en dos modelos de inteligencia artificial diferentes: uno de una empresa llamada OpenAI y otro de Google.

Los investigadores no se limitaron a pedir a las computadoras que dieran una puntuación. Diseñaron un proceso cuidadoso para asegurar que los modelos pensaran paso a paso en la calificación, de forma muy similar a como lo haría un profesor humano. Pidieron a los modelos que primero verificaran si el estudiante había abordado el tema correcto, luego que examinaran cada parte de la rúbrica para ver si los elementos requeridos estaban presentes y, finalmente, que calcularan una puntuación basada en errores específicos encontrados. Para asegurar que los resultados fueran estables y no solo un golpe de suerte, los investigadores pidieron a cada modelo que calificara cada tarea tres veces por separado y luego promediara los resultados. También construyeron una herramienta web personalizada para gestionar todo este proceso, permitiendo a los modelos leer los archivos PDF de los estudiantes, que contenían tanto texto como los complejos diagramas, y generar un informe detallado para cada alumno.

Cuando los investigadores compararon las calificaciones generadas por la computadora con las calificaciones del instructor humano, los resultados fueron una mezcla de promesa y limitación. Los sistemas de inteligencia artificial fueron, por lo general, cercanos a la puntuación promedio del profesor humano, con las calificaciones de la computadora diferenciándose en unos cinco puntos de un total de cincuenta en promedio. Sin embargo, las computadoras tuvieron dificultades para igualar la capacidad del profesor humano para distinguir entre los mejores y los peores estudiantes. El instructor humano otorgó un amplio rango de puntuaciones, desde un mínimo de 19 hasta un máximo de 49, reflejando una comprensión clara de quién había dominado el material y quién no. Las computadoras, por otro lado, tendieron a comprimir estas puntuaciones en una banda más estrecha, otorgando a menudo un trabajo mediocre una calificación ligeramente superior y a un trabajo excelente una ligeramente inferior. Esto significó que, si bien las computadoras eran buenas dando una estimación aproximada del desempeño, aún no eran lo suficientemente confiables para reemplazar a un profesor humano en la decisión de una calificación final, ya que perdían la capacidad de clasificar a los estudiantes con precisión.

A pesar de las imperfecciones en la calificación, la retroalimentación que generaron las computadoras fue sorprendentemente bien recibida. Los estudiantes que recibieron los comentarios generados por la IA los encontraron claros, útiles y provechosos para comprender sus errores. De hecho, cuando se les pidió elegir qué retroalimentación de la computadora preferían, la gran mayoría de los estudiantes eligió el modelo de OpenAI, señalando que sus comentarios se sentían más personales y constructivos, y más cercanos a lo que diría un profesor humano. Curiosamente, esta preferencia no siempre coincidía con cuál computadora dio la calificación matemáticamente más cercana; el modelo que los estudiantes más apreciaron por su estilo de escritura no era necesariamente el más preciso en su puntuación. Esto sugiere que, para los estudiantes, la calidad del consejo importa más que el número exacto asignado a su trabajo.

El estudio concluye que estas herramientas de inteligencia artificial son asistentes poderosos pero aún no están listas para tomar el volante por completo. Pueden encargarse del trabajo pesado de revisar cientos de tareas, detectar elementos faltantes en los diagramas y redactar una retroalimentación inicial, lo que ahorra a los profesores una cantidad tremenda de tiempo. Sin embargo, la investigación sugiere fuertemente que un profesor humano debe permanecer en el proceso para revisar las calificaciones finales y garantizar la equidad, especialmente en evaluaciones de alto riesgo donde el futuro de un estudiante depende del resultado. El futuro ideal, según estos hallazgos, es un enfoque híbrido donde la computadora actúe como un primer lector incansable, ofreciendo una evaluación preliminar y sugerencias detalladas, mientras que el instructor humano proporciona el juicio final y la comprensión matizada que solo una persona puede ofrecer. Esta asociación podría transformar la educación en ingeniería de software, haciendo que la retroalimentación personalizada esté disponible para cada estudiante sin sobrecargar a los profesores.