Identifying Quality Indicators in Student Self-Reflections in Software Engineering

Resumen Técnico: Identificación de Indicadores de Calidad en las Autorreflexiones de Estudiantes en Ingeniería de Software

Planteamiento del Problema
La reflexión es una habilidad crítica en la educación y la práctica profesional de la ingeniería de software; sin embargo, evaluar las reflexiones escritas para proporcionar retroalimentación accionable consume muchos recursos por parte de los instructores. La evaluación manual suele generar una retroalimentación amplia y no específica (por ejemplo, "tu reflexión podría ser más profunda") en lugar de identificar dimensiones específicas de la reflexión que un estudiante ha abordado o descuidado. Además, en los cursos de proyectos de ingeniería de software basados en proyectos, donde la reflexión ocurre de manera iterativa a lo largo del ciclo de vida del proyecto, la retroalimentación tardía suele ser ineficaz. Existe una falta de enfoques automatizados diseñados específicamente para clasificar la escritura reflexiva dentro del contexto colaborativo e iterativo de los cursos de proyectos de ingeniería de software.

Metodología
El estudio emplea un enfoque de múltiples etapas para desarrollar un marco de escritura reflexiva y un clasificador automatizado:

1. Desarrollo del Marco: Los autores adaptaron marcos de escritura reflexiva existentes (específicamente los de Ullmann et al. y Alrashidi et al.) al contexto de la ingeniería de software. Mediante una refinación iterativa, establecieron un esquema de ocho indicadores:

   • Descripción: Relato factual de los eventos.
   • Comprensión: Interpretación subjetiva de metas o experiencias.
   • Sentimientos: Identificación de emociones (ej. orgullo, frustración).
   • Razonamiento: Análisis profundo de causas y efectos concretos.
   • Perspectiva: Consideración de puntos de vista alternativos (compañeros, miembros del equipo).
   • Nuevo Aprendizaje: Adquisición de habilidades o conocimientos.
   • Retrospección (Hindsight): Análisis retrospectivo de cómo se podría haber abordado una situación de manera diferente.
   • Intención Futura: Planificación prospectiva de acciones futuras.
   • Nota: El marco divide el indicador tradicional de "Acción Futura" en "Retrospección" (retrospectivo) e "Intención Futura" (prospectivo) para alinearse con la estructura de tres consignas utilizada en el estudio.

2. Anotación de Datos: Se recolectó un conjunto de datos de 1,518 respuestas de estudiantes (6,704 oraciones) de un curso de proyecto de ingeniería de software de tercer año en la Universidad de Canterbury. Los estudiantes respondieron semanalmente a tres consignas sobre qué salió bien, qué no salió bien y qué harían de manera diferente. Tres anotadores etiquetaron los datos, logrando un acuerdo inter-evaluador moderado a confiable (alfa de Krippendorff) tras la refinación iterativa de las directrices.

3. Entrenamiento y Evaluación del Modelo:

   • Modelos Solo-Codificador (Encoder-only): Cinco modelos transformer (BERT, DistilBERT, ALBERT, DeBERTa, RoBERTa) fueron ajustados (fine-tuned) en el conjunto de datos anotado utilizando un enfoque de clasificación multietiqueta con pérdida de Entropía Cruzada Binaria y ponderación de frecuencia inversa para manejar el desequilibrio de clases. El ajuste de hiperparámetros se realizó mediante Optuna.
   • Modelos Solo-Decodificador (Decoder-only): Dos modelos de lenguaje de gran tamaño (GPT-OSS:20b y Qwen3:14b) fueron evaluados mediante prompting de disparo cero (zero-shot) con capacidades de razonamiento extendido. Estos se ejecutaron localmente para garantizar la privacidad.
   • Comparación: El rendimiento se midió utilizando la pérdida de Hamming, la precisión de coincidencia exacta y las puntuaciones F1 por indicador. También se comparó la eficiencia computacional.

Contribuciones Clave

1. Marco Adaptado: Un marco de escritura reflexiva de ocho indicadores diseñado a medida para cursos de proyectos de ingeniería de software, validado por instructores humanos con un acuerdo inter-evaluador de moderado a fuerte.
2. Clasificador Automatizado: Un modelo RoBERTa ajustado capaz de identificar indicadores de reflexión con un acuerdo de nivel humano en la mayoría de las dimensiones.
3. Comparación Arquitectónica: Una comparación exhaustiva que demuestra que los modelos solo-codificadores ajustados superan sustancialmente a los modelos decoder-only de disparo cero tanto en precisión como en velocidad computacional para esta tarea específica.
4. Directrices de Implementación: Guía práctica para educadores, que incluye dos variantes de modelos (una optimizada para F1 en precisión y otra optimizada para Recall en seguridad) para adaptarse a diferentes prioridades pedagógicas.

Resultados

• Rendimiento del Modelo: El modelo RoBERTa ajustado logró el mejor desempeño, con una puntuación F1 macro de 0.809 y una precisión de coincidencia exacta de 0.380. Superó significativamente a los modelos decoder-only, que lograron precisiones de coincidencia exacta de 0.229 (Qwen3:14b) y 0.189 (GPT-OSS:20b).
• Dificultad de los Indicadores: El rendimiento de la clasificación reflejó estrechamente el acuerdo inter-evaluador humano. Los indicadores con alto acuerdo humano (ej. Intención Futura, Retrospección) fueron bien clasificados por los modelos. Los indicadores con menor acuerdo humano (Razonamiento y Perspectiva) siguieron siendo desafiantes tanto para humanos como para máquinas, aunque el modelo RoBERTa logró los mejores resultados entre todos los enfoques probados.
• Eficiencia: El modelo RoBERta solo-codificador clasificó una reflexión en menos de 0.1 segundos en hardware de consumo. En contraste, los modelos decoder-only requirieron de 20 a 45 segundos por clasificación, lo que los hace poco prácticos para la retroalimentación en tiempo real.
• Acuerdo Humano: Cuando se trató como un cuarto anotador, el modelo RoBERTa optimizado para F1 mantuvo o superó los niveles de acuerdo humano-humano en seis de los ocho indicadores.

Significancia y Reivindicaciones
El artículo sostiene que su marco y clasificador automatizado ofrecen un medio viable para proporcionar retroalimentación oportuna y estructurada sobre las reflexiones de los estudiantes en la educación de la ingeniería de software. Al automatizar la identificación de dimensiones de reflexión específicas, el enfoque aborda la limitación de la retroalimentación amplia y no específica, permitiendo a los educadores dirigir la atención del estudiante hacia aspectos de su reflexión que han sido pasados por alto (por ejemplo, instando al razonamiento o la perspectiva).

Los autores enfatizan que los modelos solo-codificadores ajustados permiten una evaluación eficiente y escalable que reduce la carga de trabajo del instructor mientras apoya la evaluación formativa. Declaran explícicamente que el sistema está diseñado para la retroalimentación formativa (guiar el aprendizaje) en lugar de la evaluación sumativa (calificar), citando la subjetividad inherente de la reflexión y el riesgo de que los estudiantes "engañen" al sistema si las calificaciones estuvieran directamente ligadas a las clasificaciones automatizadas. El estudio concluye que, si bien el marco es robusto para los indicadores de alto acuerdo, el acuerdo moderado en Razonamiento y Perspectiva sugiere que estos deben usarse con precaución, potencialmente como estímulos para una mayor reflexión en lugar de evaluaciones definitivas.