Identifying Quality Indicators in Student Self-Reflections in Software Engineering

Resumo Técnico: Identificação de Indicadores de Qualidade em Autorreflexões de Estudantes em Engenharia de Software

Problema
A reflexão é uma habilidade crítica no ensino e na prática profissional de engenharia de software, mas avaliar reflexões escritas para fornecer feedback acionável consome muitos recursos dos instrutores. A avaliação manual frequentemente resulta em feedbacks amplos e não específicos (ex: "sua reflexão poderia ser mais profunda") em vez de identificar dimensões específicas de reflexão que um estudante abordou ou negligenciou. Além disso, em cursos de projetos de engenharia de software baseados em projetos, onde a reflexão ocorre iterativamente ao longo do ciclo de vida de um projeto, o feedback tardio é frequentemente ineficaz. Há uma carência de abordagens automatizadas especificamente desenhadas para classificar a escrita reflexiva dentro do contexto colaborativo e iterativo de cursos de projetos de engenharia de software.

Metodologia
O estudo emprega uma abordagem de múltiplos estágios para desenvolver um framework de escrita reflexiva e um classificador automatizado:

1. Desenvolvimento do Framework: Os autores adaptaram frameworks de escrita reflexiva existentes (especificamente aqueles de Ullmann et al. e Alrashidi et al.) para o contexto da engenharia de software. Através de refinamento iterativo, estabeleceram um esquema de oito indicadores:

   • Descrição: Relato factual de eventos.
   • Compreensão: Interpretação subjetiva de objetivos ou experiências.
   • Sentimentos: Identificação de emoções (ex: orgulho, frustração).
   • Raciocínio: Análise aprofundada de causas e efeitos concretos.
   • Perspectiva: Consideração de pontos de vista alternativos (pares, membros da equipe).
   • Novo Aprendizado: Aquisição de habilidades ou insights.
   • Retrospectiva (Hindsight): Análise retrospectiva de como uma situação poderia ter sido abordada de forma diferente.
   • Intenção Futura: Planejamento prospectivo para ações futuras.
   • Nota: O framework divide o tradicional indicador de "Ação Futura" em "Retrospectiva" (retrospectivo) e "Intenção Futura" (prospectivo) para se alinhar à estrutura específica de três prompts utilizada no estudo.

2. Anotação de Dados: Um conjunto de dados de 1.518 respostas de estudantes (6.704 sentenças) foi coletado de um curso de projeto de engenharia de software do terceiro ano na Universidade de Canterbury. Os estudantes responderam semanalmente a três prompts sobre o que correu bem, o que não correu bem e o que fariam de forma diferente. Três anotadores rotularam os dados, alcançando concordância inter-avaliador moderada a confiável (Krippendorff's $\alpha$) após o refinamento iterativo das diretrizes.

3. Treinamento e Avaliação do Modelo:

   • Modelos apenas-Encoder (Encoder-only): Cinco modelos transformer (BERT, DistilBERT, ALBERT, DeBERTa, RoBERTa) foram ajustados (fine-tuned) no conjunto de dados anotado usando uma abordagem de classificação multi-rótulo com perda de Entropia Cruzada Binária e ponderação de frequência inversa para lidar com o desequilíbrio de classes. O ajuste de hiperparâmetros foi realizado usando Optuna.
   • Modelos apenas-Decoder (Decoder-only): Dois grandes modelos de linguagem (GPT-OSS:20b e Qwen3:14b) foram avaliados usando prompting zero-shot com capacidades de raciocínio estendido. Estes foram executados localmente para garantir a privacidade.
   • Comparação: O desempenho foi medido usando perda de Hamming, precisão de correspondência exata (exact match accuracy) e F1-scores por indicador. A eficiência computacional também foi comparada.

Principais Contribuições

1. Framework Adaptado: Um framework de escrita reflexiva de oito indicadores adaptado para cursos de projetos de engenharia de software, validado por instrutores humanos com concordância inter-avaliador de moderada a forte.
2. Classificador Automatizado: Um modelo RoBERTa ajustado capaz de identificar indicadores de reflexão com concordância de nível humano na maioria das dimensões.
3. Comparação Arquitetural: Uma comparação abrangente demonstrando que modelos apenas-encoder ajustados superam substancialmente os modelos decoder-only zero-shot tanto em precisão quanto em velocidade computacional para esta tarefa específica.
4. Diretrizes de Implementação: Orientações práticas para educadores, incluindo duas variantes de modelo (F1-otimizado para precisão e Recall-otimizado para segurança) para atender a diferentes prioridades pedagógicas.

Resultados

• Desempenho do Modelo: O modelo RoBERTa ajustado apresentou o melhor desempenho, com um Macro F1-score de 0,809 e uma precisão de correspondência exata de 0,380. Ele superou significativamente os modelos decoder-only, que atingiram precisões de correspondência exata de 0,229 (Qwen3:14b) e 0,189 (GPT-OSS:20b).
• Dificuldade dos Indicadores: O desempenho da classificação espelhou de perto a concordância inter-avaliador humana. Indicadores com alta concordância humana (ex: Intenção Futura, Retrospectiva) foram bem classificados pelos modelos. Indicadores com menor concordância humana (Raciocínio e Perspectiva) permaneceram desafiadores tanto para humanos quanto para máquinas, embora o modelo RoBERTa tenha alcançado os melhores resultados entre todas as abordagens testadas.
• Eficiência: O modelo RoBERta (apenas-encoder) classificou uma única reflexão em menos de 0,1 segundo em hardware de consumo. Em contraste, os modelos decoder-only exigiram de 20 a 45 segundos por classificação, tornando-os impraticáveis para feedback em tempo real.
• Concordância Humana: Quando tratado como um quarto anotador, o modelo RoBERTa otimizado para F1 manteve ou excedeu os níveis de concordância humano-humano em seis dos oito indicadores.

Significância e Alegações
O artigo alega que seu framework e classificador automatizado oferecem um meio viável de fornecer feedback estruturado e oportuno sobre as reflexões dos estudantes em cursos de engenharia de software. Ao automatizar a identificação de dimensões de reflexão específicas, a abordagem aborda a limitação de feedbacks amplos e não específicos, permitindo que os educadores direcionem a atenção do estudante para aspectos de reflexão negligenciados (ex: estimulando o raciocínio ou a perspectiva).

Os autores enfatizam que os modelos apenas-encoder ajustados permitem uma avaliação eficiente e escalável que reduz a carga de trabalho do instrutor enquanto apoia a avaliação formativa. Eles declaram explicitamente que o sistema é projetado para feedback formativo (guiar a aprendizagem) em vez de avaliação somativa (atribuir notas), citando a subjetividade inerente à reflexão e o risco de os estudantes "manipularem" o sistema se as notas fossem diretamente ligadas às classificações automatizadas. O estudo conclui que, embora o framework seja robusto para indicadores de alta concordância, a concordância moderada em Raciocínio e Perspectiva sugere que estes devem ser usados com cautela, potencialmente como estímulos para reflexões adicionais, em vez de avaliações definitivas.