Identifying Quality Indicators in Student Self-Reflections in Software Engineering

Technische Samenvatting: Het Identificeren van Kwaliteitsindicatoren in Zelfreflecties van Studenten in Software Engineering

Probleemstelling
Reflectie is een cruciale vaardigheid in het onderwijs en de professionele praktijk van software engineering, maar het beoordelen van geschreven reflecties om bruikbare feedback te geven is arbeidsintensief voor docenten. Handmatige beoordeling levert vaak brede, niet-specifieke feedback op (bijv. "je reflectie zou dieper kunnen zijn") in plaats van het identificeren van specifieke dimensies van reflectie die een student wel of niet heeft behandeld. Bovendien, in projectgestuurde software engineering-cursussen waar reflectie iteratief plaatsvindt gedurende de levenscyclus van een project, is vertraagde feedback vaak ineffectief. Er is een gebrek aan geautomatiseerde benaderingen die specifiek zijn ontworpen voor het classificeren van reflectief schrijven binnen de collaboratieve, iteratieve context van software engineering-projectcursussen.

Methodologie
De studie hanteert een meerfasige aanpak om een raamwerk voor reflectief schrijven en een geautomatiseerde classifier te ontwikkelen:

1. Ontwikkeling van het Raamwerk: De auteurs hebben bestaande raamwerken voor reflectief schrijven (specifiek die van Ullmann et al. en Alrashidi et al.) aangepast aan de context van software engineering. Door iteratieve verfijning hebben zij een schema van acht indicatoren vastgesteld:

   • Beschrijving (Description): Feitelijke verslaglegging van gebeurtenissen.
   • Begrip (Understanding): Subjectieve interpretatie van doelen of ervaringen.
   • Gevoelens (Feelings): Identificatie van emoties (bijv. trots, frustratie).
   • Redenering (Reasoning): Diepgaande analyse van concrete oorzaken en gevolgen.
   • Perspectief (Perspective): Overweging van alternatieve standpunten (peers, teamleden).
   • Nieuw Leren (New Learning): Verwerving van vaardigheden of inzichten.
   • Achteraf (Hindsight): Retrospectieve analyse van hoe een situatie anders aangepakt had kunnen worden.
   • Toekomstige Intentie (Future Intention): Prospectieve planning voor toekomstige acties.
   • Noot: Het raamwerk splitst de traditionele "Toekomstige Actie"-indicator op in "Achteraf" (retrospectief) en "Toekomstige Intentie" (prospectief) om aan te sluiten bij de specifieke drie-prompts structuur die in de studie wordt gebruikt.

2. Data Annotatie: Een dataset van 1.518 studentenreacties (6.704 zinnen) werd verzameld uit een derdejaars software engineering-projectcursus aan de Universiteit van Canterbury. Studenten reageerden wekelijks op drie prompts over wat goed ging, wat niet goed ging, en wat zij anders zouden doen. Drie annotatoren labelden de data, waarbij zij een matige tot betrouwbare inter-rater overeenstemming (Krippendorff's $\alpha$) bereikten na iteratieve verfijning van de richtlijnen.

3. Modeltraining en Evaluatie:

   • Encoder-only Modellen: Vijf transformer-modellen (BERT, DistilBERT, ALBERT, DeBERTa, RoBERTa) werden gefinetuned op de geannoteerde dataset met behulp van een multi-label classificatie-aanpak met Binary Cross Entropy loss en inverse frequentie-weging om klassenimbalans te behandelen. Hyperparameter-tuning werd uitgevoerd met Optuna.
   • Decoder-only Modellen: Twee large language models (GPT-OSS:20b en Qwen3:14b) werden geëvalueerd met zero-shot prompting met uitgebreide redeneercapaciteiten. Deze werden lokaal uitgevoerd om privacy te waarborgen.
   • Vergelijking: Prestaties werden gemeten aan de hand van Hamming loss, exact match nauwkeurigheid en per-indicator F1-scores. Computationele efficiëntie werd eveneens vergeleken.

Belangrijkste Bijdragen

1. Aangepast Raamwerk: Een acht-indicatoren raamwerk voor reflectief schrijven, afgestemd op software engineering-projectcursussen, gevalideerd door menselijke instructeurs met een matige tot sterke inter-rater overeenstemming.
2. Geautomatiseerde Classifier: Een gefinetuned RoBERTa-model dat in staat is om reflectie-indicatoren te identificeren met een menselijk niveau van overeenstemming op de meeste dimensies.
3. Architecturale Vergelijking: Een uitgebreide vergelijking die aantoont dat gefinetuned encoder-only modellen aanzienlijk beter presteren dan zero-shot decoder-only LLM's in zowel nauwkeurigheid als computationele snelheid voor deze specifieke taak.
4. Implementatierichtlijnen: Praktische begeleiding voor docenten, inclusief twee modelvarianten (F1-geoptimaliseerd voor nauwkeurigheid en Recall-geoptimaliseerd voor veiligheid) om passende pedagogische prioriteiten te ondersteunen.

Resultaten

• Modelprestaties: Het gefinetunde RoBERTa-model behaalde de sterkste prestaties, met een Macro F1-score van 0,809 en een exact match nauwkeurigheid van 0,380. Het presteerde significant beter dan de decoder-only modellen, die een exact match nauwkeurigheid behaalden van respectievelijk 0,229 (Qwen3:14b) en 0,189 (GPT-OSS:20b).
• Indicator Moeilijkheidsgraad: De classificatieprestaties weerspiegelden nauwlettend de menselijke inter-rater overeenstemming. Indicatoren met een hoge menselijke overeenstemming (bijv. Toekomstige Intentie, Achteraf) werden goed geclassificeerd door de modellen. Indicatoren met een lagere menselijke overeenstemming (Redenering en Perspectief) bleven uitdagend voor zowel mensen als machines, hoewel het RoBERTa-model nog steeds de beste resultaten behaalde van alle geteste benaderingen.
• Efficiëntie: Het encoder-only RoBERTa-model classificeerde een enkele reflectie in minder dan 0,1 seconde op consumentenhardware. In tegen tegenstelling hiertoe vereisten de decoder-only modellen 20–45 seconden per classificatie, wat ze onpraktisch maakt voor real-time feedback.
• Menselijke Overeenstemming: Wanneer behandeld als een vierde annotator, behield of overtrof de F1-geoptimaliseerde RoBERTa-model de mens-tot-mens overeenstemming op zes van de acht indicatoren.

Significantie en Claims
Het artikel claimt dat het raamwerk en de geautomatiseerde classifier een levensvatbare methode bieden om tijdige, gestructureerde feedback te geven op studentenreflecties in het software engineering-onderwijs. Door de identificatie van specifieke reflectiedimensies te automatiseren, pakt de aanpak de beperking van brede, niet-specifieke feedback aan, waardoor docenten de aandacht van studenten kunnen sturen naar over het hoofd geziene aspecten van hun reflectie (bijv. het stimuleren van redenering of perspectief).

De auteurs benadrukken dat de gefinetunde encoder-only modellen een efficiënte, schaalbare beoordeling mogelijk maken die de werklast van de docent vermindert terwijl formatieve beoordeling wordt ondersteund. Ze stellen expliciet dat het systeem is ontworigest voor formatieve feedback (het begeleiden van leren) in plaats van somatieve beoordeling (het geven van cijfers), wijzend op de inherente subjectiviteit van reflectie en het risico dat studenten het systeem "gamen" als cijfers direct gekoppeld zouden zijn aan geautomatiseerde classificaties. De studie concludeert dat hoewel het raamwerk robuust is voor indicatoren met een hoge overeenstemming, de matige overeenstemming bij Redenering en Perspectief suggereert dat deze met voorzichtigheid gebruikt moeten worden, mogelijk als prompts voor verdere reflectie in plaats van als definitieve beoordelingen.