Technische Samenvatting: Curriculum-gealigneerde Analyse van Beoordelingsfeedback via Retrieval-Augmented Generation

1. Probleemstelling

Beoordelingsfeedback in het hoger onderwijs bevat gedetailleerd bewijs van specifieke fouten van studenten, maar blijft een onderbenutte databron voor het verbeteren van het onderwijs. Hoewel docenten vertrouwen op op rubrieken gebaseerde statistieken om de prestaties van cohorten te monitoren, schieten deze metrieken vaak tekort in het onthullen van de specifies concepten of procedures die studenten niet begrijpen of de oorsprong van die moeilijkheden. Daarentegen is beoordelingsfeedback voornamelijk ongestructureerde tekst, wat kwantificering, aggregatie of vergelijking op schaal bemoeilijkt. Handmatige extractie van cohortniveau-patronen is onhaalbaar voor grote klassen, en variaties in beoordelingsstijlen tussen meerdere medewerkers compliceren systematische analyse verder.

Bestaande toepassingen van Large Language Models (LLM's) in het onderwijs hebben zich gericht op feedbackgeneratie of studentgerichte analyse, maar hebben niet effectief foutclassificatie gecombineerd met curriculum-mapping. Bovendien blijft de betrouwbaarheid van LLM-gebaseerde classificatie met door experts ontworpen taxonomieën onzeker, aangezien LLM's zeer gevoelig zijn voor de definitie van categorieën. Er is een gebrek aan methoden die ongestructureerde feedback kunnen transformeren naar actiegerichte, curriculum-gealigneerde foutpatronen om instructieve aanpassingen te informeren.

2. Methodologie

De studie stelt een driestaps LLM-gebaseerde methode voor om ongestructureerde beoordelingsfeedback te transformeren naar curriculum-gealigneerde foutanalyse. De aanpak werd toegepast op 6.072 stukken feedback van vier cohorten (2022–2025) van een bacheloropleiding engineering design.

Stap 1: Datagedreven Foutentaxonomie Generatie

In plaats van te vertrouwen op vooraf gedefinieerde expertcategorieën, genereert de methode inductief een foutentaxonomie vanuit de feedbackdata zelf:

1. Gedragsabstractie: Een LLM abstraheert elk feedbackitem naar een gedragskarakterisering die onafhankelijk is van specifieke vakinhoud (bijv. het converteren van "ontbrekende rechtvaardiging voor snelheid" naar "Ontbrekende procedurele transparantie").
2. Semantische Groepering: De LLM groepeert deze karakteriseringen in kandidaat-categorieën op basis van semantische gelijkenis.
3. Menselijke Review: Een menselijke reviewer voegt overlappende categorieën samen en wijst karakteriseringen opnieuw toe om de taxonomie te finaliseren.
4. Definitiegeneratie: De LLM genereert definities en grenzen voor de definitieve categorieën.
   Resultaat: Een taxonomie bestaande uit vier foutcategorieën (Incomplete/Ontbrekende Inhoud, Procedurele/Processuele Gebreken, Redenerings-/Interpretatiefouten, Presentatie/Communicatie) en één Positieve categorie.

Stap 2: Retrieval-Augmented Generation (RAG) voor Curriculum Mapping

Deze stap koppelt elke fout aan specifieke curriculuminhoud:

1. Constructie van de Kennisbank: College-slides worden verwerkt in 374 "kennisunits" (zelfstandige segmenten die een enkel onderwerp behandelen) met behulp van een multimodale LLM en menselijke review. Deze units worden geëmbed via text-embedding-3-large.
2. Mapping Proces: Voor elk feedbackitem haalt het systeem de top vijf meest gelijkaardige kennisunits op via cosine similarity. Een LLM analyseert vervolgens de feedback, de opgehaalde units en de foutentaxonomie om een foutcategorie toe te wijzen, de feedback te koppelen aan de meest relevante kennisunit en een redeneringsverklaring te geven.

Stap 3: Patroonaggregatie en Dekkingsanalyse

Individuele annotaties worden geconsolideerd tot actiegerichte patronen:

1. Semantische Consolidatie: Binnen elke (kennisunit, foutcategorie) groep worden semantisch gelijkaardige redeneringsbeschrijvingen samengevoegd om variatie in beoordeling door verschillende beoordelaars aan te pakken.
2. Wekelijkse Patroonvorming: Gerelateerde samengevoegde annotaties over verschillende kennisunits binnen dezelfde onderwijksweek worden geconsolideerd tot enkele "foutpatronen".
3. Kwantificering: Cohortdekking wordt berekend als het percentage studentgroepen waarvan de feedback naar een specifiek patroon verwijst, georganiseerd per onderwijksweek. Dit maakt cross-year trendanalyse mogelijk.

Evaluatieontwerp

De methode werd geëvalueerd via twee lenzen:

• Classificatiebetrouwbaarheid (RQ2): De outputs van de datagedreven taxonomie werden vergeleken met een onafhankelijk ontwikkelde expert-taxonomie en menselijk oordeel met behulp van Cohen's $\kappa$ en percentage overeenstemming.
• Praktisch Nut (RQ3): Een focusgroep met het docententeam (unit coordinator en TA's) beoordeelde de cross-year analyse output om validiteit, nieuwheid, interpreteerbaarheid en actiegerichtheid te beoordelen.

3. Belangrijkste Resultaten

Classificatieprestaties

• Mens-LLM Overeenstemming: De datagedreven taxonomie bereikte 89,1% overeenstemming met menselijk oordeel ($\kappa = 0,91$), wat aanzienlijk beter is dan de door experts ontworkte taxonomie, die 74,7% overeenstemming behaalde ($\kappa = 0,64$).
• Discrepantieanalyse: De expert-taxonomie vertoonde hardnekkige operationalisatieproblemen, met name in categorieën zoals "Onvoorzichtig" (21,4% overeenstemming) en "Procedureel" (12,1% overeenstemming). Het miste ook een "Presentatie/Communicatie" categorie, waardoor 5,9% van de records in slecht passende categorieën terechtkwam. De datagedreven taxonomie, afgeleid van de feitelijke feedbackcorpus, behield de onderscheidingen die beoordelaars natuurlijk maakten.
• Curriculum Mapping: De overeenstemming over de relevantie van gekoppelde kennisunits bleef hoog voor beide taxonomieën (92,0% voor datagedreven versus 89,7% voor expert).

Curriculum-gealigneerde Inzichten

• Foutdistributie: "Incomplete/Ontbrekende Inhoud & Rechtvaardiging" was het dominante fouttype (66,5% van de fouten), hoewel "Procedurele/Processuele Gebreken" significant toenam in de tweede beoordelingsfase.
• Patroonidentificatie: De methode identificeerde specifieke terugkerende foutpatronen (bijv. "Ontbrekende rechtvaardiging voor gekozen ontwerpsnelheid") en koppelde deze aan specifieke weken en kennisunits.
• Cross-Year Trends: De analyse onthulde variërende trajecten voor foutpatronen. Bijvoorbeeld, fouten met betrekking tot "doorsnededata" namen in de loop van de tijd af, terwijl fouten met betrekking tot "curvecoördinatie rechtvaardiging" toenamen, wat een basis biedt voor het onderzoeken van de impact van specifieke onderwijsaanpassingen.

Feedback van het Docententeam

Het docententeam bevestigde dat de output consistent was met hun beoordelingservaring. Belangrijke bevindingen waren onder meer:

• Validatie van Schaal: De gekwantificeerde schaal van fouten verraste het team; het onthulde dat sommige problemen mainstream waren, ondanks eerdere nadruk op andere zaken.
• Reflectieve Praktijk: Cross-year trends stelden het team in staat de impact van eerdere onderwijsaanpassingen (bijv. gedetailleerde projectinstructies) op de prestaties van studenten te traceren.
• Actiegerichte Beslissingen: Het bewijs leidde tot voorstellen om onderwijsuren te heralloceren van onderwerpen met lage fouten naar onderwerpen met hoge fouten en om specifieke demonstraties in de klas te introduceren.
• Kanttekeningen: Het team waarschuwde dat foutpercentages niet als een op zichzelf staande maatstaf voor onderwijskwaliteit moeten worden gebruikt en merkten op dat de analyse beperkt is tot schriftelijke materialen, waardoor nuances in mondelinge instructie mogelijk worden gemist.

4. Belangrijkste Bijdragen

1. Methodologische Innovatie: De studie presenteert een nieuwe pipeline die datagedreven taxonomiegeneratie combineert met Retrieval-Augmented Generation (RAG) om ongestructureerde feedback te mappen aan specifieke curriculuminhoud.
2. Empirisch Bewijs voor Taxonomieontwerp: De bevindingen dagen de aanname uit dat door experts ontworkte taxonomieën optimaal zijn voor LLM-classificatie. De studie toont aan dat categorieën die inductief uit de doelcorpus zijn afgeleid, een aanzienlijk hogere alignment met menselijk oordeel opleveren dan vooraf gespecificeerde expertcategorieën.
3. Feedback Herdefiniëren als Onderwijsbron: Het werk verschuift het perspectief van beoordelingsfeedback van een communicatiemiddel voor de student naar een diagnostische databron voor het verbeteren van het onderwijs, wat de identificatie van falende constructieve alignment mogelijk maakt op het niveau van specifieke onderwezen inhoud.
4. Human-in-the-Loop Analytics: De studie illustreert hoe docententeams curriculum-gealigneerde bewijslast interpreteren, waarbij wordt getoond dat dergelijke data dient als startpunt voor reflectie en triangulatie met contextuele kennis, in plaats van een voorschrijvende vervanging voor professioneel oordeel.

5. Betekenis en Claims

Het artikel claimt dat deze aanpak instructeurs in staat stelt om verder te gaan dan geaggregeerde prestatie-indicatoren om het "wat" en "waarom" van studentenproblemen te begrijpen op een schaal die voorheen onbereikbaar was. Door alignment-fouten empirisch zichtbaar te maken, ondersteunt de methode gerichte curriculumherzieningen en de herallocatie van onderwijsinspanning.

De auteurs merken bescheiden op dat de studie een casestudy is binnen een enkele engineering cursus en dat de effectiviteit in andere disciplines, beoordelingsformaten (bijv. individuele examens) en institutionele contexten verdere testen vereist. Ze erkennen ook de beperkingen met betrekking tot de afhankelijkheid van schriftelijke materialen voor de kennisbank, die mondelinge instructie mogelijk niet volledig vastleggen, en de beperkingen van het validatieproces door de kleine pool van ervaren reviewers. Echter, de studie vestigt een fundamentele methode voor het benutten van kwalitatieve onderwijsdata om onderwijsbeslissingen in het hoger onderwijs te informeren.