Technische Samenvatting: Onderzoek naar Leerderbewust Ontwerp van door LLM's gegenereerde Educatieve Feedback

Probleemstelling

Hoewel Large Language Models (LLM's) veelbelovend zijn voor het genereren van diverse educatieve feedback op schaal, blijft het onduidelijk hoe specifiek feedbackontwerp—zoals toon, informatiedekking en instructieve specificiteit—gestructureerd moet worden om de revisie van antwoorden en acceptatie door de leerder effectief te ondersteend over diverse leerderprofielen heen. Voorgaand onderzoek heeft grotendeels vertrouwd op grofmazige vergelijkingen tussen menselijke en door LLM gegenereerde feedback of geautomatiseerde evaluaties, waarbij gefaald is om systematisch te onderzoeken hoe specifieke pedagogische elementen het gedrag en de perceptie van de leerder beïnvloeden. Bov�elijk is het de rol van individuele verschillen (bijv. persoonlijkheidskenmerken), die bekend zijn om hun effect op de effectiviteit van feedback in door mensen ontworpen contexten, nog onvoldoende onderzocht in de context van door LLM gegenereerde feedback. Deze studie adresseert het gat in het begrip van welke feedbackelementen de revisieprestaties verbeteren, welke gunstige subjectieve evaluaties opleveren, en hoe deze voorkeuren variëren volgens de persoonlijkheidsprofielen van de leerder.

Methodologie

De studie maakte gebruik van een workflow bestaande uit drie stappen: feedbackdefinitie, empirische experimentatie en analyse:

1. Feedbackontwerp en Generatie:
   De auteurs definieerden zes onderscheidende feedbackelementen voor meerkeuzevragen over biologie. Een baseline "Normaal" conditie werd handmatig ontworpen, en vijf aanvullende elementen werden afgeleid van eerder werk (Borges et al., 2024):

   • Keywords (Trefwoorden): Het benadrukken van belangrijke termen binnen de verklaringen.
   • Actionability (Actiegerichtheid): Het bieden van concrete revisiestappen en checklists.
   • Novelty (Nieuwigheid): Het introduceren van geavanceerde perspectieven die verder gaan dan de aangeleerde inhoud.
   • Coverage (Dekking): Het beschrijven van alle logische elementen die vereist zijn voor het juiste antwoord.
   • Positivity (Positiviteit): Het opnemen van complimenten en aanmoedigende opmerkingen.
     Alle feedback werd vooraf gegenereerd met behulp van GPT-5 (Singh et al., 2026) om consistentie te waarborgen, waarbij een indirecte feedbackmethode werd gehanteerd die leerders aanmoedigt om zelf de antwoorden af te leiden zonder ze expliciet te onthullen.

2. Empirisch Experiment:
   Een experiment werd uitgevoerd met 321 eerstejaars middelbare scholieren in Japan. De deelnemers voltooiden een pre-vragenlijst om hun Big Five persoonlijkheidskenmerken (Openheid, Consciëntieusheid, Extraversie, Meegaandheid, Neuroticisme) en achtergrondkennis te beoordelen. Vervolgens namen zij deel aan een webgebaseerde taak bestaande uit zeven biologievragen. Voor elke vraag werd een specifiek feedbackelement willekeurig toegewezen, dat gedurende het gehele revisieproces constant bleef. Deelnemers reviseerden hun antwoorden iteratief en evalueerden de feedback aan de hand van een driepuntsschaal over zes criteria: Betrouwbaarheid, Review Richtlijn, Expressiekwaliteit, Begrijpelijkheid, Helderheid van Kernpunten en Nieuwe Kennis.

3. Analyse:
   De studie analyseerde de onmiddellijke revisieprestaties (nauwkeurigheid van de eerste herziene poging) en de subjectieve evaluaties. Om rekening te houden met herhaalde observaties van dezelfde leerder, werden Generalized Estimating Equations (GEE) gebruikt. Daarnaast werden leerders geclusterd in drie persoonlijkheidsprofielen (Sociaal, Gereserveerd, Aanpasbaar) met behulp van k-means clustering om te onderzoeken hoe voorkeuren per groep varieerden.

Belangrijkste Resultaten

Revisieprestaties (RQ1)

Feedbackelementen beïnvloedden de onmiddellijke revisienauwkeurigheid significant. Het Normale ontwerp leverde de hoogste nauwkeurigheid op (64,2%), gevolgd door Keywords (58,2%) en Coverage (52,9%). Daarentegen waren Actionability en Positivity geassocieerd met significant lagere revisienauwkeurigheid vergeleken met de baseline. Dit suggereet dat feedback die de aandacht duidelijk richt op taakrelevante punten en uitgebreide begeleiding biedt, het meest effectief is voor onmiddellijke correctie, terwijl overly specifieke actiestappen of louter affectieve ondersteuning kunnen afleiden of er niet in slagen het revisieproces effectief te begeleiden.

Subjectieve Evaluaties (RQ2)

Leerders gaven over het algemeen de voorkeur aan feedback die praktisch en gemakkelijk toe te passen is. Normal, Keywords en Actionability ontvingen de hoogste subjectieve scores over de meeste criteria. Positivity ontving consequent de laagste scores over alle zes de evaluatiecriteria, wat aangeeft dat complimentgerichte feedback alleen als minder betrouwbaar en minder nuttig voor revisie wordt ervaren. Novelty kreeg ook lagere scores voor helderheid en expressiekwaliteit, wat suggereert dat het introduceren van informatie buiten de scope van de vraag de waargenomen bruikbaarheid van de feedback kan hinderen.

Persoonlijkheidsgebaseerde Voorkeuren (RQ3)

Voorkeuren voor feedbackelementen varieerden significant tussen de verschillende persoonlijkheidsclusters:

• Sociale Leerders (Hoge Extraversie/Meegaandheid): Prioriteerden validiteit en betrouwbaarheid, en toonden een gebalanceerde voorkeur voor Normal en Keywords.
• Gereserveerde Leerders (Lage Extraversie/Hoge Neuroticisme): Toonden een sterke voorkeur voor Keywords en Normal, terwijl zij Positivity en Novelty significant lager waardeerden. Dit komt overeen met bevindingen dat leerders die hoog scoren op neuroticisme de voorkeur geven aan duidelijke signalen en een lage cognitieve belasting.
• Aanpasbare Leerders (Hoge Openheid/Consciëntieusheid/Meegaandheid): Accepteerden een breder scala aan elementen en toonden een bijzondere voorkeur voor Actionability en Coverage, wat wijst op een hogere tolerantie voor complexe of gedetailleerde begeleiding.

Statistische toetsen (Kruskal–Wallis) bevestigden significante verschillen in evaluatiepatronen tussen clusters voor alle criteria, wat aangeeft dat leerderprofielen de perceptie van gegenereerde feedback deels beïnvloeden.

Bijdragen en Betekenis

Het paper levert drie primaire bijdragen:

1. Definitie en Empirische Ondervraging: Het definieert zes controleerbare educatieve elementen voor door LLM gegenereerde feedback en onderzoekt empirisch hun effecten op zowel revisieprestaties als subjectieve evaluaties via een grootschalige studie met 321 studenten.
2. Bewijs van Profielafhankelijke Effecten: Het demonstreert dat feedbackvoorkeuren en de waargenomen effectiviteit niet uniform zijn, maar significant variëren over leerderprofielen gedefinieerd door de Big Five persoonlijkheidskenmerken.
3. Implicaties voor Personalisatie: De bevindingen suggeren dat effectief ontwerp van door LLM gegenereerde feedback rekening moet houden met leerderprofielen. Hoewel duidelijke, uitgebreide begeleiding breed effectief is, moeten elementen zoals informatieve nieuwheid en affectieve inkadering worden aangepast aan individuele persoonlijkheidskenmerken om acceptatie en nut te maximalen.

De studie concludeert dat hoewel bepaalde feedbackkenmerken (helderheid, volledigheid) universeel voordelig zijn, het optimale ontwerp voor specifieke elementen (zoals toon of nieuwheid) afhangt van de persoonlijkheid van de leerder. Dit onderstreept het potentieel en de noodzaak om door LLM gegenereerde feedback te personaliseren op basis van leerderprofielen om educatieve resultaten te verbeteren. De auteurs merken beperkingen op met betrekking tot het specifieke vakgebied (biologie), het gebruik van een enkel LLM-model en de focus op onmiddellijke in plaats van langetermijn leerwinst, wat suggereert dat toekomstig werk bredere domeinen en longitudinale effecten zou moeten verkennen.