🤖 AI

SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework

Dit artikel introduceert SEFORA, een grootschalig corpus van studentessays met echte feedback van docenten, en UniMatch, een nieuw evaluatiekader dat onthult dat huidige LLM's moeite hebben met het genereren van feedback die overeenkomt met de prioriteiten van menselijke docenten, waarbij een maximale F1-score van slechts 0,4 wordt behaald over uitgebreide experimenten.

Oorspronkelijke auteurs: Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

Gepubliceerd 2026-07-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die een stapel studentessays staat te nakijken. Je moet elke zin lezen, de goede delen vinden, de verwarrende delen aanwijzen en specifieke aantekeningen in de kantlijn schrijven om de student te helpen verbeteren. Het is hard werk, en het doen van dit werk voor honderden studenten tegelijkertijd is voor een mens bijna onmogelijk.

Onlangs hebben we geprobeerd om "AI-docenten" (Large Language Models) dit werk te laten doen. Maar er is een probleem: we weten niet echt of de AI wel goed advies geeft, en we hebben geen goede liniaal om het te meten.

Dit paper introduceert twee dingen om dit op te lossen: een enorme bibliotheek met echte docentennotities genaamd SEFORA, en een nieuw meetinstrument genaamd UNIMATCH.

1. De Bibliotheek: SEFORA (De "Gouden Standaard" Collectie)

Zie SEFORA als een grote, georganiseerde scrapboom.

Wat erin zit: Het bevat 564 conceptversies van studentessays (sommige eenmaal geschreven, andere meerdere keren herschreven) uit echte universiteitsopleidingen.
Het bijzondere deel: Naast elke studentessay staan de werkelijke notities geschreven door echte menselijke professoren. Dit zijn niet alleen rode strepen die zeggen "fout". Het zijn plaknotities en markeringen die dingen zeggen als: "Dit personage voelt echt aan," of "Waar verwijst 'dat' hier naar?"
Waarom het belangrijk is: Voorheen bevatten de meeste AI-datasets alleen scores (zoals "85/100") of eenvoudige foutlabels. SEFORA is bijzonder omdat het de nuance vastlegt van hoe echte docenten met studenten praten, inclusief de specifieke delen van de tekst waar ze naar verwijzen.

2. De Liniaal: UNIMATCH (De "Feedbackdetective")

Stel je nu voor dat je een AI vraagt om feedback te schrijven op de essay van een student. Hoe weet je dan of het goed is?

De oude manier: Je zou de woorden van de AI kunnen vergelijken met de woorden van de docent om te zien of ze op elkaar lijken. Maar dit is alsof je een chef beoordeelt op basis van of hij dezelfde woorden als het recept heeft gebruikt, in plaats van of het eten lekker smaakt. Als de docent zegt "Maak het korter" en de AI zegt "Schrap de overtollige tekst," dan zou een eenvoudige controle van het woordgebruik kunnen zeggen dat ze verschillend zijn, ook al betekenen ze hetzelfde.
De nieuwe manier (UNIMATCH): Dit hulpmiddel werkt als een detective. Het breekt zowel de notities van de docent als de notities van de AI af in kleine, individuele "feedbackeenheden" (één specifieke gedachte per eenheid).
- Stap 1: Het splitst de notities in stukjes.
- Stap 2: Het vraagt: "Komt dit stukje van de AI overeen met de betekenis van een stukje van de docent?" (bijv. Komt "Schrap de overtollige tekst" overeen met "Maak het korter"?).
- Stap 3: Het gebruikt een slim matchingsysteem (zoals het paren van sokken) om te zien hoeveel van de belangrijke punten van de docent de AI heeft gevonden en hoeveel extra, nutteloze punten de AI heeft verzonnen.

3. De Grote Ontdekking: Het "Chatterbox"-probleid

De onderzoekers hebben 74 verschillende manieren getest om AI-modellen te vragen feedback te schrijven. De resultaten waren verrassend en een beetje teleurstellend:

De Score: Zelfs de slimste AI-modellen haalden slechts een score van ongeveer 0,4 uit 1,0. Dit betekent dat ze de meeste specifieke, hoogwaardige feedback missen die een menselijke docent zou geven.
De Hoofdverdachte: De grootste reden voor de lage scores was verbositeit (te veel praten).
- De Analogie: Stel je voor dat een student hulp vraagt bij één wiskundig probleem. Een goede tutor geeft één duidelijke hint. De AI gedraagt zich echter als een nerveuze prater (een "chatterbox"). De AI geeft de ene hint, maar voegt er vervolgens vijf suggesties aan toe die de docent nooit zou hebben gemaakt, of herhaalt hetzelfde punt op drie verschillende manieren.
- Het Resultaat: Omdat de AI zoveel "extra" ruis genereert, daalt de precisie. Het is als een student die een essay van 10 pagina's schrijft om een vraag van één zin te beantwoorden; hij heeft misschien het juiste antwoord, maar hij heeft het begraven onder zoveel onzin dat het niet meer nuttig is.

Samenvatting

Het paper vertelt ons dat hoewel AI tekst kan genereren, het momenteel moeite heeft om te fungeren als een doordachte menselijke docent. De AI heeft de neiging om te veel uit te leggen en mist de specifieke, hoogwaardige punten die echte instructeurs prioriteit geven.

Om dit op te lossen, hebben we nodig:

Betere Data: Echte voorbeelden van hoe docenten daadwerkelijk praten (waar SEFORA voor zorgt).
Betere Meting: Een manier om te beoordelen of de AI de juiste punten raakt, en niet alleen de juiste woorden gebruikt (waar UNIMATCH voor zorgt).

Totdat AI leert om beknopt te zijn en de juiste doelen te raken, is het nog niet klaar om de menselijke aanraking in het klaslokaal te vervangen.

Technische Samenvatting: SEFORA en UNIMATCH

Probleemstelling

Effectieve feedback op het schrijfproces is een primaire drijfveer voor het leerproces van studenten, maar het produceren ervan op schaal is arbeidsintensief. Hoewel Large Language Models (LLM's) een weg bieden om dit proces te automatiseren, hinderen twee kritieke knelpunten de vooruitgang:

Datagebrek: Weinig publieke corpora leggen vast hoe instructoren daadwerkelijk feedback geven in echte klaslokalen. Bestaande datasets vervangen vormende commentaren vaak door gestructureerde labels (bijv. foutentags, scores), beperken de dekking tot één genre of prompt, of vertrouwen op door crowds of AI gegenereerde feedback in plaats van authentieke annotaties van instructoren.
Tekortkomingen in Evaluatie: Huidige methoden voor het evalueren van gegenereerde feedback zijn ontoereikend. Referentievrije evaluatie (bijv. LLM-als-beoordelaar) lijdt onder ambiguïteit en bias, omdat "goede" feedback geen enkele operationele definitie heeft. Referentie-gebaseerde metrieken (bijv. BLEU, ROUGE, embedding-gelijkenis) slagen er niet in de semantische correspondentie van open eind feedback te vatten, vooral omdat feedbackberichten vaak meerdere verschillende "feedback-eenheden" bundelen (bijv. een enkele zin die zowel lof als een kritiek bevat). Holistische vergelijking kan niet bepalen welke specifieke observaties worden opgehaald of gemist.

Methodologie

Het artikel introduceert twee kerncomponenten: de SEFORA-corpus en het UNIMATCH-evaluatiekader.

1. SEFORA: Student Essays with Feedback Corpus

SEFORA is een publieke corpus ontworpen om de datakloof te overbruggen. Het koppelt authentieke, door instructoren geschreven inline-feedback aan opdrachtprompts, rubrieken, analytische scores en multi-draft revisies over diverse genres van academisch schrijven in het eerste jaar van het hoger onderwijs.

Schaal en Omvang: De corpus bevat 564 concepten van 155 studenten uit 34 opdrachten binnen 9 cursussen voor eerstejaars bachelorstudenten (dekking van compositie, ESL, narratief en creatief schrijven). Het bevat 8.240 instructeursannotaties.
Annotatie-granulariteit: In tegen tegenstelling tot error-tag datasets behoudt SEFORA de oorspronkelijke paragraafstructuur en stemt het annotaties af op specifieke tekstsegmenten (frases, zinnen of woorden). De feedback is overwegend "faciliterend" (nodigt uit tot reflectie) in plaats van "directief" (schrijft wijzigingen voor), en stelt vaak open vragen.
Privacy: De gegevensverzameling werd goedgekeurd door de IRB. Directe identificatoren zijn verwijderd en namen binnen de essays zijn vervangen door pseudoniemen, waarbij de narratieve coherentie behouden is gebleven.

2. UNIMATCH: Reference-Based Evaluation Framework

UNIMATCH is een kader voor het evalueren van door LLM gegenereerde feedback door deze te vergelijken met instructeursfeedback op het niveau van de feedback-eenheid in plaats van holistisch. De pijplijn werkt in drie stadia:

Feedback Segmentatie:
- Feedback wordt gesegmenteerd in "feedback-eenheden", gedefinieerd als zelfstandige verklaringen die één specifiek aspect van het schrijven adresseren.
- Een segmentatierichtlijn werd ontwikkeld, en een automatische segmentator (GPT-5-nano) werd gevalideerd tegen menselijke annotatoren, waarbij een hoge overeenstemming werd bereikt (F1 = 0,97).
Scoring van Feedback-eenheid Gelijkenis:
- Paren van instructeur- en model-feedback-eenheden worden gescoord op semantische correspondentie op een schaal van 0–4 gebaseerd op twee dimensies: het doel (geadresseerd aspect) en het commentaar (evaluatie/suggestie).
- Een gelijkenis-scorer (gemini-3.1-flash-lite-preview) is getraind/gevalideerd tegen menselijke oordelen, waarbij een Pearson-correlatie van $r = 0,813$ werd bereikt.
- Om kosten te reduceren, werd een batching-strategie toegepast, die een hoge overeenstemming met menselijke scores behield.
Optimale Matching en Metriek Berekening:
- UNIMATCH berekent een maximum-gewicht bipartite matching (met behulp van het Hongarije-algoritme) tussen de set instructie-eenheden ( $G$ ) en model-eenheden ( $P$ ) op basis van hun gelijkenisscores.
- Het berekent soft precision, soft recall en F1 door de totale matching-gewicht te normaliseren tegen de zelf-gelijkenis van elke set. Deze aanpak vangt zowel op wat het model weglaat (recall) als wat het overmatig genereert (precision).

Belangrijkste Resultaten

De auteurs evalueerden 74 experimentele configuraties over meerdere LLM's (waaronder Llama-3.1-8B, Mistral-7B, DeepSeek-R1, Qwen2.5-72B, en GPT-5.1) met behulp van het UNIMATCH-kader op de SEFORA-corpus.

Prestatieplafond: Geen enkele configuratie overschreed een F1-score van 0,4. Zelfs de sterkste modellen (GPT-5.1 en Qwen2.5-72B) bereikten slechts marginale verbeteringen ten opzichte van kleinere modellen, waarbij GPT-5.1 een precision van 0,38 en een recall van 0,27 bereikte.
Het Verbositeitsprobleem: De dominante factor die leidde tot slechte uitlijning was verbositeit (woordomvang). Modellen die meer feedback-eenheden genereerden (over-generatie) zagen een scherpe daling in precision zonder een compenserende toename in recall. De beperkte prompt (die de output beperkt tot één eenheid) presteerde aanzienlijk beter dan onbeperkte prompts.
Prompting Factoren:
- Begeleiding: Het verstrekken van expliciete feedbackcategorieën (bijv. Taakrestricties, Lof, Fouten) verbeterde de F1 met ongeveer +0,059.
- Rubrieken en Few-Shot: Het opnemen van opdracht-rubrieken had een verwaarloosbaar effect. Few-shot prompting leverde een kleine winst op (+0,017), voornamelijk in precision, maar was secundair aan de promptstructuur en begeleiding.
End-to-End Validatie: UNIMATCH-scores correleerden sterk ( $r \approx 0,84$ ) met expert menselijke rangschikkingen van feedbackkwaliteit, wat het vermogen van het kader valideert om instructeursoordelen te herstellen.

Betekenis en Claims

Het artikel claimt dat de centrale uitdaging voor LLM's bij het geven van feedback niet de productie van commentaren is, maar de prioritering van de specifieke commentaren die een instructeur zou benadrukken.

Pedagogische Relevantie: De bevinding dat over-generatie de prestaties schaadt, wordt beschreven als "pedagogisch betekenisvol". Het is bekend dat studenten overweldigen met te veel feedback contraproductief werkt; daarom sluit de straf van UNIMATCH voor verbositeit aan bij de pedagogische best practices.
Fundament voor Toekomstig Werk: Door SEFORA en UNIMATCH te bieden, legt de auteurs een fundament voor systematische studie van door LLM gegenereerde feedback op het granulariteitsniveau waarop instructoren daadwerkelijk werken. Het kader biedt een betrouwbare, interpreteerbare en referentie-gebaseerde metriek die verder gaat dan oppervlakkige overlap om semantische uitlijning met de intentie van de instructeur te beoordelen.
Beperkingen: De auteurs merken op dat de evaluatie opereert op vooraf gesegmenteerde eenheden (geen span-identificatie), gebruikmaakt van closed-source modellen voor de evaluatie-pijplijn (hoewel open-source distillatie wordt voorgesteld als volgende stap), en de instructeursfeedback behandelt als de grondwaarheid zonder een complementaire menselijke studie naar algehele behulpzaamheid of actiegerichtheid.