💬 NLP

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

Dit artikel stelt een raamwerk voor dat SHAP-attributies combineert met door LLM's gegenereerde rationales om de beoordeling van onderwijskwaliteit op basis van rubrieken te evalueren, waarbij wordt vastgesteld dat hoewel gefinetunede PLM's een hogere nauwkeurigheid bereiken, SHAP meer getrouwe, coherente en overdraagbare verklaringen biedt dan LLM-rationales.

Oorspronkelijke auteurs: Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

Gepubliceerd 2026-06-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die een stapel essays aan het nakijken is. Je hebt een strikte checklist (een "rubric") om te bepalen of de feedback in het essay goed, slecht of ergens ertussenin is. Stel je nu voor dat je twee verschillende soorten "AI-assistenten" inhuurt om dit nakijken voor jou te doen.

Dit papier is een rapportcijfer over hoe goed deze twee AI-assistenten werken, en belangrijker nog, hoe goed ze kunnen uitleggen waarom ze een bepaald cijfer hebben gegeven.

Hier is de uitsplitsing van de studie met eenvoudige analogieën:

De Twee Contenders

De onderzoekers testten twee typen AI-modellen om klasgesprekken (transcripten) te beoordelen op basis van een specifieke rubric genaamd "Kwaliteit van Feedback."

De "Gespecialiseerde Stagiair" (Fine-tuned PLMs): Dit zijn standaard AI-modellen die specifiek zijn getraind op deze exacte beoordelingstaak. Het is als een student die het tekstboek heeft uit het hoofd geleerd en honderd keer de toets heeft geoefend.
De "Slimme Generalist" (Prompted LLMs): Dit zijn enorme, krachtige AI-modellen (zoals degene waarmee je online kunt chatten) die niet specifiek voor deze taak zijn getraind. In plaats daarvan hebben de onderzoekers hen gewoon een reeks instructies (een prompt) gegeven die zegt: "Hier is de rubric, beoordeel dit." Het is als een briljante expert die deze specifieke toets nog nooit heeft gezien, maar de opdracht krijgt om deze ter plekke uit te voeren.

De Eerste Test: Wie Krijgt het Cijfer Goed? (Scoring)

De onderzoekers vroegen: Wie geeft het meest nauwkeurige cijfer?

Het Resultaat: De Gespecialiseerde Stagiair was veel nauwkeuriger. Het gaf consequent cijfers die heel dicht bij die van menselijke experts lagen.
De Catch: De Stagiair had een vreemde gewoonte om "veilig" te spelen. Het gaf zelden de hoogste (7) of de laagste (1) scores. Het had de neiging om alle cijfers in het midden te clusteren (3, 4 of 5). Het was nauwkeurig, maar een beetje saai en risicomijdend.
De Generalist: De Slimme Generalist was minder nauwkeurig in het algemeen. Het was echter wel "gedurfder". Het gaf een grotere variëteit aan scores, inclusen de zeer hoge en zeer lage scores, ook al was het niet altijd juist.

De Takeaway: Als je een precies getal wilt, gebruik dan het getrainde model. Als je een model wilt dat niet bang is om extreme scores te geven (zelfs als het daardoor meer fouten maakt), gebruik dan de grote chatbot.

De Tweede Test: Wie Spreekt de Waarheid? (Explanations)

Dit is het belangrijkste deel van het papier. In het onderwijs wil je niet alleen een cijfer; je wilt weten waarom.

De Gespecialiseerde Stagiair gebruikte een wiskundig hulpmiddel genaamd SHAP. Denk aan SHAP als een forensisch accountant. Het kijkt naar het transcript, zin voor zin, en berekent precies hoeveel elke zin de uiteindelijke score heeft veranderd. Het is als een rekenmachine die zegt: "Deze zin voegde 0,5 punt toe; die zin trok 0,2 punten af."
De Slimme Generalist praatte gewoon. Het genereerde een lijst met zinnen waarvan het dacht dat ze belangrijk waren, door ze in natuurlijke taal uit te schrijven. Het is als een student die zijn hand opsteekt en zegt: "Ik denk dat dit deel belangrijk is omdat..."

De onderzoekers testten wie de waarheid sprak door een spelletje "Verwijderen en Kijken" te spelen.

Ze namen de zinnen die de AI als belangrijk aangaf.
Ze verwijderden die zinnen uit het transcript.
Ze vroegen de AI om het lege transcript opnieuw te beoordelen.

De Logica: Als de AI echt begreep waarom het een score gaf, zou het verwijderen van de "belangrijke" zinnen ervoor moeten zorgen dat de score instort of drastisch verandert. Als de AI slechts een verhaal aan het verzinnen was, zou het verwijderen van die zinnen de score niet veel doen veranderen.

Het Resultaat: De Gespecialiseerde Stagiair (SHAP) was eerlijk. Wanneer de onderzoekers de zinnen verwijderden die SHAP had gemarkeerd, veranderde de score aanzienlijk. De AI vertrouwde duidelijk op die specifieke zinnen om zijn beslissing te nemen.
Het Resultaat: De Slimme Generalist (LLM) loog vaak. Wanneer de onderzoekers de zinnen verwijderden die de LLM als belangrijk aangaf, veranderde de score nauwelijks. De LLM genereerde een "geloofwaardig klinkende" uitleg, maar die zinnen waren niet de zinnen die de beslissing daadwerkelijk aanstuurden. Het was als een student die een overtuigende speech houdt over waarom hij een A verdient, maar wanneer je het bewijs dat hij aanhaalt verwijdert, verandert zijn cijfer eigenlijk niet.

De Derde Test: Kunnen Ze Notities Wisselen? (Cross-Model)

De onderzoekers probeerden te zien of de uitleg universeel was.

Ze namen de "belangrijke zinnen" die door de Gespecialiseerde Stagiair waren geïdentificeerd en verwijderden deze uit de input van de Slimme Generalist. Resultaat: De score van de Generalist veranderde aanzienlijk. De wiskunde van de Stagiair werkte ook op de Generalist.
Ze namen de "belangrijke zinnen" die door de Slimme Generalist waren geïdentificeerd en verwijderden deze uit de input van de Gespecialiseerde Stagiair. Resultaat: De score van de Stagiair bewoog nauwelijks. De "mening" van de Generalist deed er niet toe voor de Stagiair.

De Takeaway: De wiskundige uitleg (SHAP) is een universele waarheid die werkt over verschillende AI-breinen heen. De uitleg van de chatbot is specifiek voor die ene chatbot en houdt niet stand wanneer deze tegen anderen wordt getest.

Het Eindoordeel

Het papier concludeert dat hoewel grote, krachtige chatbots (LLMs) geweldig zijn in het genereren van tekst die klinkt als een goede uitleg, ze onbetrouwbaar zijn voor het uitleggen van waarom ze een beslissing hebben genomen in situaties met hoge inzet, zoals het beoordelen van leraren.

SHAP (De Wiskunde): Is als een transparant venster. Je kunt precies zien welke stenen de muur omhoog houden. Het is betrouwbaar en consistent.
LLM Rationales (De Chat): Zijn als de goocheltruc van een illusionist. Ze zien indrukwekkend en overtuigend uit, maar als je goed kijkt (door de "belangrijke" delen te verwijderen), besef je dat ze niet echt het gewicht van de beslissing dragen.

Kortom: Als je een betrouwbare reden nodig hebt voor een cijfer in een schoolsetting, vertrouw dan op de wiskunde (SHAP), niet op het verhaal van de chatbot. De chatbot is geweldig in schrijven, maar het is momenteel een slechte getuige voor zijn eigen beslissingen.

Technische Samenvatting: Van Scoring naar Verklaringen

Probleemstelling

Geautomatiseerde scoremodellen worden steeds vaker ingezet om op basis van rubrieken kwaliteitsbeoordelingen toe te kennen aan complexe talige prestaties, zoals klasverslagen. Deze systemen functioneren echter doorgaans als "black boxes", waarbij ze scalaire scores verstrekken zonder inzicht in de onderliggende redenering. Dit gebrek aan transparantie is bijzonder problematisch in contexten met een hoge inzet, zoals in het onderwijs, waar belanghebbenden de geautomatiseerde oordelen moeten kunnen begrijpen, vertrouwen en eventueel kunnen aanvechten. Hoewel Large Language Models (LLM's) vrije tekstuele rationalen kunnen genereren, suggereert recente literatuur dat deze verklaringen weliswaar overtuigend kunnen zijn, maar niet noodzakelijkerwijs getrouw (faithful) aan het werkelijke besluitvormingsproces van het model. De centrale uitdaging die hier wordt aangepakt, is bepalen welke delen van een tekst daadwerkelijk de score van een model drijven en hoe men kan evalueren of een verklaring deze drijfveren getrouw weergeeft.

Methodologie

De auteurs stellen een verenigd framework voor zinsniveau-interpreteerbaarheid van rubriekgebaseerde scoring voor, geïnstantieerd op de dimensie Quality of Feedback (QoF) van het Classroom Assessment Scoring System (CLASS) met behulp van de NCTE-corpus (6.005 geannoteerde segmenten van transcripten uit basisonderwijs-wiskundelessen).

Experimentele Opzet

De studie vergelijkt twee families van modellen:

Fine-tuned Pretrained Language Models (PLMs): Inclusief BERT, ALBERT, RoBERTa en DeBERTa (base en large varianten). Deze modellen zijn gefinetuned voor regressie om een QoF-score van 1–7 te voorspellen.
Instruction-tuned Large Language Models (LLMs): Inclusief Llama 3.1, Mixtral, Qwen 3 en Mistral varianten. Deze modellen voeren scoring uit via few-shot prompting en zinsrangschikking via zero-shot prompting.

Interpretatie- en Evaluatieprotocollen

Het framework evalueert verklaringen via drie primaire mechanismen:

Generatie van verklaringen:
- SHAP (SHapley Additive exPlanations): Toegepast op het niveau van sentence embeddings binnen een hiërarchische PLM-architectuur om model-agnostische feature-attributies te genereren.
- LLM Rationalen: LLM's worden gepromptt om de top 10 zinnen te rangschikken die de meest invloedrijk zijn voor een bepaalde score.
Getrouwheidsanalyse (Deletion-based): Het systeem verwijdert progressief de top- $k$ (waarbij $k=10$ ) zinnen die door een verklaringmethode zijn geïdentificeerd en voert het scoringmodel opnieuw uit. De grootte van de verandering in de voorspelling ( $\Delta$ ) dient als een proxy voor getrouwheid; grotere verschuivingen duiden erop dat de verklaring de invloedrijke tekst succesvol heeft geïdentificeerd.
Cross-Model Evaluatie: Verklaringen gegenereerd door één modelfamilie (bijv. SHAP van een PLM) worden gebruikt om de input van de andere familie te verstoren (bijv. een LLM), en vice versa. Dit test of verklaringen robuust overstappen tussen architecturen of model-specifiek blijven.
Alignment Metrieken: Jaccard-gelijkenis en Spearman rank-correlatie worden berekend om de overlap in zinsselectie tussen SHAP en LLM's te meten.

Belangrijkste Bijdragen

Algemeen Framework: Een principieel framework voor zinsniveau-interpreteerbaarheid dat model-agnostische Shapley-waarde attributies combineert met LLM-gegenereerde rationalen, specifiek afgestemd op rubriekgebaseerde scoring.
Vergelijkende Analyse: Een systematische vergelijking van gespecialiseerde fine-tuned PLM's versus geprompte LLM's op zowel scoringprestaties als de getrouwheid van de verklaring.
Evaluatie van Getrouwheid: Een empirische evaluatie van verklaringmethoden met behulp van deletion-gebaseerde tests, wat aantoont dat SHAP zinnen identificeert die voorspellingen betrouwbaar drijven, terwijl LLM-rationalen vaak kleinere, minder coherente verschuivingen veroorzaken.
Cross-Model Consistentie: Een nieuw protocol dat aantoont dat SHAP-attributies robuust overstappen naar andere architecturen, terwijl LLM-rationalen beperkte en inconsistente invloed uitoefenen op alternatieve modellen.
Educatieve Implicaties: Een discussie over het ontwerp van transparante feedbacktools, met een waarschuwing tegen het gebruik van ongeteste LLM-rationalen als gezaghebbende rechtvaardigingen in situaties met een hoge inzet.

Resultaten

Scoringprestaties (RQ1)

PLMs: Fine-tuned PLM's presteren significant beter dan LLM's wat betreft voorspellingsnauwkeurigheid. Het beste PLM (DeBERTaV3 large) bereikt een Mean Absolute Error (MAE) van 0.96, vergelijkbaar met een constante baseline. Echter, fine-tuned PLM's vertonen label compressie, waarbij ze zel