Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments

Probleemstelling

Automatische scoringssystemen (Automated Scoring) op basis van AI bieden schaalbare en efficiënte oplossingen voor het evalueren van complexe, open-ended antwoorden van studenten. Ondanks de toenemende vraag naar transparantie en interpreteerbaarheid, ontbreekt er een breed geaccepteerde oplossing voor interpreteerbare automatische scoring in grootschalige, real-world assessments. Bestaande methoden zijn vaak "black boxes" die fouten, bias en onrechtvaardigheid kunnen bevatten zonder dat dit traceerbaar is. Zelfs methoden die hoge nauwkeurigheid bereiken, worden zelden ingezet in de praktijk omdat ze niet voldoen aan de specifieke behoeften van stakeholders (zoals examinatoren, ontwikkelaars en beleidsmakers) om de scoringbeslissingen te begrijpen en te verifiëren.

Methodologie: De FGTI-Principes en ANALYTICSCORE

De auteurs nemen een principieel, stakeholder-gedreven aanpak om dit probleem aan te pakken. Ze ontwikkelen eerst vier fundamentele principes voor interpreteerbaarheid, genaamd FGTI, en implementeren deze vervolgens in een nieuw raamwerk: ANALYTICSCORE.

1. De FGTI-Principes

Deze principes zijn ontworpen om de behoeften van verschillende stakeholders (testnemers, ontwikkelaars en gebruikers) te adressen:

• Faithfulness (Getrouwheid): De uitleg van een scoringbeslissing moet de werkelijke computationele mechanismen van het model nauwkeurig weerspiegelen. Het gebruik van LLM's om "redeneringen" te genereren via prompting (zoals Chain-of-Thought) wordt afgewezen omdat dit niet de interne berekeningen weergeeft en inconsistent kan zijn.
• Groundedness (Verankering): De initiële kenmerken (features) die door het model worden berekend, moeten menselijk begrijpelijke, expliciet identificeerbare elementen van het werk van de student zijn. Ze moeten direct gekoppeld zijn aan de studentrespons en de taak, in plaats van abstracte vectoren (zoals cosine similarity van embeddings).
• Traceability (Traceerbaarheid): Het scoringmodel moet bestaan uit subroutines die elk een specifieke, goed gedefinieerde stap in het bewijsredeneringsproces vertegenwoordigen. De logica moet in duidelijke, sequentiële stappen kunnen worden ontleed.
• Interchangeability (Uitwisselbaarheid): Een mens moet in staat zijn om in elke redeneersubroutine in te grijpen en de output te vervangen door menselijk gegenereerde resultaten. Dit stelt stakeholders in staat om fouten te corrigeren en het model te valideren.

2. Het ANALYTICSCORE Framework

ANALYTICSCORE is een modulair, drie-fasen raamwerk dat de FGTI-principes implementeert voor tekstgebaseerde constructie-respons scoring:

• Fase 1: Extractie van Analytische Componenten:
  Het systeem identificeert expliciete, menselijk begrijpelijke elementen (analytische componenten) in de studentresponsen. In dit paper worden deze gedefinieerd als "proposities" (bijv. "De student noemt een specifiek kenmerk"). Dit gebeurt via een LLM die wordt geprompt om deze componenten te extraheren, maar de output wordt beperkt tot een maximaal aantal (15 per item) om de uitwisselbaarheid te behouden.
• Fase 2: Featurisering (Kenmerkextractie):
  Studentresponsen worden omgezet in menselijk begrijpelijke waarden op basis van de aanwezigheid van de analytische componenten. Een label-functie $f(r; c)$ bepaalt of een component direct is parafraseerd (2), gedeeltelijk (1), of niet aanwezig is (0).
  • Technische innovatie: Om de kosten van het gebruik van dure proprietaire LLM's te vermijden, wordt een klein open-source model (Llama-3.1-8B) gesuperviseerd fine-tuned (met QLoRA) op een dataset van 10.000 voorbeelden die zijn gegenereerd door een groter model (o4-mini). Dit distilleert de "featurizer".
• Fase 3: Logisch Traceerbare Scoring:
  De gegenereerde features worden ingevoerd in een traceerbaar en uitwisselbaar scoringmodel. Het paper gebruikt Ordinal Logistic Regression (Immediate-Threshold variant). Het model berekent een som van gewichten voor elke component en feature-label, wat resulteert in een "evidentiary value" ($\eta$). Deze waarde wordt vergeleken met geleerde drempelwaarden ($\theta$) om de uiteindelijke score te bepalen. Dit zorgt ervoor dat het volledige redeneringsproces transparant en controleerbaar is.

Belangrijkste Bijdragen

1. Stakeholder-Centrische Principes: De ontwikkeling van de FGTI-principes als een theoretische basis voor interpreteerbare AI in het onderwijs, die verder gaat dan technische uitleg en zich richt op de behoeften van menselijke actoren in het assessmentproces.
2. ANALYTICSCORE Framework: Het eerste interpreteerbare automatische scoringssysteem dat deze principes volledig implementeert, met een focus op menselijk begrijpelijke features en traceerbare logica.
3. Distillatie van Featurizers: Een methode om dure LLM's te vervangen door efficiënte, open-source modellen voor de kenmerkextractie, zonder in te leveren op de kwaliteit van de interpretatie.
4. Empirische Validatie: Een uitgebreide evaluatie die zowel de nauwkeurigheid als de uitlijning met menselijke oordelen meet.

Resultaten

Het systeem is getest op de ASAP-SAS dataset (10 items, Science, Reading Informational, Reading Literature) en vergeleken met state-of-the-art (SOTA) black-box modellen en menselijke beoordelaars.

• Scoring Nauwkeurigheid:
  • ANALYTICSCORE presteert beter dan veel oninterpreteerbare baselines (zoals AutoSAS, ASRRN) en Few-Shot prompting methoden.
  • De prestatie ligt gemiddeld binnen 0.06 QWK (Quadratic Weighted Kappa) van de beste oninterpreteerbare SOTA-modellen over alle 10 items.
  • Specifiek voor Science-items was het verschil slechts 0.04 QWK.
• Uitlijning met Menselijke Oordelen (Featurization Alignment):
  • De gedistilleerde Llama-featurizer toont een sterke overeenstemming met menselijke beoordelaars bij het labelen van de analytische componenten (QWK van 0.90 voor Science, 0.72 voor Reading Info, 0.81 voor Reading Literature).
  • Menselijke beoordelaars onderling toonden een Krippendorff's $\alpha$ van ongeveer 0.70, wat aangeeft dat de taak zelf redelijk consistent is, maar dat er ruimte is voor verbetering bij ambiguïteit (vooral bij label 1).
• Interpretatie: Hoewel er een kleine prestatie-kloof is met de absolute SOTA (zwarte doos), is dit acceptabel gezien de strikte architecturale beperkingen die worden opgelegd door de FGTI-principes (geen "onverklaarbare" subroutines).

Betekenis en Conclusie

Dit paper markeert een verschuiving in hoe interpreteerbare automatische scoring moet worden benaderd: van een geïsoleerde voorspellende taak naar een stakeholder-gedreven levenscyclus van assessment.

• Praktische Toepasbaarheid: Het bewijst dat het mogelijk is om systemen te bouwen die zowel nauwkeurig zijn als volledig transparant, waardoor vertrouwen bij stakeholders (zoals beleidsmakers en docenten) kan worden hersteld.
• Toekomstgericht: Het biedt een blauwdruk (ANALYTICSCORE) voor toekomstig onderzoek, waarbij de nadruk ligt op het ontwerpen van systemen waarbij menselijke interventie en controle mogelijk zijn.
• Ethiek: De auteurs benadrukken dat interpreteerbaarheid op zichzelf geen garantie is voor validiteit; het moet worden ingebed in rigorose workflows voor auditing en monitoring om "false sense of validity" te voorkomen.

Kortom, het paper levert een solide, principieel onderbouwde oplossing die de kloof overbrugt tussen de technische mogelijkheden van AI en de ethische en praktische eisen van educatieve assessments.