Explainability and Certification of AI-Generated Educational Assessments

Dit hoofdstuk presenteert een raamwerk voor de uitlegbaarheid en certificering van door AI gegenereerde educatieve toetsvragen, dat transparantie, auditbaarheid en institutionele acceptatie waarborgt door middel van een gestructureerde metadata-schemas en een verkeerslicht-certificeringsworkflow.

De kern

Stel je voor dat een universiteit een enorme fabriek heeft waar examenvragen worden gemaakt. Vroeger deden leraren dit handmatig, net als een chef-kok die één voor één recepten bedenkt. Nu hebben we een nieuwe, razendsnelle robot-kok (de Generatieve AI) die duizenden recepten (examenvragen) in seconden kan bedenken.

Het probleem? We weten niet altijd hoe de robot-kok tot die recepten komt, of ze wel echt lekker zijn, of ze passen bij het menu, en of er geen giftige ingrediënten in zitten. Als de universiteit deze vragen direct aan studenten geeft, kan dat leiden tot onrechtvaardige examens of slechte cijfers.

Deze paper komt met een slim keurmerk-systeem om die robot-kok veilig en betrouwbaar te maken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Drie Vragen die de Robot moet beantwoorden (Uitlegbaarheid)

Voordat een vraag de fabriek verlaat, moet de robot niet alleen het antwoord geven, maar ook uitleggen waarom. Het systeem vraagt de robot drie dingen:

• Zelfverklaring (De "Waarom"-vraag): De robot moet zeggen: "Ik heb deze vraag gemaakt om te testen of je kunt toepassen (Bloom-niveau), niet alleen onthouden." Het is alsof de robot een briefje bij het gerecht plakt: "Dit gerecht is bedoeld om je smaakpapillen te prikkelen, niet om je te vullen."
• De "Lichtjes" (Atoom-analyse): Het systeem kijkt naar welke woorden de robot gebruikte. Als de robot woorden als "vergelijk" of "analyseer" gebruikt, branden er groene lampjes. Gebruikt hij alleen simpele woorden? Dan branden er rode lampjes. Het is als een metaalzoeker die checkt of er goud (goede pedagogiek) in het zand zit, of alleen schroot.
• De Tweede Mening (Verificatie): Een andere, slimmere robot (een controleur) kijkt naar de vraag en zegt: "Ik denk dat dit eigenlijk een makkelijke vraag is, niet een moeilijke." Als de eerste robot en de controleur het oneens zijn, gaat de vraag naar de mens.

2. Het Verkeerslicht-systeem (Certificering)

Nadat de robot zijn werk heeft gedaan en de controleurs hebben gekeken, krijgt elke vraag een verkeerslicht:

• 🟢 Groen (Goed voor de weg): De vraag is perfect, de uitleg is helder, en er zijn geen fouten. Deze vraag mag direct de fabriek uit en naar de studenten. De leraar hoeft hier niets te doen.
• 🟡 Geel (Pas op, nodig een mens): De vraag is misschien wel goed, maar de robot was een beetje onzeker, of de uitleg was vaag. Deze vraag gaat naar een menselijke leraar. Die kijkt er snel naar, maakt misschien een klein aanpassingetje (zoals een woordje veranderen), en geeft dan groen licht.
• 🔴 Rood (Stopt! Niet gebruiken): De vraag is onzin, bevat fouten, of is zelfs bevooroordeeld (bijvoorbeeld: een voorbeeld dat alleen in één specifieke cultuur bekend is). Deze vraag wordt direct in de prullenbak gegooid of de robot krijgt een nieuwe opdracht om het opnieuw te proberen.

3. Het "Paspoort" voor elke vraag (Metadata)

Elke vraag die door dit systeem gaat, krijgt een digitaal paspoort (metadata). In dit paspoort staat alles:

• Wie (of welke versie van de AI) heeft de vraag gemaakt?
• Wat was de opdracht (prompt)?
• Waarom denkt de AI dat dit een moeilijke vraag is?
• Wie heeft er naar gekeken en wat zei die persoon?

Dit is cruciaal voor de accreditatie. Stel, er komt een inspecteur langs die vraagt: "Waarom hebben jullie deze vraag aan de studenten gegeven?" Dan kan de universiteit het paspoort laten zien en zeggen: "Kijk, hier staat dat de vraag gecontroleerd is, dat hij past bij het leerdoel, en dat een mens er naar heeft gekeken."

Waarom is dit belangrijk?

Zonder dit systeem zou het zijn alsof je blindelings eten eet van een robot die nooit controleert of het wel veilig is. Met dit systeem:

1. Vertrouwen: Leraren en studenten weten dat de examens eerlijk en goed zijn.
2. Tijdwinst: Leraren hoeven niet meer 100 vragen handmatig te maken; ze controleren alleen de "gele" vragen.
3. Veiligheid: Slechte of vooroordeelvolle vragen worden eruit gehaald voordat ze de studenten bereiken.

Kortom: De auteurs van deze paper hebben een slimme "kwaliteitscontrole" bedacht die AI helpt om niet alleen snel, maar ook verantwoord examenvragen te maken. Het zorgt ervoor dat de technologie een hulpmiddel blijft voor leraren, en geen vervanging die de kwaliteit in gevaar brengt.

Technische samenvatting

Probleemstelling

De snelle adoptie van generatieve kunstmatige intelligentie (GenAI) in het onderwijs heeft nieuwe kansen geboden voor de schaalbare creatie van toetsvragen, gepersonaliseerde feedback en efficiënte formatieve evaluatie. Desondanks blijft de integratie van AI-genereren assessments in geaccrediteerde onderwijsomgevingen beperkt door ernstige tekortkomingen:

• Gebrek aan transparantie en uitlegbaarheid: Er is geen duidelijk mechanisme om te verklaren waarom een AI een specifieke vraag heeft gegenereerd of hoe deze aansluit bij beoogde leerdoelen.
• Validiteits- en betrouwbaarheidszorgen: Institutionele en accrediteringsinstanties twijfelen aan de geldigheid, eerlijkheid en reproduceerbaarheid van AI-gegenereerde items.
• Ontbrekende governance: Bestaande systemen registreren geen herleidbaarheid (provenance), geen rationale voor cognitieve uitlijning, en geen logboeken van menselijke reviews, wat essentieel is voor auditdoeleinden en naleving van regelgeving (zoals de EU AI Act).

Methodologie

Het artikel introduceert een end-to-end raamwerk dat drie hoofdfasen combineert: Generatie, Uitlegbaarheid (Explainability) en Certificatie.

1. Drie-laags Uitlegbaarheidsmodel

Om de "black box" van GenAI te doorbreken, wordt een combinatie van methoden gebruikt om cognitieve uitlijning (op basis van Bloom's en SOLO taxonomieën) te verklaren:

• Zelf-rationalisatie (Self-Rationalization): Het generatieve model wordt geprompt om naast de vraag ook een vrijetekst-rationale te genereren. Dit verklaart waarom de stam en opties een specifiek taxonomieniveau vertegenwoordigen en waarom het correcte antwoord de distractors overtreft.
• Attributie-gebaseerde methoden: Technieken zoals LIME en SHAP worden toegepast om te kwantificeren welke tokens of zinsdelen (bijv. specifieke werkwoorden als "analyseren" of "evalueren") het meest hebben bijgedragen aan de voorspelling van het cognitieve niveau. Dit biedt kwantitatief bewijs voor de rationale.
• Post-hoc verificatie: Een onafhankelijke classifier (bijv. een getrainde transformer zoals DistilBERT) voorspelt het cognitieve niveau van de gegenereerde vraag. Afwijkingen tussen de rationale van de generator en de voorspelling van de verifier fungeren als vlaggen voor menselijke review.

2. Certificerings-Metadata Schema

Er wordt een gestructureerd schema voorgesteld dat alle relevante informatie vastlegt voor auditdoeleinden. Dit schema omvat vier categorieën:

• Provenance: Modelversie, prompts, tijdstempel, en context.
• Uitlijning & Uitlegbaarheid: Voorspelde taxonomielabels, betrouwbaarheidsscores, rationale en attributie-data.
• Menselijke toezicht (Human-in-the-loop): Acties van reviewers, notities, en beslissingen.
• Ethische indicatoren: Vlaggen voor bias, eerlijkheid en privacyrisico's.

3. Verkeerslicht-Certificatie Workflow

Op basis van de metadata wordt een beslissingslogica toegepast:

• Groen (Auto-certificatie): Hoge betrouwbaarheid (≥0,90), volledige rationale, geen ethische vlaggen. Items worden direct goedgekeurd.
• Geel (Menselijke review): Matige betrouwbaarheid (0,60–0,89), incomplete rationale, of discrepanties tussen generator en verifier. Items worden doorgestuurd naar instructeurs.
• Rood (Afwijzing/Hergeneratie): Lage betrouwbaarheid (<0,60), tegenstrijdige rationale, of ernstige ethische risico's. Items worden verworpen of opnieuw gegenereerd.

Belangrijkste Bijdragen

1. Geïntegreerd Raamwerk: Het eerste kader dat generatieve output koppelt aan expliciete, uitlegbare rationale en een formeel certificeringsproces, specifiek ontworpen voor institutionele governance.
2. Audit-klare Metadata: Een gestandaardiseerd schema dat de kloof overbrugt tussen technische AI-uitvoer en de documentatievereisten van accrediteringsinstanties.
3. Operationalisatie van Uitlegbaarheid: Het vertalen van technische attributie-data naar pedagogisch betekenisvolle inzichten (gekoppeld aan Bloom/SOLO werkwoorden) die docenten kunnen begrijpen.
4. Proof-of-Concept: Een empirische validatie van het systeem op 500 gegenereerde computerwetenschapsvragen.

Resultaten (Proof-of-Concept Studie)

De studie met 500 MCQ's (Multiple Choice Questions) in computerwetenschap leverde de volgende resultaten op:

• Verdelingsresultaten:
  • Groen (Auto-certificeerbaar): 39,6% (198 items). Deze toonden hoge consistentie tussen rationale, classifier en attributie.
  • Geel (Review vereist): 43,0% (215 items). Vaak met discrepanties in taxonomieniveau of generieke rationale.
  • Rood (Afgewezen): 17,4% (87 items). Bevatte foutieve antwoorden, conceptuele tegenstrijdigheden of bias.
• Efficiëntie: Door het gebruik van metadata en visuele uitleg (attributiekaarten) daalde de gemiddelde reviewtijd per item van 64 seconden naar 44 seconden (een reductie van 31%).
• Kwaliteitsverbetering: Menselijke reviewers konden sneller fouten diagnosticeren, zoals ambiguïteit in de stam of onbedoeld correcte distractors, dankzij de transparante rationale.
• Validatie: Het systeem slaagde erin om items met hoge kwaliteit te filteren en borderline-items effectief naar menselijke experts te sturen.

Betekenis en Implicaties

• Vertrouwen en Acceptatie: Het raamwerk maakt AI-genereren assessments "accreditation-ready", wat essentieel is voor de acceptatie door hogescholen en regelgevende instanties.
• Governance en Compliance: Het voldoet aan de eisen van de EU AI Act en UNESCO-richtlijnen door transparantie, menselijk toezicht en traceerbaarheid te garanderen in een hoog-risico domein.
• Ethische Veiligheid: Door bias-detectie en ethische vlaggen in de metadata te integreren, wordt het risico op onrechtvaardige of vooroordeel-bevattende vragen geminimaliseerd.
• Toekomstige Richting: Het artikel benadrukt dat menselijk oordeel niet vervangen kan worden, maar moet worden versterkt. Toekomstig onderzoek richt zich op uitbreiding naar multimodale en meertalige assessments en het monitoren van model-drift over tijd.

Samenvattend biedt dit artikel een praktische, governance-klaar oplossing om de schaalbaarheid van GenAI in het onderwijs te combineren met de strikte eisen van kwaliteit, transparantie en verantwoording.