Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

Technische Samenvatting: Betwistbaarheid zonder Rechtsmiddel

Probleemstelling
Het artikel behandelt een kritieke asymmetrie in de literatuur over Kunstmatige Intelligentie (AI) in het onderwijs, specifiek met betrekking tot leerlingen met een beperking en specifieke onderwijsbehoeften (SEN). Terwijl onderzoek uitgebreid algoritmische bias, eerlijkheid en de technische productie van beslissingen heeft in kaart gebracht, heeft het de vraag naar betwistbaarheid grotendeels verdrongen: welk rechtsmiddel een leerling of hun vertegenwoordiger heeft nadat een beslissing met consequenties is genomen. De auteur stelt dat een beslissing aantoonbaar eerlijk kan zijn (in termen van de productie ervan), maar de betrokken persoon toch zonder mechanisme kan achterlaten om deze te wijzigen. Het kernprobleem is de afwezigheid van gedefinieerde waarborgen na de besluitvorming—mechanismen die een leerling in staat stellen om een door AI ondersteunde onderwijsbeslissing aan te vechten, te corrigeren of te herzien.

Methodologie
De studie maakt gebruik van een systematische review en corpusanalyse van de onderzoeksliteratuur, gestructureerd als volgt:

• Corpusconstructie: Er is een zoekopdracht uitgevoerd in 12 bibliografische bronnen (waaronder Scopus, ERIC en Crossref) met termen gerelateerd aan "artificial intelligence", "disability/SEN" en "education". Cruciaal is dat de zoektermen concepten gerelateerd aan eerlijkheid, bias, beroep of betwisting uitsloten om te voorkomen dat het corpus bevooroordeeld was naar één zijde van de vergelijking.
• Selectiecriteria: Vanuit een initiële pool van 1.690 records werden 727 gescreend op titel/abstract en werden 138 volledige rapporten verkregen en geanalyseerd. De inclusiecriteria vereisten verificatie van alle drie de kernconcepten (AI, beperking, onderwijs) in de metadata.
• Meetprotocol: De analyse mat de nabijheid van specifieke concepten tot "beslissing"-termen (binnen een venster van 240 tekens).
  • Pre-beslissingsconcepten: Bias, eerlijkheid, ethiek, privacy, nauwkeurigheid, uitlegbaarheid, toestemming.
  • Post-beslissingsmechanismen: Menselijke heroverweging, datacorrectie, beroep, rechtsmiddel/herstel, en uitleg voor aanvechting.
• Definities en Uitsluitingen: Het artikel definieert "waarborgen na de besluitvorming" strikt om concepten uit te sluiten die vaak worden verward met rechtsmiddelen, zoals:
  • Uitlegbaarheid: Het verstrekken van een verantwoording van de beslissing zonder een route om deze aan te vechten.
  • Menselijk toezicht: De betrokkenheid van een docent of clinicus bij het besluitvormingsproces (wat een controle aan de zijde van de operator blijft, en geen recht van de leerling is).
  • Pre-deployment audits: Controles die plaatsvinden voordat er een beslissing bestaat.
  • Toestemming: Permissies voor gegevensverzameling in plaats van middelen voor uitkomsten.
• Validatie: Twee onafhankelijke beoordelaars evalueerden de 138 volledige teksten op de aanwezigheid van door de leerling inroepbare waarborgen. Een secundaire, gerichte zoekopdracht werd ook uitgevoerd om te bepalen of er literatuur bestaat over rechtsmiddelen voor leerlingen met een beperking buiten de AI-specifieke corpus.

Kernbijdragen

1. Conceptueel Onderscheid: Het artikel maakt een formeel onderscheid tussen betwistbaarheid (het vermogen om een beslissing aan te vechten) en uitlegbaarheid en eerlijkheid. Het stelt dat eerlijkheid gaat over hoe een beslissing wordt geproduceerd, terwijl betwistbaarheid gaat over wat de betrokkene daarna kan doen.
2. Operationele Definitie: Het biedt een precieze, vijfdelige definitie van een "waarborg na de besluitvorming" (menselijke heroverweging, datacorrectie, beroep, rechtsmiddel en uitleg voor aanvechting) die specifiek genoeg is om empirisch meetbaar te zijn in onderzoeksrapporten.
3. Juridische Gatentest: Het artikel analyseert de Algemene Verordening Gegevensbescherming (AVG/GDPR), de EU AI Act en het VN-Verdrag inzake de rechten van personen met een handicap (UNCRPD). Het concludeert dat hoewel deze instrumenten een recht op betwisting veronderstellen, geen van deze instrumenten een procedure op schoolniveau specificeert waarmee een leerling een heroverweging kan initiëren.
4. Empirische Meting: Het kwantificeert de discrepantie in de aandacht van het onderzoek, waarbij wordt aangetoond dat de literatuur zwaar leunt op de kwaliteit van de beslissing (bias/eerlijkheid) terwijl het de rechtsmiddelen bij beslissingen negeert.

Resultaten
De analyse van de corpus van 138 documenten leverde de volgende bevindingen op:

• Dominantie van Pre-beslissing: Termen die duiden op "bias" of "eerlijkheid" verschenen in de nabijheid van een beslissingsterm in 74,6% van de documenten. "Uitlegbaarheid" verscheerde in 19,6%.
• Afwezigheid van Post-beslissing: Termen die duiden op "beroep", "aanvechting" of "due process" verschenen in de nabijheid van een beslissingsterm in 0,0% van de documenten.
• Losgekoppelde Vocabulaire: Hoewel termen als "rechtsmiddel" of "menselijke heroverweging" in de documenten voorkwamen, waren ze consequent losgekoppeld van de beslissingscontext. Ze verschenen in de abstract of de algemene discussie, maar werden nooit gekoppeld aan het specifieke mechanisme van een leerling die een uitkomst aanvecht.
• Docent-centrisch "Toezicht": De weinige gevallen van "menselijke heroverweging" (6,5% van de documenten) beschreven capaciteiten die in handen zijn van docenten of clinici (bijv. handmatige override), en niet de rechten die worden gehanteerd door de leerling of diens familie.
• Bevindingen Gerichte Zoekopdracht: Een aparte zoekopdracht naar "rechtsmiddel" en "beperking/onderwijs" identificeerde 102 relevante records. Echter, geen van deze titels vermeldde AI, algoritmen of machine learning. Dit geeft aan dat de literatuur over rechtsmiddelen in het onderwijs voor leerlingen met een beperking en de literatuur over AI in het onderwijs afzonderlijke, niet-overlappende velden zijn.

Betekenis en Claims
Het artikel beweert dat het vakgebied van AI in het onderwijs geavanceerde standaarden heeft ontwikkeld voor het evalueren van hoe beslissingen worden genomen, maar heeft nagelaten te adresseren wat er gebeurt nadat ze zijn genomen.

• De "Eerlijkheids"-misvatting: De auteur betoogt dat de focus op eerlijkheid onvoldoende is; een eerlijk algoritme kan nog steeds een beslissing produceren die onveranderlijk is voor de betrokken leerling.
• Procedurele Noodzaak: Het artikel stelt dat betwistbaarheid een procedurele vereiste is, geen technische. Het vereist het overdragen van macht aan de leerling (of diens vertegenwoordiger) om een heroverweging te initiëren, een stap die huidige "human-in-the-loop" modellen niet bieden.
• Onderzoeksblind Vlek: De afwezigheid van rechtsmiddelen in de literatuur komt niet door een gebrek aan algemene wetenschappelijke aandacht voor de rechten van mensen met een beperking, maar door een falen om die wetenschap te verbinden met AI-ondersteunde besluitvorming.
• Bescheiden Omvang: De auteur geeft expliciet aan dat hun bevindingen de onderzoeksliteratuur beschrijven, en niet noodzakelijkerwijs de werkelijke praktijken in scholen. Zij erkennen dat effectieve heroverwegingspraktijken in scholen kunnen bestaan maar ongedocumenteerd blijven, of dat wettelijke rechten weliswaar bestaan maar in de praktijk ineffectief zijn. Het artikel concludeert dat de onderzoeksgemeenschap de focus moet verschuiven van enkel het optimaliseren van de productie van beslissingen naar het vestigen van mechanismen voor betwisting na de besluitvorming.