Evaluation in the Age of AI: Output as Evidence of Learning

Al meer dan een eeuw opereren universiteiten op basis van een eenvoudige, stilzwijgende afspraak: het werk dat een student inlevert, is het bewijs van wat hij heeft geleerd. Of het nu ging om een essay, een wiskundig bewijs of een computerprogramma, het eindproduct werd beschouwd als een directe reflectie van de mentale inspanning die nodig was om het te creëren. Dit systeem werkte omdat het praktisch was; het stelde scholen in staat om vaardigheden te certificeren en prestaties te rangschikken op basis van de kwaliteit van de output. De onderliggende overtuiging was dat als een student een kwalitatief hoogstaand stuk werk produceerde, hij noodzakelijkerwijs de benodigde denkprocessen had doorlopen om daar te komen. Deze link tussen het eindproduct en het interne leerproces is de basis geweest voor hoe het hoger onderwijs succes meet.

Die link is verbroken. De opkomst van krachtige kunstmatige intelligentiesystemen, met name die in staat zijn om mensachtige tekst en code te genereren, heeft het landschap van de ene op de andere dag veranderd. Deze tools kunnen nu binnen enkele seconden verfijnd academisch werk produceren, een taak die voorheen uren van menselijke gedachte en strijd vereiste. De barrière tussen een beginner en een expert is effectief verdwenen, wat betekent dat een student een overtuigend essay of een complex computerscript kan genereren zonder zichzelf het mentale werk te leveren. Dit creëert een crisis voor het onderwijs: als het eindproduct niet langer bewijst dat een student de stof begrijpt, hoe kunnen scholen dan leren evalueren? De oude methode van het beoordelen van de "output" is niet langer een betrouwbaar bewijs van de "input" van het leren.

Onderzoekers van Virginia Tech hebben deze verstoring onderzocht, waarbij ze verder gingen dan de simpele vraag over academische integriteit om de diepere vraag te stellen hoe onderwijs zou moeten werken in een geautomatiseerd tijdperk. Zij stellen dat het probleem niet alleen is dat studenten deze tools oneerlijk gebruiken, maar dat het hele systeem van beoordeling niet langer in lijn is met wat het beoogt te meten. Wanneer scholen vertrouwen op het eindproduct als het enige bewijs van leren, meten ze uiteindelijk het vermogen van een student om het gebruik van AI te verbergen of hun toegang tot dure technologie, in plaats van hun werkelijke begrip, redenering of oordeelsvermogen. De onderzoekers suggereren dat de huidige focus op het betrappen van fraudeurs een doodlopende weg is en dat scholen hun focus moeten verleggen naar het leerproces zelf.

Om de realiteit van deze situatie te begrijpen, hebben de onderzoekers twintig professionals uit het hoger onderwijs en studenten van universiteiten in Noord-Amerika en Bangladesh ondervraagd. Ze wilden zien hoe de mensen die daadwerkelijk lesgeven, denken over deze nieuwe tools en de beleidsmaatregelen die bedoeld zijn om ze te stoften. De resultaten onthulden een diepe kloof tussen wat scholen doen en wat docenten geloven dat werkt. Hoewel de meeste instellingen het gebruik van software hebben verplicht om door AI gegenereerd werk te detecteren, hebben de docenten zelf zeer weinig vertrouwen in deze tools. In de enquête gaven vijftien van de twintig respondenten aan dat hun instellingen zwaar leunen op detectiesoftware, maar slechts vier van de twintig uitten vertrouwen in de nauwkeurigheid of eerlijkheid van deze tools. Deze kloof sugggeert dat scholen de handelingen van naleving uitvoeren zonder werkelijk te geloven in de integriteit van het proces.

De studie vond dat het probleem bijzonder ernstig is in vakgebieden zoals computerwetenschappen, waar de "correctheid" van een code vaak binair is. In deze gebieden is kunstmatige intelligentie uitzonderlijk goed in het schrijven van perfecte code, waardoor traditionele beoordelingsmethoden die controleren op correcte antwoorden nutteloos zijn als maatstaf voor het begrip van de student. De onderzoekers ontdekten ook een verontrustende nieuwe vorm van ongelijkheid. Studenten die het konden betalen om te betalen voor premiumversies van deze AI-tools, produceerden werk dat duidelijker en logischer was dan het werk van studenten die gratis versies gebruikten. Dit betekent dat huidige beoordelingen onbedoeld de bekwaamheid van een student beoordelen om voor betere technologie te betalen, in plaats van hun aangeboren academische capaciteit. Bovendien worden studenten uit lagere inkomensklassen die afhankelijk zijn van gratis tools dubbel gestraft: zij ontvangen kwalitatief minder goede ondersteuning en worden bovendien met meer argwaan bekeken door detectietools die gekalibreerd zijn om ruwere AI-outputs te identificeren.

De menselijke kosten van deze surveillance-georiënteerde aanpak zijn ook aanzienlijk. De onderzoekers vonden dat veel docenten burn-out klachten ervaren en een verschuiving beschreven van mentoren naar "digitale aanklagers". In plaats van tijd te besteden aan het ontwerpen van lessen of het helpen van studenten, worden docenten gedwongen om urenlang zaken op te bouwen tegen hun eigen studenten, waarbij ze proberen te bewijzen dat AI is gebruikt op basis van onbetrouwbare signalen van detectiesoftware. Dit creëert een sfeer van achterdocht die de relatie tussen docent en student beschadigt. De angst om betrapt te worden leidt tot een "onthullingsval", waarbij studenten bang zijn om toe te geven dat ze AI hebben gebruikt, zelfs wanneer dat is toegestaan, omdat ze vrezen dat ze toch gestraft zullen worden. Deze angst drijft het gebruik van deze tools naar de ondergrond, waardoor het leerproces minder transparant en minder eerlijk wordt.

De onderzoekers betogen dat de oplossing niet ligt in het bevechten van een verloren strijd tegen betere detectiesoftware, maar in het veranderen van wat er wordt beoordeeld. Ze stellen een verschuiving voor van het evalueren van het eindproduct naar het evalueren van de leerreis. Dit betekent het ontwerpen van beoordelingen die het denkproces zichtbaar maken, zoals het eisen dat studenten hun redenering in de klas uitleggen, geannoteerde conceptversies inleveren, of deelnemen aan mondelinge examens waar ze hun ideeën moeten verdedigen. Deze methoden, die de onderzoekers "gewenste moeilijkheden" noemen, zorgen ervoor dat de cognitieve arbeid plaatsvindt in het bijzijn van de docent. Door te focussen op hoe een student tot een antwoord komt in plaats van alleen op het antwoord zelf, kunnen scholen echt begrip en kritisch oordeelsvermogen beter meten.

Het artikel concludeert dat het tijdperk waarin het eindproduct het enige bewijs van leren is, ten einde loopt. Instellingen die blijven vertrouwen op oude methoden, zullen zichzelf gevangen vinden in een eindeloze cyclus van surveillance, waarbij ze meer middelen besteden aan het politiewerk rondom een grens die onmogelijk te monitoren is geworden. De onderzoekers suggereren dat deze verstoring niet alleen een bedreiging is, maar ook een kans om een systeem te bouwen dat rechtvaardiger en betekenisvoller is. Door prioriteit te geven aan het leerproces en weg te bewegen van een cultuur van achterdocht, kunnen universiteiten een omgeving creëren waarin studenten en docenten samenwerken om werkelijk begrip te demonstreren. De weg vooruit vereist een bereidheid om te investeren in nieuwe manieren van lesgeven en beoordelen, zodat het onderwijs gericht blijft op het menselijk vermogen tot denken in plaats van op het vermogen om een gepolijst artefact te produceren.