Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Wie heeft dit geschreven?" In de wereld van scholen en universiteiten is dit de ultieme vraag van academische integriteit. Jarenlang was de belangrijkste tool die detectives gebruikten een speciaal soort "vingerafdrukscanner" ontworpen voor lange, vloeiende verhalen—essays. Deze scanners zoeken naar kleine, unieke gewoontes in hoe iemand schrijft, zoals hoe ze komma's gebruiken of hun zinnen structureren. Maar hier komt de wending: AI-chatbots worden zo goed in het schrijven van deze verhalen dat de scanners moeite hebben. Scholen proberen dit op te lossen door dezelfde "essay-scanner"-logica toe te passen op alles wat studenten nog meer doen, zoals wiskundeproblemen, meerkeuzevragen en programmeeropdrachten.

Om te begrijpen waarom dit een doodlopende weg kan zijn, moeten we kijken naar twee eenvoudige ideeën. Denk eerst aan "informatie" als de hoeveelheid unieke details in een boodschap. Een lang essay is als een rommelige, unieke vingerafdruk; het heeft tonnen kleine details die kunnen vertellen wie het gemaakt heeft. Een wiskundig antwoord, zoals het getal "42", is als een perfecte, gladde knikker. Als twee mensen hetzelfde probleem correct oplossen, produceren ze allebei exact hetzelfde "42". Er is geen rommeligheid, geen unieke vingerafdruk en geen extra detail om te inspecteren. Ten tweede, denk aan "auteurschapstoeschrijving" als het gebruik van die unieke details om te bewijzen wie het werk heeft gedaan. Als er vanaf het begin geen unieke details zijn, kan geen enkele geavanceerde technologie die er magisch bij verzinnen. Dit artikel stelt een gedurfde vraag: Wat gebeurt er wanneer we een vingerafdrukscanner op een gladde knikker proberen te gebruiken?

De Grote Ontdekking van het Papier: Het "Gladde Knikker"-probleem

Dit onderzoeksartikel, getiteld "Convergent assessment cannot be policed," betoogt dat scholen een fundamentele fout maken. Ze proberen de regels voor essays toe te passen op het controleren van wiskunde, wetenschap en meerkeuze-examens, maar de auteur zegt dat dit onmogelijk is. Het is niet dat de AI-detectoren slecht zijn of dat de tools verbeterd moeten worden; het is dat het type werk zelf niet genoeg informatie bevat om de auteur te identificeren.

De auteur introduceert een concept genaamd "residuele entropie." Stel je voor dat je koekjes bakt. Als je een student vraagt om "een verhaal over een koekje te schrijven," kunnen ze een gedicht schrijven, een horrorverhaal of een recept. Er zijn miljoenen manieren om het te doen, en elke versie heeft een unieke "vingerafdruk" van de stijl van de schrijver. Dit is hoge entropie. Maar als je een student vraft om "X op te lossen" en het antwoord is "5," dan is er slechts één juiste manier om dat antwoord te schrijven. Of het nu een menselijk genie, een worstelende student of een superintelligent robot is die het schreef, het resultaat is exact hetzelfde "5". De auteur noemt dit zero residual entropy (nul residuele entropie). Zodra het antwoord correct is, is er nul variatie over om te analyseren.

Het papier bewijst wiskundig dat je niet meer informatie kunt extraheren dan wat er daadwerkelijk aanwezig is. Als het antwoord slechts een enkele letter of een getal is, is er geen "signaal" te vinden. Proberen AI-detectoren op deze formaten toe te passen is als proberen een vingerafdruk te vinden op een perfect glad, blanco stuk glas. Hoe krachtig je microscoop ook is, je zult geen afdruk vinden omdat het glas er geen heeft.

De Drie Zones van Risico

De auteur gebruikte gegevens uit 19 verschillende studies over 13 vakgebieden om in kaart te brengen waar verschillende schooltaken onder vallen. Ze ontdekten drie verschillende "zones" of regimes:

1. De Blootgestelde Zone (De Gevaarzone): Dit omvat meerkeuzevragen, korte numerieke antwoorden en standaard probleemsets. In deze zone is AI ongelooflijk goed (vaak met scores boven de 96% op meerkeuzevragen), maar de antwoorden hebben nul auteurschapssignaal. Het papier betoogt dat in deze zone je simpelweg niet kunt zien of een mens of een robot het werk heeft gedaan. Het is niet een kwestie van "moeilijk te zeggen"; het is dat de vraag "Wie deed dit?" geen antwoord heeft.
2. De Latente Zone (De Wachtkamer): Dit omvat zaken zoals korte numerieke problemen waar AI momenteel nog niet goed genoeg in is om gemakkelijk te scoren. Deze zijn alleen "veilig" omdat de AI nog niet slim genoeg is. Maar de auteur waarschuwt dat dit een tikkende tijdbom is. Zodra AI beter wordt in deze taken, verdwijnt de "veiligheid" onmiddellijk omdat er nog steeds geen auteurschapssignaal is om op terug te vallen.
3. De Detecteerbare Zone (De Veilige Zone): Dit omvat lange essays, reflectief schrijven en complexe programmeerprojecten. Hier zijn de antwoorden zo gevarieerd en uniek dat AI-detectoren wel kunnen werken. Het papier merkt op dat onderzoek naar het detecteren van AI in code daadwerkelijk succesvol is omdat code genoeg "vingerafdruk"-details heeft, in tegen tegenstelling tot een eenvoudig wiskundig antwoord.

De Schokkende Cijfers

Toen de auteur deze logica toepaste op een typisch wetenschappelijk en technisch universitair programma, waren de resultaten verbijsterend. Ze ontdekten dat 38% van de eindcijfers in deze programma's afkomstig is van taken in de "Blootgestelde Zone" (zoals meerkeuzevragen en probleemsets). In contrast hiermee valt slechts 5% van de geesteswetenschappelijke programma's in deze valstrik.

Als je de bewijslast verhoogt naar wat nodig is voor een strafzaak (een zeer hoge drempel), stijgt het aantal blootgestelde taken in wetenschap en techniek naar 52%. Dit betekent dat voor meer dan de helft van het eindcijfer van een wetenschappelijke student de school geen enkele manier heeft om te bewijzen wie het werk daadwerkelijk heeft gedaan, en dat er geen enkel instrument bestaat dat dat ooit zou kunnen doen.

Wat dit betekent voor scholen

Het artikel sluit expliciet de mogelijkheid uit dat we gewoon betere software kunnen kopen om dit op te lossen. De auteur stelt duidelijk dat geen enkele verbetering van detectietechnologie het probleem voor meerkeuzevragen of wiskundevragen kan oplossen, omdat de informatie simpelweg niet aanwezig is om gevonden te worden. Proberen een student te beschuldigen van het ongeoorloofd gebruiken van AI op een wiskundetoets op basis van "AI-detectie" is niet alleen ineffectief; de auteur betoogt dat het wiskundig onmogelijk is om dit te bewijzen.

In plaats daarvan suggereert het papier dat scholen hun strategie volledig moeten veranderen:

• Stop met het controleren van het oncontroleerbare: Gebruik geen auteurschap-detectoren op meerkeuzevragen of korte wiskundige antwoorden. Het is tijdverspilling en leidt tot onterechte beschuldigingen.
• Verander het spel: Als je wilt weten wie het werk heeft gedaan, moet je de taak veranderen. Gebruik gesuperviseerde examens (waar een docent je in de gaten houdt), vraag studenten om hun denkproces persoonlijk toe te lichten, of ontwerp vragen die specifat specifiek zijn voor de lokale klas, zodat AI de antwoorden niet zomaar kan opzoeken.
• Accepteer de grenzen: Voor de "Blootgestelde Zone" is de enige echte beveiliging het voorkomen dat de AI überhaupt wordt gebruikt (zoals in een afgesloten ruimte), in plaats van te proberen het achteraf te betrappen.

Kortom, het papier concludeert dat de huidige "one-size-fits-all"-aanpak voor academische integriteit kapot is. Je kunt een tool die ontworpen is voor essays niet gebruiken om wiskundeproblemen te controleren. Voor een groot deel van het wetenschappelijk en technisch onderwijs is de vraag niet "Hoe vangen we de bedriegers?", maar eerder "Hoe ontwerpen we onze toetsen zodat de vraag naar ongeoorloofd AI-gebruik überhaupt zin heeft?"