Why AI Detection Fails for Academic Integrity

Stel je de wereld van schoolopdrachten en onderzoeksartikelen voor als een enorme, bruisende bibliotheek. Jarenlang waren leraren en professoren de bibliothecarissen die controleerden of elk boek in de kast wel geschreven was door de persoon wiens naam op de omslag stond. Maar onlangs verscheen er een nieuw soort robot-schrijver. Deze robots, genaamd Large Language Models (of LLM's), kunnen hele verhalen schrijven, wiskundeproblemen oplossen en complexe ideeën in seconden uitleggen. Dit heeft voor een beetje paniek gezorgd: "Hoe weten we of een student echt zijn essay heeft geschreven, of dat hij gewoon de robot heeft gevraagd het voor hem te doen?"

Om dit op te lossen, begonnen scholen "AI-detectives" in te huren. Dit zijn speciale computerprogramma's die ontworpen zijn om robot-geschreven tekst op te sporen. Het idee is simpel: als de detective zegt: "Dit ruikt naar een robot," krijgt de student problemen. Maar hier is de crux: deze detectives horen perfect te zijn, maar ze raken vaak in de war. Ze kunnen denken dat een student die alleen een robot gebruikte om zijn grammatica te verbeteren een bedrieger is, terwijl ze een student missen die een robot gebruikte om het hele ding te schrijven en dat vervolgens probeerde te verbergen. Dit artikel duikt diep in de vraag of deze AI-detectives hun werk eigenlijk wel doen, of dat ze alleen maar een puinhoop maken van de academische eerlijkheid.

---

De Grote AI-Detective Fail-Off

In dit onderzoek besloten onderzoekers van de University of Notre Dame de AI-detectives op de proef te stellen. Ze keken niet alleen naar nep-essays; ze keken naar echte, gepubliceerde onderzoeksabstracts (de korte samenvattingen aan het begin van wetenschappelijke artikelen) uit vier verschillende vakgebieden: Chemie, Informatica, Politicologie en Theologie. Ze vergeleken artikelen uit het "pre-robot-tijdperk" (2013–2015) met artikelen uit het "robot-tijdperk" (2023–2025).

Ze stelden een spel op met drie verschillende scenario's om te zien hoe de detectives reageerden:

1. Het Origineel: Een mens schreef de abstract, en geen robots hebben er iets aan gedaan.
2. De Lichte Polijsting: Een mens schreef de abstract, maar vroeg een robot om het gewoon "beter te laten klinken" (het verbeteren van grammatica en flow).
3. De Volledige Herschrijving: Een mens gaf de robot het hele artikel, en de robot schreef een gloednieuwe abstract vanaf nul.

Vervolgens haalden ze deze teksten door twee beroemde commerciële AI-detectors: Pangram en GPTZero.

Het "Vals Alarm"-probleem

De eerste grote verrassing was hoe vaak de detectives "ROBOT!" riepen wanneer ze naar onschuldige mensen keken.

• Wanneer de onderzoekers de originele, door mensen geschreven abstracts uit 2023–2025 aan de detectors voerden, markeerden de detectors deze in 8,9% tot 15,0% van de gevallen als AI-gegenereerd. Dat betekent dat bijna één op de tien eerlijke papers een "schuldig"-stempel kreeg, simpelweg omdat ze bestonden.
• Het probleem werd veel erger voor niet-wetenschappelijke vakken. In velden zoals Theologie en Politicologie waren de detectors veel verdachter dan in Chemie of Informatica. Het blijkt dat als je schrijft in een stijl die veel chique academische woorden of lange zinnen gebruikt, de detectors denken dat je een robot bent, zelfs als je een menselijke professor bent.
• De echte klapper? Wanneer ze een eerlijk paper namen en een robot vroegen om het te "verfijnen" of te polijsten, gingen de detectors volledig tekeer. Ze markeerden deze licht bewerkte papers in 64% tot 80% van de gevallen als AI-gegenereerd.

De Analogie: Stel je een beveiligingsbeambte bij een museum voor. Als je binnenkomt in een smoking (chique academisch schrijven), denkt de bewaker dat je een dief bent. Als je binnenkomt in een smoking en je vraagt een vriend om je te helpen met het strikken van je vlinderdas (lichte AI-bewerking), tackle de bewaker je. Maar als een inbreker binnenkomt in een clownspak (een volledige robot-essay), kan de bewaker hem misschien gewoon voorbij laten lopen als hij eerst van kostuum verandert.

Het "Magische Mantel"-probleem

Het tweede deel van de studie keek naar "Humanizers". Dit zijn hulpmiddelen die specifiek zijn ontworpen om de AI-detectors te misleiden. Ze nemen robot-geschreven tekst en veranderen het net genoeg zodat het weer menselijk lijkt.

De onderzoekers namen de door robots geschreven abstracts (de abstracts die de detectors hadden moeten vangen) en haalden ze door een humanizer genaamd Undetectable AI. Het resultaat was schokkend.

• Voor de humanizer ving de detector de meeste volledige robot-herschrijvingen op.
• Na de humanizer raakten de detectors volledig de weg kwijt. Ze slaagden er niet in om meer dan 96% van de robot-geschreven tekst te vangen. Met andere woorden, de humanizer gaf de robot een "magische mantel" aan, en de detectives konden het helemaal niet meer zien.

De Analogie: Het is als een spelletje "Rood Licht, Groen Licht". De AI-detective is de persoon met de rug naar de kamer toe. Als een robot probeert door de kamer te lopen, vangt de detective hem. Maar als de robot een speciale onzichtbaarheids-outfit aantrekt (de humanizer), draait de detective zich om en ziet hij niets anders dan een lege kamer. De robot is er wel, maar de detective denkt dat het veilig is.

De "Catch-22" voor Studenten

Dit creëert een verschrikkelijke situatie voor studenten, wat de auteurs een "catch-22" noemen (een situatie zonder winstmogelijkheid).

• Eerlijke studenten die AI gebruiken om hen te helpen beter te schrijven of hun grammatica te verbeteren, worden waarschijnlijk gemarkeerd en gestraft. De studie vond dat eerlijke bewerkingen leiden tot een kans van 64–80% om gemarkeerd te worden.
• Studenten die AI gebruiken om content te genereren die een humanizer gebruiken om het te verbergen, hebben een kans van 96%+ om ermee weg te komen.

Het artikel betoogt dat het huidige systeem de eerlijken straft en de oneerlijken beloont. Het suggereert dat de detectors niet eigenlijk kijken naar "wie heeft dit geschreven", maar in plaats daarvan reageren op specifieke patronen in de woorden, zoals hoeveel lange woorden er worden gebruikt of hoeveel academische termen er in een zin zijn gepakt. Wanneer een humanizer die patronen verandert, raakt de detector in de war.

Wat de Auteurs Concluderen

De onderzoekers zijn zeer duidelijk: AI-detectors zouden niet gebruikt mogen worden als het enige bewijs dat een student heeft valsgespeeld.

Ze vonden dat:

1. Detectors onbetrouwbaar zijn: Ze markeren eerlijk menselijk schrijven te vaak als AI, vooral in niet-wetenschappelijke vakken.
2. Humanizers te goed zijn: Ze kunnen de detectors gemakkelijk foppen, waardoor het onmogelijk is om volledige AI-gegenereerde essays te vangen als iemand probeert het te verbergen.
3. De kenmerken er toe doen: De detectors lijken meer te geven om "lange woorden" en "academische woordenschat" dan aan of een mens daadwerkelijk over de ideeën heeft nagedacht.

Het paper suggereert dat scholen moeten stoppen met het vertrouwen op deze "toverstokken" die beweren AI te detecteren. In plaats daarvan moeten ze naar het hele plaatje kijken: hoe een student zijn werk ontwerpt, de geschiedenis van hun schrijfwerk en menselijk oordeel. Vertrouwen op enkel een computerscore is als een leraar ontslaan omdat een thermometer zei dat hij te heet was, zonder te controleren of hij daadwerkelijk koorts had of gewoon bij een vuur stond.

Kortom, de AI-detectives falen momenteel in hun taak. Ze zijn te luidruchtig, te gemakkelijk te misleiden en ze straffen de verkeerde mensen. Totdat ze beter worden, is het gebruik ervan om over het lot van een student te beslissen een riskant spel waarbij de eerlijke studenten waarschijnlijk zullen verliezen.