Detecting AI-Generated Essays in Writing Assessment: Responsible Use and Generalizability Across LLMs

Dit hoofdstuk biedt een overzicht van verantwoord gebruik van detectoren voor door AI gegenereerde essays en presenteert empirische analyses over de generaliseerbaarheid van deze detectoren tussen verschillende grote taalmodellen.

De kern

Hoe we oplichters met AI-essays kunnen opsporen: Een gids in gewone taal

Stel je voor dat schrijven een superkracht is. Het is de manier waarop mensen hun gedachten ordenen, complexe ideeën uitleggen en elkaar overtuigen. Voor scholen en universiteiten is het controleren van deze essays (zoals bij examens) een cruciale taak. Maar nu is er een nieuwe speler in het spel: AI.

Dit wetenschappelijke artikel van Jiangang Hao (van het ETS Research Institute) gaat over een groot probleem: Hoe weet je of een essay echt door een mens is geschreven, of door een slimme computer (een 'Large Language Model' of LLM)?

Hier is de samenvatting, vertaald naar begrijpelijke taal met een paar handige vergelijkingen.

1. Het probleem: De perfecte nep-essay

Vroeger was plagiaat (kopiëren) makkelijk te zien. Het was als het vinden van een identieke kledingstuk in een andere kast. Je kon het vergelijken met bestaande bronnen.

Maar AI werkt anders. Een AI schrijft geen kopie; het schrijft iets nieuws dat klinkt als menselijk. Het is alsof iemand een perfecte kopie van je handtekening maakt, maar dan met een pen die je nooit hebt gezien. De tekst is origineel, maar de 'geest' erachter is van een machine. Dit maakt het heel lastig om te weten wie de schrijver echt is.

2. De detectoren: De politiemethoden

De auteurs kijken naar verschillende manieren om deze AI-essays te vangen. Ze vergelijken dit met verschillende methoden om een verdachte te identificeren:

• De 'Stijl-Check' (Supervised Learning):
  Dit is alsof je een detective bent die let op kleine details. Mensen schrijven vaak met kleine onregelmatigheden (soms een lange zin, soms een korte, soms een typfout). AI schrijft vaak te 'perfect' of met een heel specifiek ritme. De computer leert deze patronen en zegt: "Aha, dit ritje past niet bij een mens!"

  • Vergelijking: Het is alsof je kijkt naar de loop van iemand. Mensen hinken soms of lopen snel, maar een robot loopt altijd met exact dezelfde pas.

• De 'Watermerk' (Watermarking):
  Dit is een idee waarbij de AI-fabrikant een onzichtbaar teken in de tekst stopt, zoals een watermerk op een biljet. Als je dat teken ziet, weet je: "Dit is van de AI."

  • Het nadeel: Het werkt alleen als de AI-fabrikant meewerkt. En als iemand de tekst even herschrijft (net als het wassen van een biljet), is het teken weg. Bovendien kunnen criminelen (studenten) gewoon een andere AI gebruiken die geen watermerk heeft.

• De 'Schrijfpols' (Writing Process):
  Dit is misschien wel de slimste methode. Als je echt schrijft, typ je, pauzeer je, denk je na, en wis je soms. Je hebt een 'schrijfpols' (keystroke dynamics).

  • Vergelijking: Als iemand een AI-essay kopieert en plakt, is dat als een auto die plotseling op de snelweg verschijnt zonder te versnellen. Er is geen 'versnelling' of 'remmen' te zien. Als je kijkt naar de tijdsregistratie van het typen, zie je of iemand echt aan het werk was of gewoon een stukje tekst heeft overgenomen.

• De 'Vergelijkings-Check' (Similarity Matching):
  Als je weet welke vragen er op een examen komen, kun je zelf duizenden AI-essays laten maken over diezelfde vragen. Vervolgens vergelijk je het in te leveren essay met die database. Als er te veel overeenkomsten zijn, is het verdacht.

  • Beperking: Dit werkt alleen als de vragen bekend zijn (zoals bij een officieel examen). Bij een vrij huiswerkopdracht werkt dit niet.

3. De uitdaging: De AI verandert te snel

De auteurs hebben gekeken of een detector die is getraind op een oude AI (bijv. GPT-4) ook werkt op een nieuwe AI (bijv. GPT-5).

• Het resultaat: Het werkt soms goed, maar vaak niet.
• De vergelijking: Stel je voor dat je een hondentrainer bent die is opgeleid om 'Labradors' te herkennen. Als je nu een 'Golden Retriever' ziet, kun je het misschien nog wel raden. Maar als er een heel nieuw ras van hond wordt gefokt (een nieuwe AI-versie), ziet die er misschien zo anders uit dat je trainer het niet meer herkent.
• De oplossing: Je moet je detector trainen op alle soorten honden (alle AI-modellen) tegelijk, niet alleen op één type.

4. Verantwoord gebruik: Geen paniek, maar voorzichtigheid

De auteurs waarschuwen: Geen enkele detector is perfect.

• Valse alarmen: Soms zegt de detector dat een mens een AI is. Dit kan gebeuren bij mensen die Engels als tweede taal spreken, of bij mensen die een heel specifieke schrijfstijl hebben.
• De 'Gereedschapskist'-benadering: Je mag niet alleen op de detector vertrouwen. Het is als een politieonderzoek: je hebt meer bewijs nodig.
  • Kijk naar de schrijfpols (typgedrag).
  • Kijk of het essay past bij wat de student eerder heeft geschreven.
  • Gebruik de detector als een hint, niet als een vonnis.

De belangrijkste les:
We moeten AI-detectoren niet verbieden (zoals we auto's niet verbieden omdat er ongelukken gebeuren), maar we moeten ze verantwoord gebruiken. Scholen moeten duidelijke regels maken, studenten uitleggen wat er gebeurt, en altijd meerdere bewijzen verzamelen voordat ze iemand beschuldigen van bedrog.

Conclusie

De strijd tussen AI en detectoren is een eindeloze dans. De AI wordt steeds slimmer, en de detectoren moeten mee evolueren. De boodschap is: gebruik de technologie, maar laat de menselijke oordeelsvorming de leiding houden. Een computer kan een vermoeden hebben, maar een mens moet het oordeel vellen.

Technische samenvatting

Probleemstelling

De snelle ontwikkeling van Large Language Models (LLMs) heeft de integriteit van schrijftests ondermijnd. Moderne LLMs kunnen coherente, hoogwaardige essays genereren met minimale menselijke inspanning. Dit vormt een bedreiging voor de validiteit van beoordelingen, aangezien het moeilijk is om onderscheid te maken tussen origineel menselijk werk en AI-gegenereerde inhoud.

Bestaande detectiemethoden, zoals plagiaatsoftware (die zoekt naar tekstoverlappingen) of openbare AI-detectoren (zoals GPTZero), hebben beperkingen:

1. Plagiaatsoftware faalt omdat AI-essays vaak originele composities zijn zonder directe bronnen in databases.
2. Openbare detectoren presteren onbetrouwbaar in open omgevingen, vertonen hoge rates van vals-positieven (menselijk werk wordt als AI gemarkeerd) en vals-negatieven, en tonen vaak bias tegen niet-moedertaalsprekers.
3. Generaliseerbaarheid: Detectors getraind op één specifiek LLM-model presteren vaak slecht op essays gegenereerd door andere of nieuwere modellen.

Het artikel richt zich specifiek op gestandaardiseerde schrijftests (zoals de GRE), waar de context gecontroleerd is (vaste prompts, proctoring), wat de detectie meer haalbaar maakt dan in open omgevingen.

Methodologie

De auteurs hebben een empirische studie uitgevoerd om de generaliseerbaarheid van detectors tussen verschillende LLM's te evalueren.

1. Dataverzameling:

   • Prompts: Twee publieke GRE-schrijfprompts werden gebruikt.
   • AI-data: Voor elk van de volgende modellen werden 200 essays gegenereerd (100 per prompt): GPT-4, GPT-4o, GPT-o1, GPT-o3-mini, GPT-o4-mini en GPT-5.
   • Menselijke data: 200 menselijk geschreven essays (100 per prompt) werden verzameld.
   • Splitsing: Voor elk model werd een trainingsset samengesteld (100 AI-essays + 100 menselijke essays) en een universele testset (100 menselijke essays + 100 AI-essays van dat specifieke model).

2. Feature Extractie:

   • De studie focust op perplexity-gebaseerde kenmerken. Perplexity meet hoe waarschijnlijk een woordenserie is onder een bepaald taalmodel.
   • Omdat de nieuwste modellen geen directe perplexity-berekening toestaan, werd GPT-2 gebruikt als referentiemodel om de perplexity voor alle essays te berekenen.
   • Geëxtraheerde features omvatten: algehele essay-perplexity, en statistieken van de zinsniveau-perplexity (gemiddelde, mediaan, minimum, maximum, percentielen 10-90).

3. Model Training en Evaluatie:

   • Er werden Gradient Boosting Machines (GBM) getraind om menselijk van AI-geschreven tekst te onderscheiden.
   • Er werden twee soorten detectors getest:
     • Model-specifieke detectors: Getraind op data van één specifiek LLM.
     • Universele detector ("GPT-all"): Getraind op gecombineerde data van alle LLM's.
   • Meting: De prestaties werden gemeten met de Area Under the ROC Curve (AUC). Een AUC van 1 is perfect, 0.5 is willekeurig.

4. Overige methoden besproken:

   • Supervised Learning: Feature-based vs. end-to-end fine-tuning (bijv. RoBERTa).
   • Watermarking: Statistische handtekeningen toevoegen tijdens generatie (beperkt bruikbaar door kwetsbaarheid en vereiste samenwerking van ontwikkelaars).
   • Schrijfproces-data: Gebruik van toetsaanslagdynamiek (keystroke dynamics) en revisiegeschiedenis in proctored omgevingen.

Belangrijkste Resultaten

De analyse van de cross-model AUC-waarden (weergegeven in Figuur 2 van het artikel) levert de volgende inzichten op:

1. Sterke binnen-model prestatie: Detectors presteren uitstekend wanneer ze worden getest op essays van hetzelfde model waarop ze zijn getraind (diagonaal in de heatmap). Dit bevestigt dat elke LLM unieke generatieve patronen heeft die detecteerbaar zijn.
2. Groepsgeneraliseerbaarheid: Er is een sterke wederzijdse generaliseerbaarheid binnen een cluster van modellen: GPT-4, GPT-4o, GPT-4o-mini, GPT-o1 en GPT-o3-mini. Detectors getraind op een van deze modellen presteren goed (AUC > 0.8, vaak > 0.9) op de andere modellen in deze groep. Dit suggereert dat ze vergelijkbare statistische regulariteiten delen.
3. Afwijkende clusters: De modellen GPT-o4-mini en GPT-5 vormen een apart cluster. Ze generaliseren goed naar elkaar, maar presteren slecht in combinatie met de eerdere GPT-4/4o-serie. Detectors getraind op de oudere modellen kunnen deze nieuwe modellen nauwelijks detecteren.
4. Universele oplossing: De detector "GPT-all", getraind op gecombineerde data van alle modellen, presteert zeer goed bij het detecteren van essays van elk van de geteste modellen. Dit onderstreept dat training op diverse data essentieel is voor robuustheid.
5. Beperkingen: De prestatie daalt aanzienlijk bij korte teksten en bij hybride teksten (menselijke bewerkingen op AI-tekst), waar de grenzen vervaagd zijn.

Bijdragen en Conclusies

Het artikel biedt de volgende technische en praktische bijdragen:

• Empirisch bewijs voor generaliseerbaarheid: Het toont aan dat detectie geen "one-size-fits-all" oplossing is. De prestatie hangt sterk af van de overeenkomst tussen het trainingsmodel en het testmodel.
• Advies voor training: Om toekomstige LLM's te detecteren, moeten detectors worden getraind op een diverse set van AI-generaties (zoals de "GPT-all" aanpak), in plaats van zich te baseren op één specifiek model.
• Rol van procesdata: In proctored omgevingen is het combineren van tekstanalyse met schrijfprocesdata (toetsaanslagen, tijdsbesteding) een cruciale aanvulling om AI-gebruik (zoals copy-paste) te detecteren.
• Verantwoord gebruik: De auteurs benadrukken dat geen enkele detector perfect is. Gebruik in hoge-stakes situaties vereist voorzichtigheid vanwege risico's op vals-positieven en bias. Detectie moet nooit het enige bewijs zijn voor sancties; het moet worden ondersteund door context (zoals procesdata) en institutionele richtlijnen.

Significantie

De studie is van groot belang voor onderwijsinstellingen en testorganisaties (zoals ETS) die te maken krijgen met de opkomst van generatieve AI. Het weerlegt het idee dat een enkele detector alle AI-tekst kan opsporen en toont aan dat de "AI-detectie" een voortdurende strijd is die adaptieve strategieën vereist.

De kernboodschap is dat verantwoord gebruik centraal moet staan:

• Geen verbod op detectie, maar implementatie van veiligheidsmaatregelen en transparantie.
• Combinatie van tekst- en procesanalyse.
• Bewuste interpretatie van resultaten, rekening houdend met de beperkingen van het model en de context van de schrijver.

De resultaten suggereren dat voor een robuust systeem in de toekomst training op een breed scala aan LLM-uitvoer en het integreren van niet-tekstuele data (zoals toetsaanslagpatronen) onmisbaar zijn.