💬 NLP

'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions

Dit artikel behandelt het gebrek aan consensus over schadelijk gebruik van AI-teksten door AITDNA te introduceren, een nieuwe benchmark van door mens en machine mede-geconstrueerde teksten met gedetailleerde interactiegeschiedenissen, om aan te tonen dat huidige detectoren vaak falen als brede oplossingen en alleen goed presteren voor specifieke definities van door AI gegenereerde inhoud.

Oorspronkelijke auteurs: Nils Dycke, Marina Sakharova, Nico Daheim, Iryna Gurevych

Gepubliceerd 2026-06-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nils Dycke, Marina Sakharova, Nico Daheim, Iryna Gurevych

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die een stapel essays aan het nakijken is. Je vermoedt dat sommige studenten een "magische schrijfrobot" (AI) hebben gebruikt om te helpen, maar je weet niet hoe ze dat hebben gedaan. Heeft de robot de hele tekst geschreven? Heeft hij slechts een paar zinnen verbeterd? Heeft de student de robot gevraagd om een specifieke paragraaf over een onderwerp te schrijven waarover ze eigenlijk niet mochten praten?

Dit artikel betoogt dat iedereen op dit moment een ander spel speelt met andere regels, en dat dit de reden is waarom de huidige "AI-detectoren" vaak verward en onbetrouwbaar zijn.

Hier is de uitsplitsing van de hoofdpunten van het artikel, gebruikmakend van eenvoudige analogieën:

1. Het Probleem: Iedereen gebruikt een andere kaart

De auteurs zeggen dat onderzoekers die AI-detectoren bouwen allemaal proberen hetzelfde probleem op te lossen, maar dat ze "het probleem" op totaal verschillende manieren definiëren.

De "Alles-of-Niets"-kaart: Sommige onderzoekers denken dat een tekst "AI" is als een robot het gehele essay van begin tot eind heeft geschreven.
De "Zin-voor-Zin"-kaart: Anderen denken dat een tekst "AI" is als elke willekeurige zin door een robot is geschreven.
De "Polijst"-kaart: Sommigen vinden het pas valsspelen als de robot de ideeën heeft geschreven, zelfs als een mens de woorden heeft geschreven.

De Analogie: Stel je voor dat je een specifiek type vis in een meer probeert te vinden. Eén groep vissers is op zoek naar elke vis. Een andere groep zoekt alleen naar blauwe vissen. Een derde groep zoekt alleen naar vissen die met een net zijn gevangen. Als ze allemaal terugmelden: "We hebben vissen gevonden!", maar ze gebruiken verschillende definities, dan komen hun rapporten niet overeen. Het artikel zegt dat we eerst moeten afspreken wat een "vis" (of "AI-tekst") precies is voordat we hem kunnen vangen.

2. Het Nieuwe Instrument: Een "Black Box" Schrijflab

Om deze verwarring op te lossen, hebben de onderzoekers een nieuwe dataset ontwikkeld genaamd AITDNA.

De Oude Manier: De meeste eerdere datasets waren als "nepnieuws". Onderzoekers namen een menselijk essay en lieten een robot het herschrijven, of namen een robot-essay en vroegen een mens om het te verbeteren. Dit was een geënsceneerd, kunstmatig scenario.
De Nieuwe Manier (AITDNA): De onderzoekers richtten een echte "schrijflab" in. Ze huurden 99 mensen in die essays schreven terwijl ze naast een robot zaten. Ze legden alles vast: elke keer dat de mens typte, elke keer dat ze de robot om hulp vroegen, elke keer dat ze een suggestie van de robot verwijderden, en elke prompt die ze typten.

De Analogie: Eerdere datasets waren als het kijken naar een film waarin acteurs doen alsoं ze een maaltijd koken. Je weet dat het nep is omdat ze niet echt groenten aan het snijden zijn. De nieuwe dataset is als het plaatsen van een camera in een echte keuken en het observeren van een chef en een sous-chef die echt samen koken, waarbij elke snede, elke roerbeweging en elke smaaktest wordt opgenomen. Dit geeft een waar beeld van hoe mensen en AI daadwerkelijk samenwerken.

3. De Ontdekking: Detectoren zijn "Specialisten", geen "Generalisten"

De onderzoekers testten diverse AI-detectoren op hun nieuwe, realistische data. Ze kwamen tot een verrassende waarheid: er bestaat geen enkele "superdetector" die voor alles werkt.

De "Grote Plaat"-detector: Sommige detectoren zijn erg goed in het opsporen van of een heel essay door een robot is geschreven. Ze zijn als een beveiliger die kan zien of een heel gebouw leeg of vol is.
De "Micro"-detector: Andere detectoren zijn beter in het vinden van slechts één zin die door een robot is geschreven. Ze zijn als een detective die op zoek is naar één enkele vingerafdruk.
Het Falen: Wanneer je een "Grote Plaat"-detector vraagt om een enkele zin te vinden, faalt hij. Wanneer je een "Micro"-detector vraagt om een heel essay te beoordelen, raakt hij in de war.

De Analogie: Het is als het proberen te gebruiken van een telescoop om een straatnaambord te lezen. De telescoop is geweldig om verre sterren te zien (het detecteren van hele AI-essays), maar is verschrikkelijk in het lezen van de kleine tekst op een bord (het detecteren van een enkele AI-zin). Het artikel vond dat detectoren meestal erg goed zijn in de specifieke taak waarvoor ze getraind zijn, maar slecht in elke andere taak.

4. De Nieuwe Regels: "Inhoud" en "Intentie"

Het artikel suggereert ook dat we nieuwe manieren moeten vinden om "AI-tekst" te definiëren die overeenkomen met de echte wereld.

Huidige Regel: "Als een robot er maar aan heeft gezeten, is het AI."
Voorgestelde Nieuwe Regels:
- Inhoud-gebaseerd: "Het is alleen AI als de robot de ideeën heeft geschreven (zoals een literatuuronderzoek), zelfs als een mens de woorden heeft geschriminischt."
- Intentie-gebaseerd: "Het is alleen AI als de robot werd gevraagd om iets verbodens te schrijven (zoals spieken bij een toets), zelfs als het slechts het polijsten van een zin was."

De Analogie: Stel je een schoolregel voor: "Je mag geen rekenmachine gebruiken."

Oude Definitie: Als je een rekenmachine gebruikte voor enige wiskunde, zak je.
Nieuwe Definitie: Als je een rekenmachine gebruikte om het probleem op te lossen, ben je gezakt. Maar als je een rekenmachine gebruikte om alleen even je optelling te controleren, is dat prima. Het artikel stelt dat we detectoren nodig hebben die de intentie (het "waarom") en de inhoud (het "wat") begrijpen, niet alleen de "wie".

5. De Conclusie: Stop met Gissen, Begin met Specificeren

De belangrijkste les is dat we verschillende AI-detectoren niet kunnen vergelijken tenzij we de regels van het spel overeenkomen.

Als je een student wilt betrappen die een robot heeft laten een heel essay schrijven, gebruik dan een "Document-niveau" detector.
Als je een student wilt betrappen die een robot heeft gebruikt om een specifieke paragraaf te schrijven, gebruik dan een "Zin-niveau" detector.
Als je een student wilt betrappen die een robot heeft gebruikt om een verboden onderwerp te schrijven, gebruik dan een "Inhoud-gebaseerde" detector.

De Laatste Metafoor: Het artikel is als een monteur die tegen je zegt: "Je kunt geen hamer gebruiken om een schroef vast te draaien, en je kunt geen schroevendraaier gebruiken om een spijker te slaan. Stop met klagen dat je gereedschap niet werkt; je moet gewoon het juiste gereedschap kiezen voor de specifieke taak die je probeert te doen."

De onderzoekers hebben hun nieuwe "echte wereld" data en hun lijst met definities vrijgegeven, zodat iedereen eindelijk dezelfde taal kan spreken en betere, eerlijkere tools kan bouwen.

Technische Samenvatting: 'Jouw AI-tekst is niet de mijne': Herdefiniëring en Evaluatie van AI-gegenereerde Tekstdetectie onder Realistische Aannames

Probleemstelling

Hoewel detectie van AI-gegenereerde tekst (AITD) breed wordt erkend als een cruciale technologie voor het beperken van maatschappelijke risico's — zoals een verzwakte kwaliteitscontrole in de wetenschap, academische oneerlijkheid en desinformatiecampagnes — bestaat er geen consensus in de literatuur over wat een "schadelijk" AI-gebruik precies inhoudt. Bestaande datasets en evaluatiebenaderingen leunen vaak op impliciete, simplistische aannames die niet overeenkomen met de real-world patronen van mens-AI co-creatie. Specifiek behandelen huidige benchmarks teksten vaak als geheel menselijk of geheel AI-gegenereerd (en-bloc), of ze gaan uit van vaste grenzen tussen menselijke en AI-passages. Deze synthetische constructies slagen er niet in de genuanceerde, iteratieve aard van mens-AI-samenwerking te vangen, waarbij auteurs en Large Language Models (LLM's) interageren via prompts, revisies en voortzettingen. Gevolgelijk zijn bestaande concepties van AITD vaak ondergespecificeerd, wat ertoe leidt dat bevindingen over verschillende datasets heen incompatibel zijn en de ontwikkeling van detectoren die generaliseren naar realistische gebruiksgevallen belemmert.

Methodologie

De auteurs pakken deze hiaten aan via een drieledige methodologie:

Conceptueel Kader: Het artikel stelt een gedeelde vocabulaire vast om AITD-concepten te definiëren langs drie dimensies:
- Normatieve Standaard: Maakt onderscheid tussen acceptabel en onacceptabel AI-gebruik (bijv. totaal verbod versus toegestane polijsting).
- Genesis-aannames: Beperkingen op hoe tekst wordt gecreëerd (bijv. en-bloc generatie versus gemengde segmenten).
- Attacker Model: De mate waarin genesis-aannames worden geschonden (bijv. het achteraf vervangen van tokens).
  Op basis hiervan categoriseren de auteurs bestaande concepten als Genesis-gebaseerd (documentniveau, grensniveau, zinniveau) en Populatie-gebaseerd (membership-gebaseerd). Ze stellen verder twee nieuwe concepten voor om praktische hiaten te dekken: Content-gebaseerde AITD (het signaleren van AI-zinnen die de contentbeleid schenden) en Authorship-ID-gebaseerde AITD (het signaleren van AI-tekst die niet overeenkomt met de specifieke stijl van een menselijke auteur).
Dataset Constructie (AITDNA): Om deze concepten te testen tegen realistische data, hebben de auteurs AITDNA verzameld, een nieuwe benchmark van 352 door mens-machine co-geconstrueerde teksten van 99 deelnemers.
- Verzameltraject: Deelnemers gebruikten een aangepaste interface gebaseerd op CARE om teksten co-te schrijven in vier condities: alleen mens, en drie co-creatie modi (Argumentatief, Creatief, Verklarend) met gebruik van diverse LLM's (waaronder Llama-4, Qwen2.5, DeepSeek-V3.2, GPT-5.2 en Gemini-3).
- Granulariteit: De interface legde gedetailleerde interactietrajecten vast, inclusief gebruikersprompts, LLM-responsen en specifieke bewerkingsgeschiedenissen (toevoegingen/verwijderingen). Dit maakt de precieze afleiding van "genesis" mogelijk (de oorsprong van elke token: Mens, AI, of Gemengd).
- Omvang: De dataset dekt meerdere genres en LLM-configuraties, wat resulteert in een gemiddelde van ~50% AI-tokens per tekst met 23,33 grenzen tussen menselijke en AI-spans, wat een hoge mate van vermenging weerspiegelt.
Evaluatieprotocol: De auteurs benchmarkten acht detectoren (zes open-source, twee propriëtair) over de nieuwe AITDNA-dataset en vijf bestaande datasets (CoAuthor, SenDetEx, BD, Mixset, DetectRL).
- Gecontroleerde Variabelen: Ze varieerden systematisch de notion-parameters, specifiek de drempelwaarde $\tau$ (de minimale ratio AI-tokens vereist om een segment als AI te labelen) en de segmentatie-granulariteit (document, grens, zin).
- Metrieken: Prestaties werden gemeten met behulp van AUROC, F1-score en False Positive Rate (FPR).

Belangrijkste Bijdragen

C#1: AITD Notion Framework: De auteurs leiden een formeel kader af voor het specificeren van AITD-problemen, identificeren vijf veelvoorkomende concepten en introduceren twee nieuwe (content-gebaseerd en authorship-ID-gebaseerd) om beter aan te sluiten bij real-world beleid.
C#2: De AITNA Dataset: Ze publiceren AITDNA, de eerste dataset die gedetailleerde mens-AI interactiegeschiedenissen (prompts, bewerkingen en genesis) vastlegt in een realistische co-writing setting, dienend als een notion-agnostisch referentiepunt.
C#3: Empirische Analyse van Aannames: De studie demonstreert systematisch dat bestaande datasets onrealistische aannames bevatten (bijv. lage mengverhoudingen, en-bloc generatie) die de natuurlijke co-creatie niet weerspiegelen. Ze tonen aan dat de prestaties van detectoren zeer gevoelig zijn voor de onderliggende notion en de bijbehorende parameters.

Resultaten

Misalignment van Bestaande Data: Analyse laat zien dat synthetische datasets (zoals DetectRL en Mixset) vaak "en-bloc" generatie veronderstellen waarbij de AI hele documenten herschrijft, wat resulteert in een laag aantal grenzen en een hoge AI-token ratio (~~65%). In contrast hiermee toont AITDNA een meer gebalanceerde mix (~~51% AI-tokens) met aanzienlijk hogere aantallen grenzen (23,33), wat aangeeft dat synthetische data de fijnmazige vermenging van echte co-writing niet goed modelleert.
Notion Moeilijkheidsgraad: Detectieprestaties variëren aanzienlijk per notion. Document-level AITD levert de hoogste prestaties op, terwijl fijnmazigere notions (zin-niveau, intent-gebaseerd, content-gebaseerd) aanzienlijk moeilijker zijn. Commerciële detectoren (GPTZero, Pangram) presteerden slecht op content/intent-gebaseerde taken, wat suggereert dat ze overfitten op oppervlakkige kenmerken in plaats van semantische inhoud of prompt-intentie.
Parametergevoeligheid: De keuze van de drempelparameter $\tau$ verandert de evaluatie-uitkomsten drastisch. Zo leidt het instellen van $\tau = 0.5$ (meerderheid AI) versus $\tau = 0.1$ (elke AI) tot F1-score variaties van wel 0,8 over verschillende datasets. Dit geeft aan dat zonder expliciete, consistente parameterspecificatie, vergelijkingen tussen datasets ongeldig zijn.
Geen Universele Detector: Geen enkele detector presteert consistent beter dan anderen over alle datasets en notions heen. Prestatierangschikkingen verschuiven afhankelijk van de onderliggende aannames van de dataset en de specifieke getest notion. Zo blonk moBERT uit op DetectRL (waarschijnlijk door overlap in trainingsdata) maar niet op AITDNA.

Betekenis en Claims

Het artikel betoogt dat het veld van AITD voorbij moet gaan aan synthetische, notion-agnostische benchmarks die de complexiteit van mens-AI samenwerking verhullen. De auteurs claimen dat:

Standaardisatie is Cruciaal: Evaluatieresultaten zijn alleen vergelijkbaar als de onderliggende notions (segmentatie, normatieve standaarden en parameters zoals $\tau$ ) expliciet gedefieerd en uitgelijnd zijn.
Realisme Zaken Doet: Detectoren die getraind of geëvalueerd zijn op synthetische, laag-gemengde datasets, kunnen falen in real-world scenario's waar menselijke en AI-tekst diep in elkaar verweven zijn.
Beleid-Alignment: Toekomstige detectoren moeten ontworpen worden om genuanceerd beleid te ondersteunen (bijv. het onderscheiden van toegestane polijsting versus verboden volledige generatie) in plaats van binaire "mens versus AI" labels.

De auteurs concluderen dat hoewel betrouwbare detectie haalbaar blijft, het huidige gebrek aan gestandaardiseerde definities en realistische data de vooruitgang belemmert. Ze pleiten voor toekomstig werk dat zich richt op robuuste detectoren die expliciet rekening houden met deze diverse aannames en op het verzamelen van specifieke datasets voor minder verkende notions zoals authorship identification.