💬 NLP

Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

Dit artikel introduceert GhostWriteBench, een dataset voor het attribueren van auteurschap van door LLM's gegenereerde boeken, en TRACE, een interpreteerbare en lichtgewicht methode die state-of-the-art prestaties bereikt bij het detecteren van LLM-ghostwriters, zelfs in uitdagende out-of-distribution scenario's.

Oorspronkelijke auteurs: Anudeex Shetty, Qiongkai Xu, Olga Ohrimenko, Jey Han Lau

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Anudeex Shetty, Qiongkai Xu, Olga Ohrimenko, Jey Han Lau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat er een nieuwe soort "schrijver" is opgekomen: een kunstmatige intelligentie (AI). Deze AI kan boeken schrijven die zo goed klinken dat ze nauwelijks te onderscheiden zijn van die van een mens. Het probleem? Soms schrijven deze AI's boeken die eigenlijk nep zijn, om geld te verdienen of mensen te misleiden. De vraag is dan: wie heeft dit boek eigenlijk geschreven?

Deze paper introduceert twee belangrijke dingen om dat probleem op te lossen: een nieuwe speelveld (een dataset) en een nieuwe detectiemethode.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Speelveld: GHOSTWRITEBENCH (De "Proefkeuken")

Vroeger hadden onderzoekers alleen maar korte teksten om te testen (zoals een e-mail of een nieuwsbericht). Maar nu schrijven AI's hele boeken. Het is alsof je vroeger alleen maar kon testen of iemand goed kon rennen op een 100-meter sprint, maar nu moet je testen of ze een hele marathon kunnen lopen.

De auteurs hebben GHOSTWRITEBENCH gemaakt. Dit is een enorme verzameling van boeken (elk meer dan 50.000 woorden!) die zijn geschreven door de slimste AI's van dit moment.

De uitdaging: Ze hebben dit niet zomaar gedaan. Ze hebben het zo opgezet dat het een echte "stress-test" is. Stel je voor dat je een speler traint in de winter, maar je wilt testen of hij ook kan spelen in de hitte van de zomer. Dit dataset test of de detectie werkt op boeken die je nog nooit hebt gezien (andere genres, andere AI's).

2. De Oplossing: TRACE (De "Stijl-DNA-test")

Hoe ontdek je nu wie het boek heeft geschreven? De meeste oude methoden waren als een zware, dure machine die alleen werkte als je precies wist hoe de AI in elkaar zat (de "witte doos"). Maar veel AI's zijn gesloten systemen; je ziet niet hoe ze werken van binnen.

Daar komt TRACE om de hoek kijken.

De Analogie: Stel je voor dat elke schrijver een unieke loopstijl heeft. Sommige mensen zetten hun voeten heel specifiek neer, anderen huppelen een beetje. TRACE kijkt niet naar wat er geschreven staat (de inhoud), maar naar hoe de woorden op elkaar volgen.
Hoe werkt het? TRACE gebruikt een klein, simpel hulpmiddel (een andere AI) om te kijken naar de "stapjes" tussen de woorden.
- Bijvoorbeeld: Als een AI vaak eerst een zwaar woord kiest en dan een heel simpel woord, is dat een patroon. Een mens doet dat misschien anders.
- TRACE maakt van deze patronen een vingerafdruk (een soort kaartje met warmtekleuren, zie Figuur 1 in de paper). Het is alsof je een kaart maakt van de "loopstijl" van de schrijver.

3. Waarom is TRACE zo slim?

Het is lichtgewicht: Je hoeft geen supercomputer te gebruiken. Het is als een snelle handdruk in plaats van een volledige medische scan.
Het werkt voor iedereen: Of de AI nu openbaar is (je mag de code zien) of gesloten (je mag niet kijken), TRACE werkt voor allebei. Het kijkt alleen naar het eindresultaat: de tekst.
Het is slim bij weinig data: Soms heb je maar een paar boeken van een schrijver om te leren. TRACE kan daar al een goede vingerafdruk van maken, terwijl andere methoden vaak duizenden boeken nodig hebben.
Het herkent nieuwe schrijvers: Als er een nieuwe AI op de markt komt die niemand kent, kan TRACE vaak nog steeds zeggen: "Hé, deze tekst lijkt op een AI, niet op een mens," of zelfs: "Dit lijkt op een AI die we nog niet hebben gezien, maar die wel een vergelijkbare loopstijl heeft."

Samenvattend

De auteurs zeggen eigenlijk: "De wereld verandert. AI's schrijven nu hele boeken, en we moeten kunnen zien wie ze zijn."

Ze hebben een nieuwe testbaan gebouwd (GHOSTWRITEBENCH) met echte boeken, en ze hebben een nieuwe detector (TRACE) bedacht die werkt als een stijl-DNA-test. In plaats van te kijken naar de inhoud van het verhaal, kijkt het naar de onzichtbare "stapjes" die de schrijver maakt tussen de woorden. Dit maakt het mogelijk om nep-boekschrijvers op te sporen, zelfs als ze proberen zich te verstoppen of als we nog nooit van ze hebben gehoord.

Het is een belangrijke stap om de literatuur eerlijk te houden en te voorkomen dat mensen bedrogen worden met nep-boeken.

Probleemstelling

De opkomst van grote taalmodellen (LLMs) heeft geleid tot een nieuwe vorm van misbruik: het "ghostschrijven" van volledige boeken door AI. Deze boeken worden vaak gegenereerd om klanten te misleiden en legitieme auteurs te schaden. Bestaande methoden voor het detecteren van AI-gegenereerde tekst hebben echter ernstige beperkingen:

Beperkte scope: De meeste datasets en methoden richten zich op korte teksten of een binair onderscheid (mens vs. AI), in plaats van auteursattributie (welk specifiek model heeft de tekst geschreven).
Gebrek aan generalisatie: Bestaande benchmarks evalueren zelden generalisatie naar onbekende domeinen (OOD-Domain) of onbekende LLM-auteurs (OOD-Author).
Korte teksten: Er is weinig onderzoek gedaan naar lange teksten (boeken), terwijl ghostwriting voornamelijk in dit formaat voorkomt.
Afhankelijkheid van witte-kast toegang: Veel huidige methoden vereisen toegang tot de interne werking van het model, wat onmogelijk is voor gesloten bronmodellen.

Methodologie

De auteurs introduceren twee hoofdcomponenten om deze problemen aan te pakken: een nieuw dataset en een nieuwe detectiemethode.

1. GHOSTWRITEBENCH (Dataset)

Dit is een nieuw dataset specifiek ontworpen voor auteursattributie van lange teksten (boeken).

Omvang: Bevat meer dan 300 boeken (gemiddeld >50.000 woorden per boek) gegenereerd door 10 state-of-the-art LLMs (zoals GPT-4.1, GPT-5.1, Claude, Gemini, Qwen, etc.) en 100 menselijke boeken als referentie.
Generatiepijplijn: De boeken worden gegenereerd via een hiërarchisch proces (outline, samenvatting, expansie) om narratieve coherentie te waarborgen, gebruikmakend van Project Gutenberg-boeken als few-shot voorbeelden.
Out-of-Distribution (OOD) Evaluatie: Het dataset test generalisatie op twee niveaus:
- OOD-Domain: Testen op genres die niet in de trainingsdata zaten.
- OOD-Author: Testen op LLMs die tijdens het trainen niet zijn gezien (open-set scenario).
Kwaliteit: De gegenereerde boeken vertonen vergelijkbare tekstkwaliteit en diversiteit met menselijke boeken, wat detectie uitdagender maakt.

2. TRACE (Methodologie)

TRACE (Transition-based Representation for Authorship Classification and Evaluation) is een nieuwe, lichtgewicht en interpreteerbare vingerafdruk-methode.

Principe: In plaats van de tekst zelf te analyseren, analyseert TRACE de overgangen van token-niveaupatronen (zoals woordrang of entropie) zoals geschat door een apart, lichtgewicht "evaluator" taalmodel (in dit geval GPT-2).
Vingerafdruk Constructie:
- Voor elke tekst wordt een reeks scores berekend (bijv. de rang van een woord in de voorspellingsverdeling van het evaluator-model).
- De overgangen tussen deze scores (bijv. van rang $r_{i-1}$ naar $r_i$ ) worden gemodelleerd.
- Deze overgangen worden gecomprimeerd tot een tweedimensionale matrix (een heatmap) die de unieke schrijfstijl van een LLM vastlegt.
Varianten:
- Rank-based: Gebruikt de rang van tokens.
- Entropy-based: Gebruikt de entropie (onzekerheid) van tokens.
Auteursattributie: Tijdens inferentie wordt de vingerafdruk van de testtekst vergeleken met de referentievingerafdrukken van bekende LLMs (gebruikmakend van Jensen-Shannon-afstand of norm-mean vergelijking). De tekst wordt toegeschreven aan de LLM met de hoogste gelijkenis.
Voordelen: Werkt voor zowel open- als gesloten bronmodellen (geen witte-kast toegang nodig), vereist weinig trainingsdata en is robuust.

Kernresultaten

Experimenten op GHOSTWRITEBENCH tonen aan dat TRACE state-of-the-art prestaties levert:

Superieure Generalisatie: TRACE presteert aanzienlijk beter dan bestaande methoden (zoals N-GRAM, BERT-AA, DETECTIVE) in OOD-scenario's. Terwijl andere methoden sterk achteruitgaan bij onbekende domeinen of auteurs, behoudt TRACE zijn effectiviteit.
Kleine Data-scenario's: TRACE presteert uitstekend zelfs met zeer weinig trainingsdata (low-resource, slechts 3-5 boeken per model), terwijl andere methoden hierin falen.
Mens vs. AI: De op entropie gebaseerde variant van TRACE kan menselijke auteurs perfect onderscheiden van LLM-auteurs (perfecte prestaties in de geteste OOD-Author variant met menselijke auteurs).
Interpretatie: De gegenereerde vingerafdrukken (heatmaps) tonen duidelijke, unieke structurele patronen per LLM, wat de interpretatie van de resultaten mogelijk maakt.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

GHOSTWRITEBENCH: Het eerste uitgebreide benchmark voor auteursattributie van lange AI-gegenereerde teksten (boeken) met expliciete focus op generalisatie naar onbekende modellen en domeinen.
TRACE: Een nieuwe, interpreteerbare en model-onafhankelijke methode die de beperkingen van huidige "black-box" detectoren doorbreekt.
Praktische Toepasbaarheid: De methode biedt een haalbare oplossing voor het detecteren van AI-ghostwriting in de echte wereld, waar modellen vaak gesloten zijn en trainingsdata beperkt beschikbaar is.

Conclusie:
Dit paper markeert een belangrijke stap in de forensische analyse van AI-tekst. Door te verschuiven van korte, binaire detectie naar lange, multi-class attributie met een focus op generalisatie, biedt het een robuust kader om de toenemende stroom van AI-gegenereerde boeken te identificeren en hun oorsprong te traceren, zelfs wanneer de specifieke AI-modellen onbekend zijn.