When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era
Dit artikel introduceert AVShift, de eerste Duitse benchmark voor het systematisch evalueren van auteurschapverificatie onder distributieverschuivingen in genre, tijd en het AI-tijdperk, die onthult dat gefinetunede LLM's het beste generaliseren over genres, terwijl temporele drift de prestaties aanzienlijk verslechtert, hoewel er geen meetbare verschuiving in het AI-tijdperk werd gedetecteerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk mens laat een uniek spoor van gewoonten achter in de manier waarop zij schrijven. Net zoals een vingerafdruk een fysieke markering is die een lichaam identificeert, is het "idiolect" van een schrijver een verzameling linguïstische gewoonten — hoe zij interpunctie gebruiken, hoe lang hun zinnen zijn en welke woorden zij verkiezen — die hun geest identificeert. Decennialang hebben experts in de literatuur en de rechtspraak op deze patronen vertrouwd om mysteries op te lossen, van het betrappen van plagiaat tot het identificeren van de anonieme auteur van een dreigende brief. De kern van het idee is simpel: hoewel we onze woordenschat kunnen aanpassen afhankelijk van of we een liefdesbrief of een zakelijk rapport schrijven, blijft het diepe, onderliggende ritme van ons schrijven constant genoeg om herkend te worden.
Deze aanname staat echter voor een serieuze uitdaging in de moderne wereld. Schrijven gebeurt niet in een vacuüm; het verschuift afhankelijk van het genre, de tijdsperiode en de hulpmiddelen die we gebruiken. Iemand kan in de ochtend een kort, informeel forumbericht schrijven en in de avond een lang, gepolijst verhaal. Iemand kan vandaag anders schrijven dan twintig jaar geleden. Bovendien roept de recente explosie van kunstmatige intelligentie-tools die mensen helpen bij het schrijven een nieuwe vraag op: verandert het gebruik van een computer om een zin te helpen opstellen de unieke vingerafdruk van de schrijver genoeg om diens identiteit te verbergen? Om deze vragen te beantwoorden, hadden onderzoekers een manier nodig om te testen of deze digitale "vingerafdrukken" standhouden wanneer de context verandert.
Een team van onderzoekers aan de Technische Universiteit van Neurenchen heeft dit probleem aangepakt door een enorme nieuwe testset genaamd AVShift te creëren. In plaats van naar één enkel type tekst te kijken, verzamelden zij meer dan 150.000 paren teksten van een Duitse website gewijd aan fanfictie, recensies en forumdiscussies. Deze collectie bestrijkt een periode van eenentwintig jaar, van 2004 tot 2025, en legt vast hoe er geschreven werd vóór en na de publieke release van moderne AI-schrijfassistenten. De onderzoekers gebruikten deze data om te zien of computerprogramma's nog steeds correct konden identificeren dat twee verschillende teksten door dezelfde persoon waren geschreven, zelfs wanneer die teksten uit verschillende genres kwamen, jaren uit elkaar werden geschreven of werden gecreëerd tijdens het tijdperk van AI-ondersteuning.
Het team testte drie verschillende soorten computermethoden om dit puzzelstuk op te lossen. Het eerste type vertrouwde op handmatige regels, waarbij experts handmatig specifieke schrijfkenmerken selecteerden om door de computer te laten tellen. Het tweede type maakte gebruik van wiskundige modellen die leerden om tekst te comprimeren tot dichte digitale samenvattingen. Het derde en meest recente type maakte gebruik van grote taalmodellen, hetzelfde soort krachtige AI-systemen die essays en code kunnen schrijven, die specifiek getraind waren om de vraag te beantwoorden: "Heeft dezelfde persoon beide van deze teksten geschreven?"
De resultaten toonden aan dat het type schrijven een enorme rol speelt. Wanneer de computer teksten uit hetzelfde genre probeerde te koppelen, zoals twee forumberichten, presteerde het zeer goed. Echter, wanneer de taak vereiste om een forumbericht te koppelen aan een verhaal of een recensie, daalde de prestatie van de meeste methoden aanzienlijk. De meest succesvolle benadering was het grote taalmodel dat getraind was op een mix van alle drie de schrijfstijlen. Door de computer bloot te stellen aan een grote verscheidenheid aan schrijversstemmen tijdens de training, leerde het de oppervlakkige verschillen tussen genres te negeren en zich te concentreren op de diepere, consistente gewoonten van de auteur. Dit model behaalde een hoog succespercentage, zelfs bij het vergelijken van een verhaal met een forumbericht, wat bewees dat een diverse "trainingsdieet" het systeem veel robuuster maakt.
Tijd bleek echter een veel grotere hindernis te zijn dan genre. De onderzoekers ontdekten dat naarmate de tijdsperiode tussen twee teksten groter werd, het vermogen om de identiteit van de auteur te verifiëren gestaag afnam. Hoe langer de wachttijd tussen het moment waarop een persoon twee stukken schreef, hoe moeilijker het voor de computer werd om ze aan elkaar te koppelen. Deze afname was merkbaar na slechts één jaar, wat suggereert dat onze schrijfstijl geen statische vingerafdruk is, maar een levend ding dat continu evolueert. De daling in nauwkeurigheid was aanzienlijk genoeg dat voor situaties met hoge inzet, zoals juridische onderzoeken, het vergelijken van documenten die vele jaren uit elkaar zijn geschreven zonder speciale aanpassingen, waarschijnlijk tot fouten zou leiden.
Verrassend genoeg veroorzaakte de komst van kunstmatige intelligentie niet de verstoring waar velen vreesden. De onderzoekers keken nauwgezet naar teksten die geschreven waren vóór en na de brede adoptie van AI-schrijftools om te zien of het "AI-tijdperk" een nieuwe, verwarrende verdeling van schrijfstijlen creëerde. Zij vonden geen bewijs dat het gebruik van deze tools een systematische verschuiving veroorzaakte die verificatie onmogelijk maakte. Hoewel de prestaties varieerden tussen verschillende perioden, volgden de veranderingen geen patroon dat aan AI-ondersteuning kon worden toegeschreven. De variatie leek voort te komen uit andere factoren, zoals het specifieke onderwerp of de lengte van de tekst, in plaats van de loutere aanwezigheid van AI-tools.
De studie onderzocht ook de specifieke gewoonten die de stijl van een schrijver vormen. Zij ontdekten dat terwijl sommige kenmerken, zoals het gebruik van veelvoorkomende functiewoorden, stabiel bleven over verschillende genres heen, andere kenmerken drastisch veranderden afhankelijk van het type schrijven. Er was geen enkele set van "magische" kenmerken die voor elke situatie werkte; in plaats daarvan hing de meest betrouwbare indicatie af van welke genres er werden vergeleken. Dit suggereert dat om een werkelijk betrouwbaar systeem te bouwen, men moet begrijpen dat stijl flexibel is en dat de regels voor het identificeren van een auteur veranderen afhankelijk van de context.
Uiteindelijk laat dit werk zien dat hoewel schrijfstijlen vloeiend zijn en veranderen met tijd en genre, ze niet onmogelijk te volgen zijn. De sleutel tot succes ligt niet in het vinden van één onveranderlijke regel, maar in het trainen van systemen om de stem van de auteur te herkennen over een breed spectrum van omstandigheden. Door gebruik te maken van diverse trainingsdata en te erkennen dat tijd deze signalen erodeert, kunnen onderzoekers tools bouwen die veel betrouwbaarder zijn voor praktische toepassingen. De bevindingen bieden een duidelijk pad vooruit: om auteurschap te verifiëren in een complexe wereld, moeten we onze tools leren om verandering te verwachten, in plaats van ervan uit te gaan dat de schrijfstijl bevroren in de tijd blijft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.