💬 NLP

PersonalBench: Measuring the Authorship Gap in LLM Personalization

Het artikel introduceert PersonalBench, een benchmark die aantoont dat hoewel huidige personalisatiemethoden tijdens de inferentie fase de output van LLM's kunnen moduleren om auteursverschillen aan te brengen, zij er niet in slagen de aanzienlijke kloof naar authentiek menselijk auteurschap te overbruggen, waarbij gegenereerde tekst afstandelijker blijft van menselijke stijlen dan mensen onderling van elkaar.

Oorspronkelijke auteurs: Yash Ganpat Sawant

Gepubliceerd 2026-08-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yash Ganpat Sawant

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin een computer een brief kan schrijven die precies klinkt als die van je grootmoeder, of een nieuwsartikel dat niet te onderscheiden is van het werk van een specifieke journalist. Dit is de belofte van gepersonaliseerde kunstmatige intelligentie: een machine leren om de unieke stem, het ritme en de gewoonten van een echt mens aan te nemen. Jarenlang hebben onderzoekers geprobeerd dit te bereiken door de computer voorbeelden van iemands schrijfstijl te laten zien en de machine te vragen die stijl na te bootsen. Het doel is om de output van de machine minder als een generieke robot en meer als een specifiek individu te laten voelen. Maar een cruciale vraag bleef onbeantwoord: klinkt de computer werkelijk als die persoon, of doet hij alleen maar alsof?

Om dit te beantwoorden, creëerde een onderzoeker een nieuwe manier om deze systemen te testen, waarbij zij verder ging dan eenvoudige controles of de tekst grammaticaal correct is of instructies opvolgt. De focus lag op de diepere, bijna onzichtbare vingerafdruk van menselijk schrijven—de subtiele patronen in woordkeuze, zinslengte en interpunctie die de stem van de één onderscheidt van die van een ander. Hun onderzoek onthult een verrassende waarheid over de huidige staat van kunstmatige intelligentie: hoewel deze systemen er een klein beetje in kunnen worden gestuurd om van elkaar te verschillen, kunnen ze niet werkelijk de onzichtbare lijn oversteken om te klinken als een echte menselijke auteur.

De onderzoeker bouwde een testomgeving genaamd PERSONALBENCH, ontworpen om te meten of een kunstmatige intelligentie werkelijk de schrijfstijl van een mens kan overnemen. Ze verzamelden schrijfmonsters van vijftig verschillende mensen, variërend van persoonlijke blogberichten tot opiniestukken, en vroegen de AI om nieuwe tekst te genereren in de stijl van elk van hen. Ze testten vier verschillende methoden om te zien welke het beste zou werken. De ene methode toonde de AI simpelweg vijf voorbeelden van het werk van de persoon. Een andere vroeg de AI om eerst een schriftelijke samenvatting van de stijl van de persoon te maken, om die samenvatting vervolgens te gebruiken om te schrijven. Een derde methode gaf de AI specifieke datapunten over de schrijfgewoonten van de persoon, zoals de gemiddelde zinslengte. De vierde methode gaf de AI helemaal geen persoonlijke informatie, dienend als een controlegroep om te zien hoe de machine op zichzelf klinkt.

Om de resultaten te beoordelen, gebruikte de onderzoeker drie verschillende instrumenten. Het belangrijkste was een gespecialiseerd computerprogramma dat getraind is op miljoens online berichten om auteurschap te herkennen. Dit hulpmiddel werkt als een forensisch expert die de tekst analyseert om te bepalen of twee stukken tekst waarschijnlijk van dezelfde persoon afkomstig zijn. Ze gebruikten ook een ander groot taalmodel om als rechter op te treden, waarbij werd gevraagd of specifieke stijlkenmerken aanwezig waren. Ten slotte gebruikten ze traditionele telmethoden om te kijken hoe vaak bepaalde veelvoorkomende woorden en leestekens voorkwamen.

De resultaten waren duidelijk en consistent over alle methoden heen. Wanneer de onderzoeker de forensische tool vroeg om de gegenereerde tekst van de AI te vergelijken met de werkelijke tekst van de auteur, waren de scores laag. De tekst van de AI was consequent afstandelijker tot de echte menselijke auteur dan twee willekeurige mensen van elkaar zijn. Sterker nog, de eigen "vingerafdruk" van de AI was zo sterk dat deze de output domineerde. Zelfs wanneer de AI de best mogelijke instructies en voorbeelden kreeg om een specifiek persoon na te bootsen, klonk de resulterende tekst nog steeds meer als de machine zelf dan als de mens die het probeerde te imiteren. De kloof tussen de stem van de AI en de menselijke stem bleef groot en onoverbrugbaar.

Interessant genoeg vertelden de andere beoordelingstools een ander, misleidend verhaal. De AI die als rechter optrad, gaf hoge scores aan de methode die een schriftelijke stijlsamenvatting maakte, wat suggereerde dat dit de meest succesvolle methode was. De forensische tool toonde echter geen dergelijk voordeel. De onderzoeker herleidde deze discrepantie naar een fout in de werking van de rechter: de rechter zocht naar precies dezelfde stijlkenmerken die de methode was voorgeschreven om te bevatten, wat een circulaire lus creëerde waarbij de AI simpelweg instructies volgde in plaats van werkelijk van stem te veranderen. De forensische tool, die naar de diepere structuur van het schrijven keek, zag geen werkelijke verandering.

De studie bevestigt dat, hoewel de huidige kunstmatige intelligentie kan worden gestuurd om over verschillende onderwerpen te schrijven of verschillende tonen aan te slaan, zij niet fundamenteel haar onderliggende stem kan veranderen om overeen te komen met een specifieke mens. De stijl van de machine is diep ingebed in het ontwerp, en niet slechts een oppervlakkige laag die kan worden weggepeld met prompts. De onderzoeker stelde vast dat de AI onderscheid kon maken tussen verschillende doelauteurs bij het vergelijken van haar eigen outputs met elkaar, wat bewijst dat personalisatie wel degelijk enig effect heeft. Echter, dit effect vindt volledig plaats binnen de eigen stijlruimte van de machine. De tekst blijft gevangen in een "gegenereerde-tekstregime", dat verschilt van de natuurlijke variatie die tussen echte mensen bestaat.

Deze bevinding suggereert dat de droom van een AI die een menselijke schrijver perfect kan imiteren, via eenvoudige instructies nog niet binnen handbereik is. De kloof tussen menselijk en machinaal schrijven is reëel en meetbaar. Om deze werkelijk te dichten, suggereert de onderzoeker dat veranderingen moeten plaatsvinden tijdens de training van de machine, en niet alleen wanneer de machine wordt gevraagd om te schrijven. Voor nu dienen de ontwikkelde instrumenten als een nauwkeurige meetlat, die precies laat zien hoe ver de huidige technologie is gekomen en hoe ver zij nog moet gaan. De conclusie is niet dat personalisatie geheel faalt, maar dat het binnen strikte grenzen opereert, waardoor de ware stem van de machine intact blijft onder het oppervlak.

Technische Samenvatting: PERSONALBENCH – Het meten van de auteurschapskloof in LLM-personalisatie

Probleemstelling

Huidige benchmarks voor de personalisatie van Large Language Models (LLM's), zoals LaMP en PersonalLLM, evalueren primair taaknauwkeurigheid, inhoudelijke afstemming of de mate waarin geuite voorkeuren worden gevolgd. Ze adresseren echter een fundamentele vraag: veranderen huidige personalisatiemethoden tijdens de inferentie daadwerkelijk hoe een model schrijft, of alleen waarover het schrijft?

Bestaande evaluatiemetrieken vertrouwen vaak op oppervlakkige tekstgelijkenis of voorkeursafstemming, wat niet vastlegt of de gegenereerde tekst werkelijk lijkt op de unieke "auteurschap-vingerafdruk" van de doelauteur. Het artikel stelt dat zonder metrieken die geworteld zijn in de auteurschapswetenschap, het onmogelijk is om te bepalen of personalisatiemethoden erin slagen de kloof tussen LLM-gegenereerde tekst en menselijk auteurschap te overbruggen.

Methodologie: Het PERSONALBENCH-framework

De auteur introduceert PERSONALBENCH, een benchmark die ontworpen is om personalisatie tijdens de inferentie te evalueren via drie onafhankelijke, orthogonale lenzen. Het framework maakt gebruik van de Blog Authorship Corpus (50 auteurs, 1.000 generaties) en twee modelfamilies (Qwen 3 en GLM-4).

1. Experimentele Opzet

Data: 50 auteurs geselecteerd uit de Blog Authorship Corpus (681K posts), gefilterd op postvolume en lengte. De data is gesplitst in 80/20 (train/test).
Prompt Constructie: Om "stem-lekken" (voice leakage) te voorkomen, vermijdt de auteur het gebruik van ruwe tekstfragmenten als prompts. In plaats daarvan worden inhoudelijke samenvattingen gebruikt (neutrale beschrijvingen van het onderwerp) om te voorkomen dat het model simpelweg de formuleringen van de auteur kopieert.
Geëvalueerde Personalisatiemethoden:
1. Niet-gepersonaliseerd: Controlegroep met enkel inhoudelijke samenvattingen.
2. Few-Shot: 5 trainingsvoorbeelden + expliciete instructies om de stijl te evenaren.
3. Profielextractie: Een tweestaps-proces waarbij een LLM eerst een gestructureerd stijlprofiel extraheert (toon, vocabulaire, structuur) uit 10 samples, dat vervolgens wordt gebruikt voor de generatie zonder ruwe voorbeelden.
4. Contrastief met Kenmerken: Doel-samples + contrastieve voorbeelden van andere auteurs + berekende stilometrische kenmerken (zinlengte, functiewoorden).

2. Evaluatiemetrieken

De benchmark maakt gebruik van drie verschillende metrieken om de onbetrouwbaarheid van evaluatie met één enkele metriek te vermijden:

LUAR (Primaire Metriek): Een getraind neuraal auteurschap-verificatiemodel (Learning Universal Authorship Representations) dat gekalibreerde cosinus-gelijkenisscores tussen tekst-embeddings produceert. Het integreert syntaxis, woordkeuze en discourspatronen.
LLM-as-Judge (Secundaire Metriek): Een ontkoppelde binaire evaluatie bestaande uit:
- Kenmerkextractie: Het identificeren van 5 onderscheidende stijlkenmerken per auteur.
- Kenmerkscore: Controleren of de gegenereerde tekst deze kenmerken vertoont.
- Same-Author Oordeel: Een holistische beoordeling van de vraag: "Zou dit dezelfde persoon kunnen zijn?".
Geautomatiseerde Stilometrie (Tertiaire Metriek): Klassieke maten inclusief de distributie van functiewoorden, interpunctiepatronen en ROUGE-L overlap.

Belangrijkste Resultaten

1. De Mens–LLM Auteurschapskloof

De centrale bevinding is dat hoewel personalisatiemethoden een door de auteur gedifferentieerde output produceren, ze er niet in slagen de kloof naar menselijk auteurschap te overbruggen.

LUAR-scores: Alle methoden scoren tussen de 0,484 en 0,508 op LUAR-gelijkenis met de doelauteur.
De Vloer: De gelijkenis tussen verschillende menselijke auteurs (cross-author floor) is 0,626.
Het Plafond: De gelijkenis tussen posts van de zelfde menselijke auteur is 0,756.
Implicatie: De gepersonaliseerde LLM-output staat verder af van de doelmenselijke auteur dan willekeurige mensen van elkaar staan. De eigen auteurschapsvingerafdruk van de LLM domineert de output, waardoor deze in een afzonderlijk "gegenereerde-tekst-regime" blijft.

2. Interne Differentiatie versus Externe Getrouwheid

Interne Differentiatie: Binnen de set van gegenereerde teksten kan LUAR de doelauteurs met hoge nauwkeurigheid onderscheiden (AUC = 0,918). Dit bewijst dat personalisatie de stijlruimte van de LLM wel degelijk moduleert.
Externe Getrouwheid: Deze modulatie overschrijdt echter niet de drempel naar menselijk gebied. De gegenereerde tekst blijft gevangen in het stilistische regime van de LLM.

3. Discrepantie tussen Metrieken en Circulariteit

De studie laat zien dat verschillende metrieken fundamenteel andere constructen vastleggen (paarsgewijze correlaties nabij nul, $|r| < 0,07$ ).

De "Profielextractie" Anomalie: De methode Profielextractie lijkt te "winnen" op de LLM-as-Judge metriek (TMR = 0,542), waarmee het zelfs de tekst van de echte auteur overtreft (TMR = 0,427).
De Oorzaak: Dit wordt toegeschreven aan circulariteit. Zowel de methode (profielextractie) als de rechter (kenmerkextractie) vertrouwen op een LLM om stijlkenmerken te identificeren. De methode optimaliseert voor de specifieke kenmerken waar de rechter op geprogrammeerd is, in plaats van werkelijke stilistische transfer te bereiken. LUAR, een model dat getraind is op miljoenen posts, vertoont dit voordeel niet, wat de tekortkoming van de LLM-judge metriek voor deze specifieke taak blootlegt.

Betekenis en Claims

Het artikel claimt de eerste personalisatie-benchmark te bieden die geworteld is in de auteurschapswetenschap. De betekenis ligt in:

Herdefiniëren van Succes: Het toont aan dat huidige methoden tijdens de inferentie (few-shot, prompting) onvoldoende zijn voor ware auteurschapsoverdracht. Ze moduleren oppervlakkige kenmerken, maar kunnen de diepe generatieve distributie van het model niet veranderen om een menselijke auteur na te bootsen.
Gekalibreerde Meetlat: PERSONALBENCH stelt een "vloer" (0,626) en een "plafond" (0,756) vast voor auteurschap-gelijkenis, wat een rigoureus nulpunt biedt voor toekomstig onderzoek.
Methodologische Waarschuwing: Het benadrukt het gevaar van het vertrouwen op een enkele metriek (zoals LLM-as-judge) die door circulaire logica kan worden gemanipuleerd, en onderstreept de noodzaak van een multi-metriek evaluatie.
Toekomstige Richting: De auteur suggereert dat het dichten van de auteurschapskloof waarschijnlijk vereist dat er adaptatie tijdens de training plaatsvindt (bijv. LoRA fine-tuning, RL met stijlbeloningen) in plaats van conditionering tijdens de inferentie, aangezien het auteurschapssignaal van het model architecturaal ingebed lijkt te zijn.

Het artikel concludeert dat hoewel personalisatie een spoor achterlaat binnen de stijlruimte van de LLM, het momenteel niet in staat is om de LLM zo te laten schrijven dat deze niet meer te onderscheiden is van een specifieke menselijke auteur.