🤖 AI

Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

Dit artikel onderzoekt hoe goed de embeddings van Franse taalmodellen auteursstijlkenmerken vastleggen en behouden na herschrijving, en toont aan dat deze signalen blijven bestaan en modelspecifieke patronen vertonen, waardoor nieuwe wegen worden geopend voor het detecteren van auteursnavolging.

Oorspronkelijke auteurs: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Kan AI de "Ziel" van een Schrijver "Nabootsen"?

Stel je voor dat je een groep beroemde chefs hebt (zoals Proust, Céline en Yourcenar). Elk heeft een unieke manier van koken: de één gebruikt lange, complexe recepten met verfijnde ingrediënten; de ander kookt snel, luid en rommelig; de derde is precies en historisch.

Stel je nu een superslimme robotchef voor (een AI of een Groot Taalmodel) die probeert deze menselijke chefs na te bootsen. De robot krijgt de opdracht: "Kook dit specifieke gerecht (een busrit in Parijs), maar zorg dat het precies smaakt als Chef Proust."

De grote vraag die dit artikel stelt is: Als we een hap nemen van het eten van de robot, proeven we dan nog steeds de unieke "smaak" van de menselijke chef, of neemt de mechanische smaak van de robot het over?

In de wereld van computers wordt "smaak" gemeten met embeddings. Denk aan embeddings als een digitaal vingerafdruk of een GPS-coördinaat voor een stuk tekst. Elke zin krijgt een specifieke set cijfers die de computer vertelt waar het zich bevindt op een gigantische kaart van de taal.

Het Experiment: De "Busrit"-Test

De onderzoekers hebben een gecontroleerd experiment opgezet met Franse literatuur:

Het Basisrecept (Het Onderwerp): Ze begonnen met een boek van Stéphane Tufféry dat precies hetzelfde verhaal vertelt (een busrit in Parijs), maar dan geschreven in vele verschillende stijlen. Dit zorgt ervoor dat het verhaal hetzelfde blijft, zodat alle verschillen puur over de stijl gaan.
De Menselijke Chefs: Ze namen teksten van drie echte Franse auteurs:
- Proust: Bekend om lange, vloeiende, complexe zinnen.
- Céline: Bekend om korte, krachtige, spreektaal-achtige zinnen.
- Yourcenar: Bekend om gebalanceerde, historische en precieze schrijfstijl.
De Robot-Chefs: Ze vroegen drie verschillende AI-modellen (GPT, Mistral en Gemini) om het verhaal van de "Busrit" opnieuw te schrijven, waarbij ze probeerden de stijl van Proust, Céline en Yourcenar na te bootsen.

Hoe Ze de "Smaak" Meten

De onderzoekers vroegen niet zomaar mensen om de teksten te lezen. In plaats daarvan gebruikten ze een wiskundige kaart (genaamd UMAP) om te plotten waar al deze teksten terechtkwamen.

De Menselijke Kaart: Toen ze de echte menselijke auteurs plotten, vormden hun teksten duidelijke, gescheiden eilanden. De teksten van Proust zaten in één cluster, die van Céline in een ander, en die van Yourcenar in een derde.
De Robot-Kaart: Toen ze de door AI gegenereerde teksten plotten, wilden ze zien of de robots erin slaagden op dezelfde eilanden als de mensen te landen, of dat ze afdwaalden naar hun eigen "Robot-Zone".

Ze maten dispersie, wat vergelijkbaar is met het meten hoe verspreid een groep mensen in een kamer staat.

Als de AI de stijl succesvol nabootste, zouden de AI-teksten strak geclusterd moeten zijn rond de menselijke teksten (lage dispersie).
Als de AI faalde, zouden de AI-teksten verspreid raken weg van de mensen (hoge dispersie).

Wat Ze Vonden

1. De Robots Kunnen Nabootsen, Maar Niet Perfect
De studie vond dat de AI-modellen wel een deel van de stijlen van de menselijke auteurs wisten te vangen. De "Robot Proust"-teksten landden dichter bij "Echte Proust" dan bij "Echte Céline". Echter, de connectie was niet perfect. De AI-teksten waren als een licht onscherpe fotokopie van het origineel; de "vingerafdruk" was er wel, maar hij was vaag.

2. Verschillende Robots Hebben Verschillende "Handen"
Net zoals een menselijke chef misschien beter is in bakken dan in frituren, waren verschillende AI-modellen beter in het kopiëren van verschillende auteurs:

Mistral was het beste in het kopiëren van de complexe stijl van Proust.
GPT was verrassend goed in het vangen van de rommelige, spreektaal-achtige stijl van Céline.
Gemini deed het goed met de historische precisie van Yourcenar.

3. De "Smaak" Verandert Afhankelijk van Wie Je Vraagt
De onderzoekers merkten iets interessants op: de manier waarop ze de "smaak" maten, maakte uit.

Als ze keken naar oppervlakkige kenmerken (zoals hoeveel komma's of korte woorden werden gebruikt), leek één robot de beste kopie.
Als ze keken naar diepere structurele kenmerken (zoals de complexiteit van de zinsbouw), leek een ander robot de beste kopie.

Het is als het beoordelen van een schilderij: als je alleen naar de kleuren kijkt, wint één kunstenaar. Als je naar de penseelstreken kijkt, wint een andere kunstenaar. De AI-models behielden verschillende delen van de menselijke stijl, afhankelijk van welk deel van de "vingerafdruk" je controleerde.

De Conclusie

Het artikel concludeert dat AI-embeddings gevoelig zijn voor menselijke stijl, maar dat het signaal verzwakt en vervormd raakt na het herschrijven.

Denk eraan als een spelletje "Telefoon".

Ronde 1: Een mens fluistert een verhaal naar een ander mens. De boodschap blijft grotendeels hetzelfde, maar de stem verandert lichtjes.
Ronde 2: Een mens fluistert naar een robot, en de robot fluistert terug. De robot krijgt de kern van het verhaal, maar de unieke "stem" van de oorspronkelijke mens wordt verward.

De studie toont aan dat hoewel AI de uitstraling van een beroemde auteur kan nabootsen, de diepe wiskundige "ziel" van het schrijven van die auteur slechts gedeeltelijk behouden blijft. Dit betekent dat we in de toekomst misschien kunnen detecteren of een tekst door een mens of door een AI is geschreven, door te kijken hoe "onscherp" of "vervormd" deze stijlvvingerafdrukken zijn.

Belangrijke Opmerking: Het artikel beweert niet dat deze technologie klaar is om AI-schenders in real-time te betrappen of om in de rechtbank te worden gebruikt. Het is een voorlopige studie die aantoont dat het "stijlsignaal" bestaat, maar fragiel is. De auteurs suggereren dat dit slechts het begin is van het begrijpen hoe AI omgaat met menselijke creativiteit.

Technische Samenvatting: Meten van de Gevoeligheid van Embeddings voor Auteurlijke Stijl in het Frans

Probleemstelling
Hoewel Large Language Models (LLM's) menselijke schrijfstijlen overtuigend kunnen nabootsen, is het onduidelijk hoeveel stylistische informatie is gecodeerd in de embeddings van taalmodellen en hoe goed deze signalen behouden blijven na herschrijving door een LLM. Bestaande op embeddings gebaseerde analyses geven vaak de voorkeur aan semantische taken (bijv. onderwerpmodellering) boven stylistische kenmerken. Dit artikel onderzoekt of embeddings betrouwbaar auteurlijke stylistische kenmerken vastleggen in Franse literaire teksten en in welke mate deze signalen behouden blijven wanneer teksten door LLM's worden herschreven om specifieke auteurs na te bootsen.

Methodologie
Het onderzoek hanteert een gecontroleerd experimenteel ontwerp met een dataset van 1.248 Franse literaire teksten, verdeeld in drie componenten:

Referentiecorpus (door mensen geschreven):
- TUFFERY_REF: 96 teksten uit Le style mode d'emploi van Stéphane Tufféry, die allemaal één onderwerp delen (een busreis door Parijs) maar variëren in stijl (inclusief pastiches van grote auteurs).
- STYLE_REF: 288 teksten van drie verschillende auteurs – Proust (Du côté de chez Swann), Céline (Voyage au bout de la nuit) en Yourcenar (Mémoires d'Hadrien) – die diverse stijlprofielen vertegenwoordigen (respectievelijk structurele complexiteit, spreektaalregister en historische verankering).
Gegenereerd corpus (LLM-nabootsingen):
- STYLE_GEN: 864 teksten gegenereerd door drie LLM's (GPT-4o, Mistral-large-2411 en Gemini-1.5-flash) te instrueren om de TUFFERY_REF-teksten te herschrijven in de stijlen van de drie auteurs uit STYLE_REF. Dit creëert een dataset met een vast onderwerp en variabele stijl.
Vectorisatie en Analyse:
- Alle teksten werden gecodeerd met 13 verschillende embeddingmodellen (variërend van 384 tot 1536 dimensies), geselecteerd op architecturale diversiteit en prestaties op de Massive Text Embedding Benchmark (MTEB).
- Validatie van clustering: K-means clustering (k=3) en Uniform Manifold Approximation and Projection (UMAP) werden gebruikt om de scheidbaarheid van de drie corpusgroepen (TUFFERY, STYLE_REF, STYLE_GEN) in de embeddingruimte te beoordelen.
- Gevoeligheidsmetrieken: De kernanalyse meet embeddingsdispersie (Euclidische afstand tot klassencentroïden in de 2D-UMAP-ruimte) tegenover verschuivingen in stylistische kenmerken. Vijf families van stylistische kenmerken werden gevolgd: Structureel (woord-/zinlengte), Morfosyntaxis (POS-tags), Lexicon (Shannon-entropie, letterfrequenties) en Referentialiteit (dichtheid van Named Entity Recognition).
- Correlatieanalyse: Pearson-correlaties werden berekend tussen de verschuiving in embeddingsdispersie ( $\Delta d$ ) en de verschuiving in frequenties van stylistische kenmerken ( $\Delta f_s$ ) ten opzichte van de TUFFERY_REF-baseline. Dit werd uitgevoerd voor zowel door mensen geschreven teksten (STYLE_REF) als door LLM's gegenereerde nabootsingen (STYLE_GEN).

Belangrijkste Resultaten

Gevoeligheid van embeddings voor menselijke stijl: Embeddings leggen betrouwbaar auteurlijke stylistische kenmerken vast. Er werden significante, zij het matige tot zwakke, correlaties gevonden tussen verschuivingen in embeddingsdispersie en verschuivingen in stylistische kenmerken.
- Proust: Brede gevoeligheid voor Named Entities (NER), letters, structurele kenmerken en POS-tags.
- Céline: Geconcentreerde gevoeligheid voor letterfrequenties, NER en entropie.
- Yourcenar: Gedomineerd door gevoeligheid voor NER (referentiële dichtheid).
Behoud na herschrijving: Stylistische signalen blijven behouden na herschrijving door een LLM, maar ze worden verzwakt en opnieuw gewogen.
- Proust-nabootsingen: Behielden een breed profiel, maar met verminderde gevoeligheid voor structurele en letterkenmerken.
- Céline-nabootsingen: Toonden de hoogste stylistische trouw onder de gegenereerde klassen, waarbij de markeringen van het spreektaalregister (letters) behouden bleven terwijl referentialiteit werd overgewogen.
- Yourcenar-nabootsingen: Behielden NER-gebaseerde verankering, maar met partiële verdunning en een verschuiving naar letterfrequenties.
LLM-specifieke patronen: Verschillende LLM's behouden verschillende aspecten van auteurlijke stijl. Zo behield Mistral het brede profiel van Proust het beste, terwijl GPT een hogere trouw toonde aan de bepalende patronen van Céline en Yourcenar in vergelijking met andere modellen, ondanks dat GPT een lagere algehele "transfer-accuraatheid" had in een oppervlakkige classifier.
Divergentie van metrieken: Het onderzoek benadrukt een divergentie tussen oppervlakkige nauwkeurigheid van stijltransfer (gemeten aan de hand van karakter-n-grammen) en op embeddings gebaseerde stylistische trouw. Een model kan een lagere score behalen op oppervlakkige nauwkeurigheid, maar toch de diepe structurele of referentiële patronen die het embeddingprofiel van een auteur definiëren, beter behouden.

Betekenis en Beweringen
Het artikel beweert dat de analytische resultaten veelbelovende richtingen bieden voor detectie van auteurschap-nabootsing in het tijdperk van taalmodellen. Door te traceren hoe specifieke stylistische kenmerken worden behouden of gewijzigd door generatieve herschrijving, vult het onderzoek traditionele evaluaties van stijltransfer aan. Het suggereert dat afwijkingen van een menselijke baseline in de embeddingruimte, specifiek wat betreft patronen van stylistische transformatie, kunnen dienen als indicatoren voor op LLM gebaseerde nabootsing.

De auteurs blijven bescheiden over hun bevindingen, met de opmerking dat:

De geobserveerde correlaties significant zijn, maar matig van grootte.
Het onderzoek beperkt is tot Franse literaire teksten en een specifieke set auteurs; generalisatie naar andere talen of niet-literaire genres vereist verdere validatie.
De inventaris van stylistische kenmerken is op maat gemaakt voor de onderzochte auteurs en mogelijk niet exhaustief.
De afhankelijkheid van 2D-UMAP voor visualisatie vervormingen introduceert die verder onderzoek vereisen.

Uiteindelijk biedt het werk een kader voor het kwantificeren van de gevoeligheid van embeddingvectoren voor stijl en de mate waarin LLM's die gevoeligheid behouden of veranderen tijdens stijltransfer.