💻 computer science

Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style

Deze studie stelt vast dat, hoewel het nabewerken van door LLM's gegenereerde concepten gebruikers helpt om wat van hun persoonlijke stijl te integreren, de resulterende tekst stilistisch dichter bij de oorspronkelijke modeloutput blijft dan bij ongestructureerd menselijk schrijven en een verminderde diversiteit vertoont, waardoor een kloof ontstaat tussen de waargenomen authenticiteit en de meetbare stilistische gelijkenis.

Oorspronkelijke auteurs: Connor Baumler, Calvin Bao, Huy Nghiem, Xinchen Yang, Marine Carpuat, Hal Daumé III

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Connor Baumler, Calvin Bao, Huy Nghiem, Xinchen Yang, Marine Carpuat, Hal Daumé III

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Kun Je AI-Schrijven "Humaniseren"?

Stel je voor dat je een zeer beleefde, goed gelezen robot vraagt om een huwelijksceremonie of een excuusbrief voor je te schrijven. De robot doet een uitstekend werk: de grammatica is perfect, de structuur is logisch en het zegt allemaal de juiste dingen. Maar het klinkt een beetje als een robot. Het mist je specifieke "stem" – je eigenaardigheden, je straattaal, je unieke manier van dingen verwoorden.

De onderzoekers vroegen zich af: Als je dat robot-draft neemt en zelf bewerkt, kun je het dan weer laten klinken als jij?

Ze vroegen niet alleen mensen wat ze dachten; ze voerden een studie uit met 81 personen om te zien of deze "na-bewerkings"-strategie echt werkt.

Het Experiment: Het "Robot-Draft" versus het "Menselijk Draft"

Stel je de studie voor als een kookwedstrijd met twee teams:

Het Controle-team (De "Van Nul Af" Chefs): Deze deelnemers kregen een lijst met ingrediënten (details over het verhaal) en moesten de hele brief of toespraak zelf schrijven, zonder hulp.
Het Behandelteam (De "Chef's Special" Redacteuren): Deze deelnemers kregen dezelfde lijst met ingrediënten, maar een chef-robot had eerst een volledige maaltijd klaargemaakt (een concept). De deelnemers moesten dan de maaltijd van de robot proeven en aanpassen – hun eigen kruiden toevoegen, de kruiding veranderen of de presentatie herschikken – om het te laten smaken als hun koken.

Wat Ze Vonden: De "Ongelooflijke Vallei" van Stijl

De onderzoekers gebruikten een speciaal computergereedschap (zoals een high-tech proever) om de teksten te analyseren. Hier is wat ze ontdekten:

1. Je kunt de stem van de robot verbeteren, maar je kunt hem niet volledig uitwissen.
Toen de deelnemers het robot-draft bewerkten, klonk de tekst meer als hen en minder als een robot. Het was een aanzienlijke verbetering.

De Analogie: Stel je voor dat de robot een nummer schreef in een perfecte, generieke popstijl. Toen je het bewerkte, voegde je je eigen gitaarriffs toe en veranderde je de teksten om ze persoonlijker te maken. Het klonk veel meer als jouw band. Maar als je goed luisterde, waren de onderliggende beat en de drummachine nog steeds van de robot. Je kon het "machine"-geluid niet volledig kwijtraken.

2. De "Robotgeur" is er nog steeds.
Zelfs nadat de mensen de tekst hadden bewerkt, toonde de computeranalyse aan dat de uiteindelijke versie nog meer rook naar het originele draft van de robot dan naar het "van nul af" schrijven van de mensen.

De Analogie: Het is als het schilderen over een muur. Je kunt een prachtige, unieke muurschildering schilderen over een saaie grijze muur, maar als je naar de textuur van de verf kijkt, kun je nog steeds zien dat het is aangebracht over een specifiek type gipsplaat dat de robot gebruikte. De "robottextuur" zat er nog steeds onder.

3. Het "Groepsstijl"-Probleem.
Wanneer mensen van nul af schreven, klonk iedereen anders dan de ander (hoge diversiteit). Toen ze het robot-draft bewerkten, eindigden ze allemaal met een geluid dat een beetje meer op elkaar leek.

De Analogie: Als je 10 mensen vraagt om een kat van nul af te tekenen, krijg je 10 heel verschillende katten. Als je ze 10 identieke, door een robot getekende katten geeft en vraagt om het "hun eigen te maken", kunnen ze allemaal eindigen met het tekenen van katten die een beetje lijken op het origineel van de robot, alleen met iets andere oren of staarten. Ze verloren wat van hun unieke "wildheid".

De Grote Verrassing: Wat Mensen Denken versus Wat Computers Meten

Dit is het meest interessante deel van de studie.

De Computer zei: "Deze tekst heeft nog steeds 30% robot-DNA. Het is niet volledig menselijk."
De Mensen zeiden: "Deze tekst klinkt precies als ik! Ik zou dit graag naar mijn vriend sturen."

Er was een kloof tussen de data en het gevoel. De deelnemers vonden dat hun bewerkte tekst authentiek was en hun stijl vertegenwoordigde, zelfs al kon de computer nog steeds de vingerafdrukken van de robot detecteren.

De Analogie: Stel je voor dat je een zeer realistische plastic bloem koopt. Je schildert het, voegt een echte blad toe en zet het in een vaas. Je kijkt ernaar en zegt: "Dat is een prachtige bloem." Een botanicus (de computer) kijkt ernaar en zegt: "Dat is 60% plastic." Je liegt niet; je geeft gewoon niet om het plastic deel omdat de bloem voor jou echt aanvoelt.

Waarom Vinden Mensen Dit Leuk?

De meeste deelnemers zeiden dat ze deze werkwijze leuk vonden. Ze voelden dat het hen tijd en mentale energie bespaarde.

De Barrière: De belangrijkste reden waarom sommige mensen deze methode niet wilden gebruiken, was niet dat ze de stijl niet konden repareren; het was dat het originele draft van de robot te saai of clichématig voelde.
De Analogie: Het is als je een kant-en-klare taart krijgt. Als de taart droog is en smaakt als karton, zal geen enkele hoeveelheid glazuur je ervan overtuigen om hem te eten. Maar als de taart alleen een beetje saai is, kun je hem makkelijk glazuren om hem heerlijk te maken. Het probleem was de "droogte" van de ideeën van de robot, niet de moeilijkheid van het bewerken.

De Conclusie

De studie concludeert dat na-bewerking werkt, maar met beperkingen.

Je kunt AI-tekst zeker meer laten klinken als jij.
Je zult het gevoel hebben dat het als jou klinkt.
Echter, een computer kan nog steeds zien dat het door een robot is begonnen, en het eindresultaat kan iets minder divers en uniek zijn dan als je het volledig van nul af had geschreven.

Het artikel suggereert dat hoewel dit een nuttig hulpmiddel is om tijd te besparen, we niet moeten verwachten dat het onze unieke menselijke stemmen perfect nabootst, en we ons bewust moeten zijn dat de "robot-smaak" misschien nog steeds onder onze bewerkingen blijft hangen.

1. Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden gebruikt voor professioneel schrijven, blijft hun adoptie in persoonlijke schrijftaken (bijvoorbeeld trouwbeloften, verontschuldigingsbrieven, lijkpreken) controversieel. Gebruikers vrezen vaak dat AI-ondersteuning authenticiteit en persoonlijke stijl in gevaar brengt.

Vorig onderzoek suggereert dat gebruikers AI wel willen gebruiken voor planning, maar er tegen zijn tijdens de "vertaling" (opstellen) en "herziening" van teksten, aangezien deze fasen de stijluiting direct vormgeven. Dit paper onderzoekt een specifieke samenwerkingsworkflow: Post-editing. De kernvraag is: Kunnen gebruikers effectief post-editen van door een LLM gegenereerde concepten om hun unieke persoonlijke stijl weer in te brengen, en resulteert dit proces in tekst die perceptueel en technisch niet te onderscheiden is van hun onondersteunde schrijven?

2. Methodologie

Studieontwerp

De auteurs voerden een vooraf geregistreerde, IRB-goedgekeurde online studie uit met $N=81$ deelnemers (gerekruteerd via Prolific, gefilterd op vloeiendheid in het Engels).

Taken: Deelnemers kozen 6 schrijftaken uit een pool van 8 scenario's waar persoonlijke stijl cruciaal is (bijvoorbeeld trouwbeloften, verontschuldigingsbrieven, condoleancebrieven).
Condities: De studie gebruikte een within-subjects ontwerp met twee blokken:
1. Controleblok: Deelnemers planden details en schreven de tekst volledig van scratch (onondersteund).
2. Behandelblok: Deelnemers planden dezelfde details, ontvingen een door een LLM gegenereerd concept (gebaseerd op hun plan), en post-editen vervolgens het concept om hun persoonlijke stijl weer te geven.
Maten:
- Stijlvergelijkbaarheid: Gemeten met LUAR-embeddings (Rivera-Soto et al., 2021), specifiek het LUAR-MUD-model, dat auteursstijl vastlegt via cosijnvergelijkbaarheid.
- AI-detectie: Gemeten met PANGRAM-scores om de waarschijnlijkheid te schatten dat tekst door AI is gegenereerd.
- Linguïstische aanvaardbaarheid: Geëvalueerd met een CoLA-gebaseerd model om grammaticale correctheid te beoordelen.
- Zelfrapportages: Deelnemers beoordeelden de waargenomen stijlauthenticiteit, bruikbaarheid en taakmoeilijkheid.

Hypothesen

De studie testte drie hoofdhypothesen:

H1 (Authenticiteit): Post-editing zal LLM-tekst laten klinken als de onondersteunde schrijfstijl van de gebruiker en minder als ruwe LLM-uitvoer.
H2 (Homogeniteit): Post-geëditteerde tekst zal een distincte "derde" stijl vormen – homogener dan menselijk schrijven, maar minder dan ruwe LLM-uitvoer.
H3 (Perceptie): De perceptie van de gebruiker over stijlvergelijkbaarheid zal overeenkomen met de door het model gemeten vergelijkbaarheid.

3. Belangrijkste Bijdragen & Resultaten

A. Effectiviteit van Post-editing (H1)

Statistische Verschuiving: Post-editing verhoogde de stijlvergelijkbaarheid met het eigen onondersteunde controle-tekst van de deelnemer significant ( $p < .001$ , $g=0.55$ ) en verlaagde de vergelijkbaarheid met ruwe LLM-tekst significant ( $p < .001$ , $g=-0.41$ ).
Residuele AI-sporen: Ondanks deze verbeteringen, bleef post-geëditteerde tekst significant meer vergelijkbaar met door een LLM gegenereerde tekst dan met de eigen onondersteunde schrijfstijl van de deelnemer ( $p < .001$ , $g=-1.43$ ). Gebruikers konden de "LLM-vingerafdruk" niet volledig elimineren.
Specificiteit: De gemaakte wijzigingen waren specifiek voor het individu. Post-geëditteerde tekst was meer vergelijkbaar met de stijl van de bewerker zelf dan met de stijlen van andere deelnemers, wat bevestigt dat de wijzigingen niet slechts generieke "humanisering" waren.

B. Stijlhomogeniteit (H2)

De "Derde Stijl": Post-geëditteerde tekst vertoonde een uniek stijlprofiel. Het was homogener (minder divers) dan volledig menselijk schrijven, maar minder homogeen dan ruwe LLM-uitvoer.
Gedeelde AI-eigenschappen: Hoewel individuele bewerkingen uniek waren, behielden de niet-bewerkte delen van de tekst gedeelde LLM-stijleigenschappen over alle deelnemers heen. Dit resulteerde in post-geëditteerde teksten van verschillende gebruikers die meer op elkaar leken dan op hun eigen onondersteunde controle-teksten.

C. De Perceptiekloof (H3)

Disconnect: Er is een significante kloof tussen door het model gemeten vergelijkbaarheid en door de gebruiker waargenomen authenticiteit.
- Modelvisie: Post-geëditteerde tekst is nog steeds duidelijk "AI-achtig" in vergelijking met menselijke controle-tekst.
- Gebruikersvisie: Deelnemers beoordeelden hun post-geëditteerde tekst als even representatief voor hun persoonlijke stijl als hun onondersteunde controle-tekst ( $p = .906$ ).
Correlatie: Hoewel er een positieve correlatie was tussen waargenomen en gemeten vergelijkbaarheid ( $r=0.24$ ), was deze zwak gekalibreerd. Gebruikers zagen de residuele stijlmerkers niet die de embedding-modellen detecteerden.

D. Analyse van Bewerkingsgedrag

Bewerkingssoorten: Deelnemers gebruikten diverse strategieën, waaronder:
- Lexicale wijzigingen: Het verwijderen van "AI-geassocieerde" woorden (bijvoorbeeld "delve", hoewel zeldzaam in deze dataset) of het toevoegen van verkortingen (5x vaker in post-geëditteerde tekst).
- Leestekens: Het verwijderen van gedachtestreepjes (23% verwijderingspercentage) en het toevoegen van niet-standaard leestekens of typefouten om persoonlijke gewoonten na te bootsen.
- Semantische bewerkingen: Het corrigeren van feitelijke details of het toevoegen van cultureel specifieke taal (bijvoorbeeld religieuze formuleringen).
Inspanning versus Resultaat: De studie vond dat originaliteit van het eerste concept de belangrijkste barrière voor adoptie was. Deelnemers die liever alleen schreven, noemden een gebrek aan originaliteit in AI-concepten, terwijl degenen die post-editing prefereerden efficiëntie en betrouwbaarheid waardeerden.

4. Betekenis en Implicaties

De "Authenticiteitsillusie": Het paper benadrukt een kritieke kloof waarbij gebruikers het gevoel hebben dat hun door AI-ondersteunde schrijven authentiek is, zelfs wanneer objectieve maten significante AI-stijlsporen detecteren. Dit suggereert dat gebruikers mogelijk vertrouwen op vereenvoudigde heuristieken (bijvoorbeeld "heb ik de woorden veranderd?") in plaats van diepgaande stijlanalyse.
Levensvatbaarheid van de Workflow: Ondanks het onvermogen om AI-stijlmerkers volledig te wissen, is de workflow levensvatbaar. Gebruikers rapporteren hoge tevredenheid en bereidheid om post-editing te gebruiken voor toekomstige persoonlijke taken, mits het eerste concept niet te clichématig is.
Beperkingen van Huidige Maten: Op embeddings gebaseerde stijlmaten kunnen statistische relevantie vastleggen die niet overeenkomt met wat leken gebruikers als "stijl" beschouwen. Dit vormt een uitdaging voor de bruikbaarheid van huidige AI-detectoren in persoonlijke schrijftoepassingen waar het doel gebruikerstevredenheid is in plaats van forensische detectie.
Toekomstige Richtingen: De auteurs suggereren dat het verbeteren van de creativiteit en originaliteit van initiële LLM-concepten impactvoller is dan het proberen gebruikers te leren effectiever te post-editen. Bovendien moet toekomstig werk rekening houden met het perspectief van het publiek: zullen lezers (die de stijl van de auteur kennen) de residuele AI-merkers detecteren die de auteurs hebben gemist?

Conclusie

De studie concludeert dat post-editing gebruikers weliswaar toelaat om zinvolle controle uit te oefenen en een gevoel van stijlauthenticiteit te bereiken, maar dat het de kloof tussen LLM- en menselijke schrijfstijlen niet volledig overbrugt. De resulterende tekst is een hybride: statistisch dichter bij het model dan bij de mens, maar door de gebruiker ervaren als authentiek eigen. Deze disconnect onderstreept de noodzaak van betere afstemming tussen AI-generatiecapaciteiten en menselijke stijlverwachtingen, in plaats van uitsluitend te vertrouwen op post-hoc editing.