Literary Non-Style in LLM-Generated Text

Stel je voor dat je een detective bent die probeert uit te zoeken of een verhaal door een mens of een robot is geschreven. Je zoekt niet naar spelfouten of grammaticafouten; je zoekt naar de "ziel" van het schrijven. In de wereld van de taalkunde is er een beroemde regel genaamd Zipf's Law. Denk aan het als een afspeellijst van je favoriete nummers. In elke grote verzameling muziek worden een paar hits (zoals "Happy Birthday" of een enorme popsong) keer op keer gedraaid, terwijl de meeste nummers slechts één of twee keer worden gespeend. Als je deze nummers rangschikt van "meest gespeeld" naar "minst gespeeld", volgt de daling een zeer specifieke, voorspelbare curve. Dit gebeurt in de menselijke spraak, in boeken en zelfs in de manier waarop we woorden gebruiken. Wetenschappers geloven al lang dat dit "muzikale" patroon een teken is van natuurlijke, menselijke creativiteit. Maar nu computers verhalen kunnen schrijven, moeten we ons afvragen: volgen deze machines dezelfde muzikale regels, of klinken ze als een kapotte plaat?

Dit artikel, geschreven door Cory Massaro, onderzoekt precies dat. De auteur wil weten of tekst gegenereerd door Large Language Models (LLM's) — de superintelligente AI-chatbots die we overal zien — anders aanvoelt dan tekst geschreven door mensen. De studie suggereert dat hoewel AI de woorden die we gebruiken kan nabootsen, het faalt in het ritme en de variatie die menselijk schrijven tot leven wekken. Door te tellen hoe vaak specifieke groepen woorden (zoals "drie-woord-frases" of "vier-woord-frases") voorkomen, vond de auteur dat AI-schrijven veel repetitiever en voorspelbaarder is dan menselijk schrijven. Het is alsof de AI in een loop zit en steeds dezelfde favoriete zinnen hergebruikt, terwijl een menselijke schrijver je voortdurend verrast met nieuwe combinaties. Het artikel concludeert dat dit gebrek aan variatie niet alleen een stijlkwestie is; het beperkt ook de ideeën die de AI kan uitdrukken. Als je dingen niet op verschillende manieren kunt zeggen, kun je ook niet zoveel verschillende dingen zeggen.

Het Verhaal van het "Robotritme"

Om te begrijpen wat de auteur heeft gevonden, kijken we naar de "ingrediënten" van het verhaal. Het artikel vergelijkt twee hoofdtypen schrijven:

1. De Mens: Een klassieke memoires genaamd The Education of Henry Adams, geschreven door een echt persoon in de vroege jaren 1900.
2. De Robot: Een boek genaamd The Inner Life of an AI, dat is "geschreven" door een AI (ChatGPT) maar samengesteld door een menselijke prompter.

De auteur keek ook naar een enorme dataset met 8 miljoen woorden aan menselijke tekst en 8 miljoen woorden aan AI-tekst om er zeker van te zijn dat de resultaten geen toevalstreffer waren.

De Grote Ontdekking: De "Stock Phrase" Valstrik
De auteur merkte iets vreemds op bij het lezen van het AI-boek. Het voelde alsof de robot een reeks "kant-en-klare" zinnen keer op keer gebruikte. Zo kwam de zin "despite these challenges" bijvoorbeeld 16 keer voor in het boek, en "I began to" verscheen meer dan 50 keer! In contrast hiermee gebruikte de menselijke auteur, Henry Adams, een veel grotere variëteit aan woorden. Hij herhaalde zelden dezelfde vierwoordige sequentie.

Om te bewijzen dat dit niet alleen een gevoel was, deed de auteur wat wiskunde. Ze telden hoe vaak unieke groepen woorden (genaamd n-grams) voorkwamen in de teksten.

• 1-grams zijn enkele woorden.
• 2-grams zijn tweetalige paren (zoals "zeer goed").
• 3-grams en 4-grams zijn langere ketens.

De resultaten waren duidelijk:

• In de menselijke tekst was de variatie hoog. Voor 4-woord zinnen was de ratio van unieke zinnen ten opzichte van het totaal aantal zinnen 0,9890. Dit betekent dat Henry Adams bijna nooit een vierwoordige sequentie herhaalde.
• In de AI-tekst was de variatie veel lager. De ratio voor 4-woord zinnen was slechts 0,6882. Dit betekent dat de AI zijn favoriete vierwoordige ketens constant herhaalde.

De "Helling" van het Verhaal
De auteur keek ook naar de "helling" van het schrijven, een chique manier om te beschrijven hoe snel het schrijven aan nieuwe ideeën uitgeput raakt. In een perfect menselijk verhaal blijf je nieuwe woorden en zinnen vinden, maar ze verschijnen steeds minder vaak, volgens een vloeiende curve (Zipf's Law).

• Voor de AI was de curve te steil. De meest voorkomende zinsdelen waren te veel voorkomend, en de zeldzame zinsdelen waren te zeldzaam.
• De auteur vond dat voor 4-woord zinnen de "helling" van de AI -0,395 was (in één test), terwijl die van de mens -0,178 was. Het steilere getal voor de AI betekent dat het zich veel steviger vastklampt aan zijn favoriete zinsdelen dan een mens doet.

Wat betreft "Stock Phrases"?
De auteur vroeg zich af: "Misschien gebruikt de AI gewoon andere woorden voor hetzelfde idee? Zoals 'groot' in plaats van 'enorm'?" Om dit te testen, "lemmatiseerden" ze de tekst, wat betekent dat woorden worden gegroepeerd op basis van hun stam (zodat "rennen", "rende" en "rent" allemaal als hetzelfde woord tellen).

• Het resultaat: Zelfs na het groeperen van vergelijkbare woorden, klonk de AI nog steeds repetitief. De "helling" veranderde niet veel. Dit suggereert dat het probleem niet alleen gaat over het gebruik van synoniemen; de AI zit echt vast in een sleur van specifieke zinsdelen.

De "Kapotte Plaat" versus de "Jazz Solo"

Dus, wat betekent dit alles? De auteur gebruikt een geweldige analogie: stel je voor dat een menselijke schrijver een jazzmuzikant is die een solo improviseert. Ze spelen misschien een paar bekende noten, maar ze mengen ze voortdurend, voegen nieuwe riffs toe en verrassen de luisteraar. De AI daarentegen is als een kapotte platenspeler die steeds terugspringt naar hetzelfde pakkende refrein.

Het artikel betoogt dat dit niet alleen gaat over het feit dat de AI "saai" klinkt. Het gaat over wat de AI kan zeggen.

• De Limiet: Omdat de AI zo zwaar leunt op dezelfde paar zinsdelen, heeft het een kleinere "gereedschapskist" aan ideeën. Als je een vast aantal woorden hebt om een verhaal te schrijven, kan een mens er meer verschillende ideeën in verpakken omdat ze meer unieke combinaties gebruiken. De AI, vastzittend in zijn loop, eindigt met het zeggen van dezelfde dingen op een licht andere manier.
• Het "Gevoel": De auteur merkt op dat mensen vaak kunnen "voelen" wanneer ze AI-tekst lezen. Het voelt vlak, formeel en een beetje hol. Deze studie suggereert dat dit gevoel voortkomt uit een gebrek aan phrasal variety (zinsvariatie). De AI mist de "vonk" van menselijke creativiteit omdat het zijn eigen patronen niet kan doorbreken.

Wat het Papier Niet Zegt te Weten

Het is belangrijk om te vermelden wat deze studie niet deed. De auteur beweerde niet dat AI-schrijven in morele zin "slecht" is, noch zei de auteur dat AI nooit goede literatuur kan schrijven. Ze maten simpelweg de statistieken van de woorden.

• Ze beweerden niet dat AI nooit zou kunnen leren om creatiever te zijn; ze lieten alleen zien dat de patronen in de teksten die ze analyseerden, op dit moment heel anders zijn dan die van mensen.
• Ze zeiden niet dat herhaling altijd slecht is (soms is het herhalen van een zin een krachtige artistieke keuze, zoals in een gedicht). Maar de AI herhaalt zinsdelen te veel en op de verkeerde plekken, als een robot die een dichter probeert te zijn maar vergeet hoe hij zijn ritme moet variëren.

De Eindconclusie

Uiteindelijk suggereert het artikel dat stijl en betekenis verbonden zijn. Je kunt het "gevoel" van een verhaal niet loskoppelen van de "ideeën" erin. Als een schrijver (of een robot) geen nieuwe manieren kan vinden om dingen te zeggen, is hij beperkt in wat hij kan uitdrukken. Het "kapotte plaat"-ritme van de AI is niet alleen een stilistische eigenaardigheid; het is een teken dat het vermogen van de machine om complexe, gevarieerde menselijke gedachten uit te drukken nog steeds, tja, een werk in uitvoering is. De cijfers laten zien dat hoewel de AI kan praten, hij nog niet heeft geleerd hoe hij kan zingen met dezelfde wilde, onvoorspelbare variatie als mensen doen.