Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

Dit onderzoek toont aan dat n-gram-nieuwheid als enige maatstaf voor tekstuele creativiteit ontoereikend is, omdat het de essentie van creativiteit (nieuwheid én geschiktheid) niet volledig vangt en bij AI-gegenereerde teksten vaak correleert met een gebrek aan pragmatiek, waardoor menselijke evaluatie of geavanceerde LLM-judges noodzakelijk zijn voor een nauwkeurige beoordeling.

De kern

De Dood van de "Nieuwheid": Waarom een tekst niet pas creatief is als hij nog nooit gelezen is

Stel je voor dat je een nieuwe taart bakt. Als je de taart maakt met ingrediënten die nog nooit iemand heeft gebruikt, noemen we dat misschien wel "nieuw". Maar als die taart eruitziet als een modderpoel en smaakt als zeep, is hij dan echt een goed, creatief recept? Waarschijnlijk niet.

Dit is precies het probleem waar dit onderzoek over gaat. Wetenschappers hebben lang gedacht dat je de creativiteit van een tekst (geschreven door een mens of een AI) kon meten door te kijken naar hoe "nieuw" de woorden waren. Als een zin nog nooit eerder in de hele wereld op internet had gestaan, dachten ze: "Wauw, dat is creatief!"

Deze studie, geschreven door onderzoekers van universiteiten zoals Columbia en Boston, zegt echter: "Nee, dat is niet genoeg."

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De "Nieuwheids-meter" is kapot

Vroeger gebruikten onderzoekers een soort "n-gram nieuwheids-meter". Dit is een computerprogramma dat kijkt of een zin of woordcombinatie al eerder voorkwam in de enorme databanken waar AI's van hebben geleerd.

• De oude gedachte: Hoe nieuwer de zin, hoe creatiever.
• De nieuwe ontdekking: De onderzoekers vroegen 26 echte schrijvers (professionals) om teksten te lezen en te beoordelen. Ze ontdekten iets verrassends: 91% van de "super-nieuwe" zinnen die door de computer als creatief werden gemarkeerd, werd door de menselijke schrijvers juist gezien als onzin of slecht geschreven.

Het is alsof je iemand een auto geeft die nog nooit eerder is gebouwd, maar die geen wielen heeft. De auto is wel "nieuw", maar hij rijdt niet.

2. Creatie heeft twee vleugels: Nieuwheid én Zin

Volgens de psychologie van creativiteit moet een creatief werk twee dingen zijn:

1. Nieuw: Het moet origineel zijn.
2. Geschikt (Pragmatisch): Het moet ergens zinvol zijn en in de context passen.

De onderzoekers ontdekten dat AI's (zoals OLMo en OLMo-2) vaak de balans verliezen. Als ze proberen om zo "nieuw" mogelijk te klinken, beginnen ze zinnen te maken die klinken als een droom die je niet kunt onthouden. Ze zijn origineel, maar ze maken geen zin.

• Voorbeeld: "En zei de ochtendzegeningen in een fluistering die de stoelen verlegen maakte."
  • Dit klinkt heel nieuw en mysterieus.
  • Maar het maakt geen zin. Stoelen worden niet verlegen. Een menselijke schrijver zou dit niet als creatief zien, maar als een fout.

3. Mensen zijn nog steeds de koningen van creativiteit

De onderzoekers lieten ook de nieuwste, krachtigste AI's (zoals GPT-5 en Claude) teksten schrijven. Ze ontdekten dat deze AI's veel minder vaak echte, creatieve zinnen produceerden dan mensen. Mensen weten instinctief wanneer een metafoor werkt en wanneer het gewoon gek klinkt. AI's proberen vaak te hard om "anders" te zijn, waardoor ze de logica verliezen.

4. Kunnen AI's zichzelf beoordelen?

De onderzoekers vroegen zich af: "Kunnen we een slimme AI vragen om te beoordelen of een tekst creatief is?"
Ze testten dit. De slimste AI's konden redelijk goed zien wat een "nieuwe" zin was (zoals een mens), maar ze hadden veel moeite om te zien wat een zin was die geen zin maakte. Ze waren goed in het vinden van de pareltjes, maar slecht in het vinden van de modder.

De Grote Conclusie: Stop met alleen naar "Nieuwheid" te kijken

De boodschap van dit paper is simpel:
We mogen niet alleen kijken naar hoe zeldzaam een tekst is. Als we dat doen, belonen we AI's voor het maken van onzin.

De analogie van de tuin:
Stel je creativiteit voor als een tuin.

• N-gram nieuwheid kijkt alleen naar hoe zeldzaam de bloemen zijn. Als je een bloem vindt die nog nooit iemand heeft gezien, is hij "nieuw".
• Echte creativiteit kijkt of de bloem ook goed groeit in de aarde, of hij water nodig heeft en of hij er mooi uitziet in de rest van de tuin.

Deze studie zegt: "Kijk niet alleen naar hoe zeldzaam de bloem is. Kijk of hij ook echt een bloem is en of hij in de tuin past."

Als we dit niet doen, riskeren we dat de wereld vol komt te staan met teksten die klinken als een vreemde droom, maar die niemand echt begrijpt of waardeert. Creativiteit is niet alleen het vinden van iets nieuws; het is het vinden van iets nieuws dat werkt.

Technische samenvatting

Probleemstelling

De opkomst van Large Language Models (LLMs) heeft geleid tot een groeiend gebruik van deze modellen voor schrijftaken. Tegelijkertijd bestaat er bezorgdheid dat AI-gereedschappen menselijke creativiteit kunnen verwateren door homogenisatie en het produceren van "AI-slop". Om dit te monitoren, wordt n-gram nieuwheid (n-gram novelty) vaak gebruikt als metriek voor tekstuele creativiteit. Deze metriek meet hoe zeldzaam tekstfragmenten zijn in vergelijking met enorme trainingscorpora (bijv. via tools zoals Infini-gram).

Het paper stelt echter dat deze benadering theoretisch en praktisch ontoereikend is. Volgens de psychologische definitie van creativiteit (Runco & Jaeger, 2012) vereist creativiteit twee componenten:

1. Nieuwheid (Novelty): Hoe origineel de tekst is.
2. Adequaatheid (Appropriateness): Hoe zinvol en pragmatisch de tekst is in context.

De auteurs betogen dat een tekst n-gram nieuw kan zijn (dus niet voorkomt in de trainingsdata) maar volledig onzin kan maken (niet pragmatisch), of omgekeerd: een tekst kan een bekend n-gram zijn maar toch creatief worden geacht door zijn emotionele of contextuele nuance. Er is een gebrek aan empirisch bewijs dat n-gram nieuwheid correleert met door experts beoordeelde creativiteit.

Methodologie

De auteurs hebben een uitgebreide studie uitgevoerd met de volgende methodologische pijlers:

1. Dataverzameling en Operasionalisatie:

• Corpus: 50 fictiepassages uit The New Yorker (menselijk) en gegenereerde passages van open-source modellen (OLMo 7B, OLMo-2 32B) en frontier-modellen (GPT-5, Claude 4.1).
• Operationalisatie van Creativiteit: Creativiteit wordt gedefinieerd als de intersectie van drie labels:
  • Zinvolheid (Sensicality): Maakt de uitdrukking op zichzelf zin?
  • Pragmaticiteit (Pragmaticality): Past de uitdrukking in de context (geen logische fouten, vloeiend)?
  • Waargenomen Nieuwheid (Perceived Novelty): Is de uitdrukking verrassend of origineel?
• Data: 26 professionele schrijvers (MFA-graduates) hebben 8.618 annotaties verricht op "atomaire" uitdrukkingen (gesplitst op leestekens) via een "close reading"-interface. Ze beoordeelden elk fragment op de bovenstaande criteria en leverden redeneringen.

2. Metriek voor N-gram Nieuwheid:

• Gebruik van de Infini-gram package om de waarschijnlijkheid van uitdrukkingen te schatten op basis van triljoenen tokens in trainingscorpora.
• Perplexiteit wordt gebruikt als proxy voor n-gram nieuwheid (hoger perplexiteit = nieuwheid).

3. Statistische Modellering:

• Toepassing van hieraarchische logistische regressie (mixed-effects models) om de relatie tussen n-gram nieuwheid (perplexiteit) en creativiteit te modelleren.
• Het model houdt rekening met variatie tussen beoordelaars (random intercepts) en variatie tussen passages (seed passages).
• Vergelijking van menselijke beoordelingen met AI-beoordelingen (LLM-as-a-Judge) en bestaande metrieken zoals de Creativity Index.

Belangrijkste Resultaten

1. N-gram Nieuwheid is een onbetrouwbare proxy voor Creativiteit:

• Hoewel er een positieve associatie is tussen hoge perplexiteit en creativiteit, is deze zwak en misleidend.
• Cruciaal feit: Ongeveer 91% van de uitdrukkingen in de bovenste kwartiel van n-gram nieuwheid wordt niet beoordeeld als creatief door experts.
• Omgekeerd: Ongeveer 25% van de door experts als creatief beoordeelde uitdrukkingen heeft een zeer lage perplexiteit (dus is niet n-gram nieuw). Dit bevestigt dat creativiteit vaak voortkomt uit contextuele nuance, niet uit zeldzame woordcombinaties.

2. Negatieve correlatie tussen Nieuwheid en Pragmaticiteit bij LLMs:

• Bij menselijk geschreven tekst heeft n-gram nieuwheid geen significant effect op de pragmaticiteit.
• Bij open-source LLMs (OLMo, OLMo-2) is er een sterke negatieve correlatie: naarmate de tekst n-gram nieuwer is, wordt deze minder pragmatisch (minder zinvol in context).
• Frontier-modellen (GPT-5, Claude 4.1) vertonen een vergelijkbaar, zij het minder sterk, negatief effect.

3. Mensen vs. AI in Creativiteit:

• Menselijke expressies hebben een significant hogere kans om als creatief te worden beoordeeld dan die van zowel open-source als frontier-modellen (Odds Ratio < 1 voor alle AI-modellen).
• Frontier-modellen produceren minder creatieve uitdrukkingen dan mensen, zelfs wanneer ze geavanceerde redeneercapaciteiten hebben.

4. Evaluatie van LLM-as-a-Judge:

• De auteurs testten of LLMs (zoals GPT-5, Claude 4.5) menselijke "close reading"-oordelen kunnen nabootsen.
• Resultaat: LLMs presteren aanzienlijk beter dan willekeur (random baseline) bij het identificeren van nieuwe uitdrukkingen (F1-score ~41% vs 9.6% random).
• Ze hebben echter moeite met het identificeren van niet-pragmatische uitdrukkingen (F1-score < 20%), wat aangeeft dat het detecteren van "AI-slop" of contextuele fouten nog steeds een uitdaging is.
• Alignement: De nieuwheidsscores van een LLM-as-a-Judge correleren sterker met de voorkeuren van experts dan de traditionele Creativity Index (die puur op n-gram nieuwheid is gebaseerd).

Bijdragen en Significantie

1. Theoretische Correctie: Het paper biedt een sterke empirische weerlegging van het idee dat "n-gram nieuwheid" een voldoende metriek is voor creativiteit. Het benadrukt dat zonder adequateheid (pragmaticiteit) nieuwheid geen creativiteit is.
2. Nieuwe Dataset: De auteurs hebben een uniek dataset gecreëerd met 8.618 expert-annotaties van menselijke en AI-gegenereerde tekst, inclusief redeneringen voor creativiteit en fouten.
3. Waarschuwing voor Optimalisatie: Het onderzoek waarschuwt ontwikkelaars dat het optimaliseren van LLMs puur voor "nieuwheid" (bijv. via RLHF of inference-time methods) kan leiden tot tekst die wel origineel klinkt, maar semantisch leeg of onpraktisch is.
4. Nieuwe Evaluatieparadigma: Het stelt voor om creativiteit te evalueren via een combinatie van nieuwheid en pragmatische kwaliteit, en toont aan dat geavanceerde LLMs (als "Judge") beter kunnen dienen als evaluatiemiddel voor deze nuance dan statische n-gram-metrieken.

Conclusie:
De "dood van de nieuwheid" (Death of the Novelty) in de titel verwijst naar het einde van de dominantie van n-gram nieuwheid als de enige maatstaf voor creativiteit. Voor echte tekstuele creativiteit moet men kijken naar de balans tussen originaliteit en contextuele zinvolheid, een balans waar huidige LLMs moeite mee hebben en waar menselijke schrijvers nog steeds de maatstaf vormen.