LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

Probleemstelling

Grote Taalmodellen (LLMs) vertonen een significante beperking in creatief schrijven: hun output wordt vaak beschreven als triviaal, repetitief en vol met clichés. Hoewel huidige uitlijningsstrategieën (alignment strategies) zoals Reinforcement Learning from Human Feedback (RLHF) en Supervised Fine-Tuning (SFT) zijn ontworpen om hallucinaties te verminderen en feitelijke nauwkeurigheid te waarborgen, leiden deze methoden onbedoeld tot een systematische afkeer van onzekerheid.

De kernproblematiek is een fundamenteel conflict tussen de eisen van creatieve literatuur en de optimalisatiedoelen van LLMs:

• Literaire theorie stelt dat onzekerheid, ambiguïteit en "gaten" in de betekenis noodzakelijk zijn voor creatieve expressie en lezersparticipatie (co-creatie).
• LLM-optimalisatie straft lange staarten in de waarschijnlijkheidsverdeling af en neigt naar "mode collapse", waarbij het model kiest voor de veiligste, meest voorspelbare en homogene antwoorden om instructies te volgen en hallucinaties te voorkomen.

Het artikel stelt dat deze systematische afkeer van onzekerheid de creatieve capaciteit van LLMs fundamenteel ondermijnt.

Methodologie

De auteurs hanteren een gecontroleerde, informatie-theoretische benadering om de "onzekerheidskloof" (uncertainty gap) tussen menselijk en modelgegenereerd schrijven te kwantificeren.

1. Experimenteel Ontwerp:

   • Taalcompletie: De studie vergelijkt menselijke continuaties (ground truth) met modelgegenereerde continuaties onder identieke contextvoorwaarden ($T_1$).
   • Evaluatie: Dezelfde LLM ($P_\theta$) fungeert zowel als generator als als evaluator. De onzekerheid van menselijke tekst wordt gemeten door de log-probabiliteit te berekenen die het model toekent aan de menselijke tokens, en dit te vergelijken met de probabiliteit van de eigen gegenereerde tokens. Dit elimineert distributiemismatch tussen verschillende modellen.

2. Datasets:

   • The New Yorker: Professioneel gecureerde literaire fictie (hoogwaardig, experimenteel).
   • Tell-Me-A-Story: Een corpus van professionele schrijvers uit workshops.
   • Ghostbuster: Gebruikt voor domeinvergelijking (vergelijking tussen creatief schrijven, nieuws en essays).

3. Modellen:

   • Een diverse reeks van 28 open-weight modellen (families: OLMO, LLAMA, QWEN, MISTRAL, GEMMA, PHI).
   • Vergelijking tussen Base-modellen, Instruction-tuned (Instruct) en Reasoning-modellen ("Thinking").

4. Onzekerheidsmetrieken:
   De auteurs gebruiken token- en sequenceniveau-metrieken afgeleid van log-probabiliteiten:

   • Mean Token Entropy (Surprisal): Gemiddelde onverwachtheid per token ($H_{token}$).
   • Perplexity (PPL): Geëxponentieerde gemiddelde surprisal.
   • Pointwise Mutual Information (PMI): Meet context-afhankelijke onzekerheid door de conditionele waarschijnlijkheid te normaliseren ten opzichte van de onvoorwaardelijke waarschijnlijkheid. Een lage PMI wijst op sterke afhankelijkheid van de context (voorspelbaarheid).
   • Conditional PMI (CPMI): Een gefilterde variant die zich richt op tokens met hoge entropie.

Belangrijkste Bijdragen

• Formalisatie van de Onzekerheidskloof: Het is de eerste studie die de discrepantie tussen menselijk en model-gedreven creativiteit kwantificeert via informatie-theoretische onzekerheidsschattingen, gebaseerd op literaire theorie.
• Koppeling van Onzekerheid aan Kwaliteit: Het biedt empirisch bewijs dat onzekerheid niet noodzakelijk een fout is, maar een positieve indicator van schrijfkwaliteit in creatieve domeinen.
• Analyse van Alignment Tax: Het demonstreert hoe post-training optimalisatie (instructie en redenering) de creatieve diversiteit verder vermindert ten opzichte van base-modellen.

Resultaten

1. Bestaande Onzekerheidskloof:

   • Menselijke verhalen vertonen consistent 2 tot 4 keer hogere entropie (surprisal) dan modelgegenereerde verhalen.
   • De verhouding in Perplexity (PPL) ligt tussen 2,76 en 8,82, wat betekent dat menselijke continuaties voor het model veel minder voorspelbaar zijn dan de eigen output.
   • De $\Delta$PMI-waarden zijn negatief (rond -1,44 tot -2,60), wat aangeeft dat modellen sterk afhankelijk zijn van de context en de meest waarschijnlijke paden kiezen, terwijl mensen afwijken van verwachte narratieve routes.

2. Impact van Model-varianten:

   • Instructie en Redenering: Instruction-tuned en "Thinking"-modellen vertonen een grotere onzekerheidskloof dan hun base-varianten. Ze zijn nog meer geneigd tot mode collapse en het vermijden van ambiguïteit.
   • Domein-specifiek: De kloof is het grootst in creatief schrijven (vergeleken met nieuws of essays), wat suggereert dat de beperking specifiek is voor domeinen die onzekerheid vereisen.

3. Correlatie met Kwaliteit:

   • Er is een positieve correlatie tussen onzekerheid (NLL/PPL) en schrijfkwaliteit. Hoe "onverwachter" de tekst (binnen redelijke grenzen), hoe hoger de kwaliteitsscore.
   • De "Sweet Spot" (Inverted U-curve): De analyse toont een niet-lineaire relatie. Kwaliteit piekt bij een hoge, maar niet extreme, onzekerheid (ongeveer 1,98 standaardafwijkingen boven het gemiddelde voor menselijke tekst).
   • Positie van LLMs: De meeste gealigneerde LLMs opereren links van deze piek, in een regime van te lage entropie. Ze missen de "constructieve ambiguïteit" die nodig is voor literaire rijkdom.

Betekenis en Conclusie

De studie concludeert dat de huidige uitlijningsparadigma's voor LLMs fundamenteel onverenigbaar zijn met de eisen van hoogwaardig creatief schrijven. Door onzekerheid te straffen om hallucinaties te voorkomen, worden LLMs gedwongen om "veilige" en voorspelbare teksten te genereren, wat leidt tot culturele homogenisatie en een gebrek aan narratieve spanning.

Implicaties voor de toekomst:

• Er is behoefte aan onzekerheidsbewuste uitlijningsstrategieën (uncertainty-aware alignment).
• Modellen moeten leren onderscheid maken tussen destructieve hallucinaties (foute feiten) en constructieve ambiguïteit (literaire diepgang).
• Toekomstig onderzoek moet zich richten op het herdefiniëren van "helpfulness" in creatieve contexten, zodat modellen de ruimte krijgen om onzekerheid te genereren zonder dat dit wordt gezien als een fout.

Kortom, om menselijke creativiteit te evenaren, moeten LLMs niet alleen "nauwkeuriger" worden, maar juist leren om de "gaten" en onzekerheden die essentieel zijn voor literatuur te omarmen.