Spoiler Alert: Narrative Forecasting as a Metric for Tension in LLM Storytelling

Probleemstelling

Grote Taalmodellen (LLMs) hebben tot nu toe moeite om consistent overtuigende verhalen te genereren en deze tekortkomingen te herkennen. Een cruciaal aspect van goed literair fictie is narratieve spanning (narrative tension): het vermogen om informatie asymmetrisch te verdelen, resolutie uit te stellen en de lezer in een staat van onzekerheid te houden.

Het paper identificeert twee fundamentele problemen:

1. Falende Evaluatie: Bestaande benchmarks, zoals EQ-Bench, gebruiken rubrieken die door LLM-judges worden beoordeeld. Deze systemen beoordelen menselijke verhalen (bijv. van The New Yorker) vaak lager dan AI-gegenereerde verhalen. De auteurs stellen dat deze rubrieken spanning negeren en in plaats daarvan oppervlakkige kenmerken belonen, zoals vloeiende proza of expliciete emotionele labels.
2. Falende Creativiteit: Zelfs de sterkste LLMs genereren verhalen die "vlak" en voorspelbaar zijn. Ze lossen onzekerheid te vroeg op in plaats van de spanning door het hele verhaal heen te handhaven.

Methodologie: De 100-Endings Metric

Om narratieve spanning kwantitatief te meten, stellen de auteurs de 100-Endings metric voor. In plaats van te vertrouwen op een judge die een verhaal leest en een score geeft, operationaliseren ze spanning als onvoorspelbaarheid.

Het proces:

1. Sentence-level Forecasting: Voor elk punt in een verhaal (bij elke zinsgrens) wordt een taalmodel gevraagd om 100 mogelijke eindes te genereren, gebaseerd alleen op de tekst tot dat punt.
2. Judging: Een apart "judge"-model vergelijkt deze 100 gegenereerde eindes met het daadwerkelijke vervolg van het verhaal (de ground truth).
3. No-rate Berekening: De kernmetriek is de no-rate: het percentage van de 100 voorspellingen dat niet overeenkomt met de werkelijke uitkomst.
   • Een hoge no-rate betekent dat het verhaal onvoorspelbaar is (hoge spanning).
   • Een lage no-rate betekent dat het verhaal makkelijk te raden is (lage spanning).

Aanvullende statistieken:

• Mean no-rate: De gemiddelde onvoorspelbaarheid over het hele verhaal.
• Late-stage no-rate: Onvoorspelbaarheid in de laatste 20% van het verhaal (cruciaal om te zien of spanning tot het einde wordt gehandhaafd).
• Inflection rate: Hoe vaak de curve van de no-rate van richting verandert (metingen van plotwendingen).
• Post-spike retention: Hoe lang een piek in spanning wordt vastgehouden voordat deze wordt opgelost.

Belangrijkste Bijdragen

1. Nieuwe Metriek: De introductie van de 100-Endings metric, die spanning meet via structurele onvoorspelbaarheid in plaats van subjectieve beoordeling.
2. Empirisch Bewijs: Het aantonen dat top-LLMs systematisch de laagste narratieve spanning genereren van alle geëvalueerde corpora (inclusief amateur-schrijvers), terwijl ze op bestaande benchmarks (EQ-Bench) hoger scoren dan professionele schrijvers.
3. Geavanceerde Generatie Pipeline: Het ontwikkelen van een generatie-pipeline gebaseerd op narratologie die spanning significant verbetert zonder de algehele kwaliteit van het verhaal te verlagen.

Resultaten

1. Evaluatie van Bestaande Modellen vs. Mensen:

• EQ-Bench: LLMs scoren hier hoog (81-84 punten), terwijl The New Yorker verhalen lager scoren (78 punten). Dit bevestigt de bias van huidige evaluaties.
• 100-Endings: De rangschikking is omgekeerd en sluit aan bij menselijke intuïtie.
  • The New Yorker (professioneel): Hoogste spanning (Mean no-rate: 0.765).
  • Top-10 LLMs: Laagste spanning (Mean no-rate: 0.630).
  • Late-stage spanning: Het verschil is het grootst aan het einde van het verhaal. New Yorker verhalen behouden een late-stage no-rate van 0.607, terwijl LLMs slechts 0.215 halen. Dit betekent dat LLM-verhalen hun plot te vroeg onthullen en de lezer geen spanning meer biedt in de finale.

2. Effect van de Generatie Pipeline:
De auteurs ontwierpen een pipeline met drie stappen:

• Stap 0 (Warmup): Analyse van een referentieverhaal (bijv. een klassieker) om structurele beats te extraheren.
• Stap 1 (Beat Adaptation): Het aanpassen van deze structuur aan een nieuw verhaalidee, met een "dikke" tussenlaag die specifieke narratieve functies, informatie-uitstel en spanningsmechanismen specificeert.
• Stap 2 (Generatie): Het schrijven van het verhaal op basis van dit strakke plan.

Resultaten van de pipeline:

• De pipeline verbeterde de spanning voor alle geteste modellen (Claude Sonnet, Opus, GPT-5.2).
• Voor Claude Sonnet 4.6 steeg de late-stage no-rate van 0.139 (vanilla) naar 0.339 (met pipeline).
• De pipeline sloot ongeveer de helft van de kloof tussen LLM-verhalen en professionele New Yorker verhalen op het gebied van spanning, terwijl de scores op de EQ-Bench rubriek behouden bleven of zelfs verbeterden.

Betekenis en Conclusie

Dit paper toont aan dat schaalvergroting alleen (meer parameters) niet voldoende is om narratieve spanning te begrijpen of te genereren. LLMs neigen ertoe om onzekerheid direct op te lossen, wat resulteert in verhalen die technisch correct maar narratief saai zijn.

De kerninzichten zijn:

• Spanning is meetbaar: Door spanning te definiëren als de moeilijkheid om het einde te voorspellen, kunnen we het objectief meten zonder menselijke bias.
• Structuur is cruciaal: Door narratieve theorie (zoals het beheer van informatie-asymmetrie en vertraagde resolutie) expliciet in de generatie-pipeline te integreren, kunnen LLMs verhalen schrijven die structureel meer lijken op professionele literatuur.
• Toekomstige richting: Dit werk pleit voor een meer interdisciplinaire aanpak waarbij NLP onderzoek wordt gekoppeld aan narratologie en literaire theorie om "echte" narratieve machines te bouwen die niet alleen tekst produceren, maar ook de affectieve kracht van verhalen kunnen modelleren.

Samenvattend biedt dit onderzoek een nieuwe standaard voor het evalueren van creatief schrijven en een bewezen methode om LLMs te trainen om de complexe kunst van het "niet-vertellen" (het uitstellen van antwoorden) onder de knie te krijgen.