Lost in Stories: Consistency Bugs in Long Story Generation by LLMs

Dit paper introduceert ConStory-Bench, een benchmark en geautomatiseerde checker om inconsistenties in langdurige verhalen gegenereerd door grote taalmodellen te evalueren en analyseert de patronen van deze fouten.

De kern

Verloren in Verhalen: Waarom AI-verhalen soms hun eigen plot vergeten

Stel je voor dat je een meesterverteller bent die een episch verhaal moet vertellen. Je begint met een held, een magische zwaard en een dreigende draak. Maar halverwege het verhaal vergeet je dat de held al een zwaard had, en plotseling zegt de draak dat hij in een andere tijd leeft dan de held. Of misschien verandert de held's haar kleur van blond naar zwart zonder dat iemand het heeft gekleurd.

Dit is precies wat er gebeurt met de slimste computers (Large Language Models of LLMs) als ze hele lange verhalen schrijven. Ze zijn fantastisch in het schrijven van zinnen, maar ze worden vaak "verloren in het verhaal" en vergeten hun eigen regels.

Hier is wat de onderzoekers van dit paper hebben ontdekt, vertaald naar simpele taal:

1. Het Probleem: De Vergetelheid van de AI

Vroeger konden computers alleen korte teksten schrijven. Nu kunnen ze verhalen schrijven van 10.000 woorden (ongeveer 30 tot 40 pagina's). Maar hoe langer het verhaal wordt, hoe meer de computer zijn eigen feiten verward.

• Voorbeeld: In hoofdstuk 1 zegt de hoofdpersoon: "Ik ben 10 jaar oud." In hoofdstuk 20 zegt hij: "Ik ben 10 jaar oud," terwijl het verhaal al 50 jaar verder is.
• De huidige situatie: De meeste tests kijken alleen of het verhaal leest als een goed verhaal (is het vloeiend?). Maar niemand keek echt goed of het verhaal logisch consistent was.

2. De Oplossing: De "Consistency Check" (ConStory-Bench)

De onderzoekers hebben een nieuwe test ontwikkeld, genaamd ConStory-Bench. Denk hierbij aan een super-sterke lezer die een verhaal van 10.000 woorden leest en een rode pen vasthoudt.

• De Taak: Ze hebben 2.000 verschillende prompts (opdrachten) gemaakt, zoals "Schrijf een verhaal over een moeder en kind in 1982 die vastzitten in de sneeuw."
• De Regels: Ze hebben een lijst met fouten gemaakt, zoals:
  • Tijdsfouten: De zon gaat op, maar het is nacht.
  • Karakterfouten: De held kan vliegen, maar in het volgende hoofdstuk kan hij niet eens klimmen.
  • Wereld-fouten: De stad heet "New York", maar er zijn geen auto's en iedereen rijdt op paarden.

3. De Detectiemachine: CONSTORY-CHECKER

Om dit allemaal te controleren, hebben ze een automatische machine gebouwd die CONSTORY-CHECKER heet.

• Hoe werkt het? Stel je voor dat deze machine een detective is. Hij leest het verhaal, zoekt naar tegenstrijdigheden en zegt dan: "Hé, hier staat dat de man een blauw shirt draagt, maar 500 woorden eerder stond dat hij een rode hoed had. Dat kan niet allebei waar zijn!"
• Het bewijs: De machine is niet zomaar een gokker. Hij toont precies waar in de tekst de fout zit en legt uit waarom het een fout is.

4. Wat hebben ze ontdekt? (De Grote Geheimen)

Toen ze 20 verschillende AI-modellen (zoals die van Google, OpenAI, en Chinese bedrijven) op deze test lieten werken, kwamen ze tot interessante conclusies:

• De "Midden-Moeheid": Fouten gebeuren niet willekeurig. Ze komen het vaakst voor in het midden van het verhaal. Het is alsof de verteller halverwege de weg een beetje moe wordt en zijn eigen verhaal vergeet.
• De "Verwarring-Indicator": De onderzoekers keken naar hoe "onzeker" de AI was terwijl hij schreef. Ze ontdekten dat de AI vaak fouten maakt op momenten dat hij het minst zeker is van zijn woorden (een wetenschappelijk concept genaamd entropie).
  • Analogie: Het is alsof je een quiz doet. Als je zeker weet dat het antwoord "A" is, schrijf je het op. Maar als je twijfelt tussen "A" en "B", maak je sneller een fout. De AI twijfelt vaak op de plekken waar de fouten later ontstaan.
• De "Keten-reactie": Als de AI een fout maakt in de feiten (bijvoorbeeld een verkeerde datum), maakt hij vaak ook fouten in de karakters of de wereldregels. Het is alsof als je één steen uit een muur haalt, de hele muur begint te wankelen.
• Wie is de beste? De nieuwste modellen (zoals GPT-5 Reasoning) doen het het beste, maar zelfs zij maken fouten. Open-source modellen (gratis modellen) doen het verrassend goed, maar nog niet perfect.

5. Waarom is dit belangrijk?

Stel je voor dat je een AI vraagt om een medisch verslag te schrijven of een juridisch document. Als de AI vergeet dat de patiënt allergisch is voor penicilline in de eerste alinea, en in de laatste alinea penicilline voorschrijft, is dat gevaarlijk.

Dit onderzoek laat zien dat we niet alleen moeten kijken of een AI "slim" klinkt, maar ook of het betrouwbaar is in lange teksten. Ze hebben een spiegel opgehangen aan de AI-ontwikkelaars: "Jullie modellen zijn goed, maar ze vergeten hun eigen verhaal. We moeten ze leren om beter te onthouden."

Kortom: AI is een fantastische verteller, maar het is nog een beetje een dromer die halverwege de droom zijn eigen regels vergeet. Met deze nieuwe test kunnen we die dromers helpen om hun verhalen tot een logisch einde te brengen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Lost in Stories: Consistency Bugs in Long Story Generation by LLMs", geschreven in het Nederlands.

1. Het Probleem

Grote Taalmodellen (LLMs) hebben de capaciteit ontwikkeld om narratives van tienduizenden woorden te genereren. Echter, terwijl deze modellen lokaal vloeiende tekst produceren, falen ze vaak in het behouden van globale consistentie over de volledige lengte van het verhaal.

• De kernuitdaging: Modellen vergeten hun eigen gevestigde feiten, karaktereigenschappen, wereldregels en tijdslijnen naarmate de tekst langer wordt.
• Huidige tekortkomingen: Bestaande benchmarks voor verhaalgeneratie focussen voornamelijk op plotkwaliteit en vloeiendheid, waardoor consistentiefouten grotendeels onontdekt blijven. Bestaande evaluatiemethoden missen vaak expliciete tekstuele bewijzen en reproduceerbare mechanismen voor het detecteren van tegenstrijdigheden op grote schaal.

2. Methodologie

De auteurs introduceren een uitgebreid raamwerk bestaande uit een benchmark en een geautomatiseerde evaluatiepijplijn.

A. ConStory-Bench (De Benchmark)

Dit is een dataset specifiek ontworpen om narratieve consistentie te evalueren.

• Data: Bestaat uit 2.000 prompts afkomstig van zeven diverse bronnen (zoals LongBench, WritingPrompts, WikiPlots).
• Taken: De prompts zijn onderverdeeld in vier taaktypes om verschillende consistentie-uitdagingen te testen:
  1. Generatie: Een vrij verhaal creëren op basis van een minimale plotopzet.
  2. Vervolmaking: Een bestaand fragment uitbreiden tot een compleet verhaal.
  3. Uitbreiding: Een beknopt plotontwerp uitwerken tot een lang verhaal.
  4. Voltooiing: Een verhaal schrijven met een vast begin en eind, waarbij het midden moet worden ingevuld.
• Doel: Generatie van verhalen van 8.000 tot 10.000 woorden.

B. Taxonomie van Fouten

De auteurs hebben een hiërarchische taxonomie ontwikkeld met 5 hoofdcategorieën en 19 subtypes voor consistentiefouten:

1. Tijdlijn & Plotlogica: Absolute tijdscontradicties, duurcontradicties, gelijktijdigheidsproblemen, oorzaakloze effecten.
2. Karakterisering: Geheugencontradicties, kenniscontradicties, vaardigheidsfluctuaties, vergeten abilities.
3. Wereldopbouw & Setting: Schending van kernregels, schending van sociale normen, geografische contradicties.
4. Factuele & Detailconsistentie: Uiterlijke mismatches, naamverwarring, kwantitatieve mismatches.
5. Narratieve & Stijl: Perspectiefverwarring, tooninconsistenties, stijlschommelingen.

C. ConStory-Checker (De Evaluatiepijplijn)

Een geautomatiseerde "LLM-as-a-judge" pijplijn die tegenstrijdigheden detecteert en elk oordeel onderbouwt met expliciet tekstueel bewijs. De pijplijn werkt in vier fasen:

1. Categorie-geleide extractie: Scannen van de tekst om spans te vinden die vatbaar zijn voor contradicties binnen de vijf categorieën.
2. Koppelen van contradicties: Vergelijken van paren spans om te bepalen of ze consistent of tegenstrijdig zijn.
3. Bewijsketens: Voor elke gevonden fout wordt een redenering, het exacte getrokken bewijs (met positie) en een conclusie (fouttype) gegenereerd.
4. JSON-rapportage: Gestandaardiseerde output met alle details.

D. Evaluatiemetrics

Om bias door variabele tekstlengtes te elimineren, worden twee metrics gebruikt:

• Consistency Error Density (CED): Het aantal fouten per 10.000 woorden. Dit normaliseert voor lengte.
• Group Relative Rank (GRR): Een rangschikking binnen elke prompt-groep die rekening houdt met zowel consistentie als volledigheid (lengte).

3. Belangrijkste Resultaten

De auteurs hebben een breed scala aan modellen getest (propriëtaire, open-source, capability-enhanced en agent-based systemen) en de volgende bevindingen gedaan:

• Algemene Prestaties: De meeste modellen worstelen nog steeds met lange narratieve consistentie. GPT-5-Reasoning presteert het beste (laagste CED: 0,113), gevolgd door Gemini-2.5-Pro en Claude-Sonnet-4.5. Open-source modellen zoals GLM-4.6 en Qwen3-32B vertonen competitieve prestaties.
• Foutdistributie:
  • Fouten komen het meest voor in factuele consistentie en tijdlijn/plotlogica.
  • Generatie-taken (zonder voorafgaande context) leiden tot de hoogste foutdichtheid, vergeleken met vervolmaking of voltooiing.
• Lengte vs. Fouten: Fouten nemen lineair toe met de lengte van de gegenereerde tekst. Modellen die kortere teksten genereren lijken consistenter, maar leveren vaak onvolledige verhalen op.
• Onzekerheid als Signaal: Er is een sterke correlatie gevonden tussen token-level entropie en fouten. Tekstsegmenten met fouten vertonen significant hogere entropie (12-19% hoger dan de baseline), wat suggereert dat modellen onzeker zijn voordat ze een fout maken. Entropie kan dus dienen als een vroege waarschuwingssignaal.
• Correlaties: Fouten in "Factuele & Detailconsistentie" fungeren als een centrale hub en correleren sterk met karakter- en wereldopbouwfouten. Stijlfouten daarentegen lijken onafhankelijk te ontstaan.
• Positieve Distributie: Contradicties komen niet willekeurig voor. Ze clusteren vaak in het midden tot late deel van het verhaal (40-60%), terwijl de oorspronkelijke feiten vaak in het begin (15-30%) worden gevestigd. Geografische en tijdscontradicties hebben de grootste afstand tussen feit en contradictie.

4. Bijdragen

1. ConStory-Bench: Een nieuwe, uitgebreide benchmark met 2.000 prompts en een gedetailleerde taxonomie van 19 fouttypes voor het evalueren van lange verhalen.
2. ConStory-Checker: Een geautomatiseerde, reproduceerbare pijplijn die niet alleen fouten detecteert, maar ook onderbouwd wordt met exacte tekstuele citaten en redeneringen.
3. Systematische Analyse: Een diepgaand onderzoek naar de aard, oorzaken en distributie van consistentiefouten bij diverse LLM-architecturen, inclusief het identificeren van entropie als voorspellende indicator.

5. Significantie

Dit paper vult een kritieke lacune in de NLP-literatuur door de focus te verschuiven van lokaal vloeiende tekst naar globale narratieve coherentie.

• Het biedt een gestandaardiseerde manier om de "herinneringscapaciteit" en logische redenering van LLMs over lange contextvensters te testen.
• De bevindingen dat fouten voorspelbaar zijn op basis van entropie en positie in het verhaal, bieden directe richtlijnen voor toekomstige verbeteringen, zoals het implementeren van dynamische verificatiemechanismen wanneer de modelonzekerheid (entropie) een drempelwaarde overschrijdt.
• Het benadrukt dat het simpelweg vergroten van het contextvenster niet voldoende is; specifieke architecturale of trainingsaanpassingen zijn nodig om wereldregels en karakterconsistentie te behouden in ultra-lange generaties.