Technische Samenvatting: Karakterisering van Narratieve Inhoud in Web-schaal LLM Pretraining Data

Probleemstelling

Hoewel narratieven een fundamentele vorm van menselijke communicatie zijn en een primaire use case voor Large Language Models (LLM's), blijft de narratieve compositie van web-schaal pretraining corpora grotendeels onverkend. Bestaand onderzoek heeft pretraining data geanalyseerd langs dimensies zoals kwaliteit, toxiciteit en topicdistributie, maar heeft de narratieve structuur niet systematisch onderzocht. Deze kloof is kritiek omdat huidige curatiepraktijken bronnen (bijv. boeken, Reddit, nieuws) behandelen als narratief homogeen. Gevolgelijk kunnen trainingsmengsels de narratieve blootstelling van een model onevenredig verminderen of de gebeurtenisstructuren en perspectieven scheef trekken zonder dat het curatieteam dit weet. De auteurs stellen dat narratieve kwaliteiten waarschijnlijk ongelijk verdeeld zijn over bronnen en onderwerpen op manieren die huidige praktijken noch meten, noch rekening houden met.

Methodologie

De auteurs presenteren een uitgebreid framework om narratieve structuur op schaal te meten met behulp van DOLMA, een open pretraining corpus van 3 biljoen tokens. Hun aanpak bestaat uit vier hoofdfasen:

1. Theoretisch Framework en Annotatiedimensies

Gebruikmakend van narratieve theorie (Herman, 2011; Piper et al., 2021), definiëren de auteurs narrativiteit niet als een binaire classificatie, maar als een continue, multidimensionale structuur. Zij operationaliseren dit in 11 interpreteerbare dimensies gegroepeerd in drie kernonderdelen:

• Agency (5 dimensies): Focalisatie (perspectief), Interne Emotie, Interne Cognitie, Verandering van Toestand en Conflict. Deze worden beoordeeld op een 1–5 Likert-schaal.
• Setting (4 dimensies): Concreetheid, Temporele Gronding, Ruimtelijke Gronding en Sensorische Details. Deze worden eveneens beoordeeld op een 1–5 Likert-schaal.
• Event Relations (3 dimensies): Temporele ordening, Causale relaties en Event Density (gebeurtenissen per token). Deze zijn afgeleid van event trigger detectie en relatie-extractie.

2. Sampling en Dataconstructie

Om de heterogeniteit van webtekst aan te pakken, ontwikkelden de auteurs een vierstaps sampling-pipeline vanuit DOLMA:

1. Extractie: Het extraheren van ~17 miljoen drie-zinnen passages uit ~5 miljoen documenten.
2. Scoring: Gebruik van een DeBERTa-gebaseerde binaire classifier om te filteren op coherente narratieve inhoud.
3. Topic Classificatie: Toepassen van de WEBORGANIZER classifier op Common Crawl-bronnen om subjectdomeinen in balans te brengen.
4. Gestratificeerde Sampling: Het creëren van twee datasets:
   • Gold Dataset: 400 passages handmatig geannoteerd door menselijke experts voor validatie.
   • NARRADOLMA: Een grootschalige dataset van ~3 miljoen passages (afkomstig uit ~785K documenten) gelabeld via een distillatie-pipeline.

3. Modelontwikkeling: NARRABERT

Om annotatie op te schalen buiten de menselijke capaciteit, gebruikten de auteurs een "validation-first" workflow:

• LLM Labeling: Ze vergeleken drie LLM's (Claude Sonnet 4.6, Qwen3, Gemma4) met menselijke annotaties. Gemma4 werd gekozen voor grootschalige labeling vanwege de kosteneffectiviteit en open-source beschikbaarheid.
• Knowledge Distillation: De 5.000 passages gelabeld door Gemma4 werden gebruikt om NARRABERT te trainen, een paar RoBERTa-gebaseerde classifiers. Eén encoder behandelt de 9 Likert-schaal dimensies (Agency en Setting) als regressietaken, terwijl een toegewijde encoder Event Relations afhandelt als binaire classificatietaken.
• Validatie: NARRABERT werd gevalideerd tegen een apart gehouden menselijk geannoteerde set, waarbij het overeenstemmingsniveau vergelijkbaar was met de LLM-docenten voor Agency en Setting, hoewel met iets lagere prestaties op Event Relations door klassenimbalans.

4. Analyse

De auteurs pasten NARRABERT toe op de volledige NARRADOLMA corpus om 12-dimensionale narratieve feature-vectoren voor elk document te genereren. Ze analyseerden deze vectoren met behulp van Principal Component Analysis (PCA) om dominante modi van variatie te identificeren en onderzochten de distributie van deze features over verschillende bronnen en onderwerpen.

Belangrijkste Bijdragen

1. Annotatie Framework: Een op theorie gebaseerd framework dat 11 fijnmazige narratieve dimensies operationaliseert over Agency, Setting en Events.
2. NARRABERT: Een efficiënte classifier die in staat is alle 11 narratieve dimensies te voorspellen, gevalideerd tegen zowel menselijke als LLM-annotaties.
3. NARRADOLMA: Een nieuwe dataset bestaande uit ~3 miljoen gelabelde passages, gesampled uit de DOLMA-corpus met behulp van een geprincipeerde gestratificeerde pipeline.
4. Grootschalige Analyse: De eerste empirische mapping van narratieve structuur in pretraining data, die aantoont dat narrativiteit een continue, multidimensionale structuur vormt in plaats van een enkele scalaire hoeveelheid.

Resultaten

De analyse van NARRADOLMA leverde drie kernempirische bevindingen op:

1. Meetbaarheid: Narratieve structuur is meetbaar op schaal over extreem heterogene data.
2. Multidimensionaliteit: Narratieve kwaliteiten correleren naar drie interpreteerbare hoofdcomponenten (assen):
   • Interiority (PC1): Gedreven door focalisatie, emotie en cognitie.
   • Grounded Eventfulness (PC2): Gedreven door verandering van toestand, conflict, event density en temporele/ruimtelijke gronding.
   • Storyworld Texture (PC3): Gedreven door concreetheid, sensorische details en ruimtelijke gronding.
3. Ongelijke Verdeling: Deze narratieve kwaliteiten zijn niet uniform verdeeld over bronnen of onderwerpen.
   • Bronvariatie: Bronnen zoals Reddit en Gutenberg zijn hoog in Interiority maar laag in andere dimensies, terwijl Wikipedia en Crime/Law hoog scoren op Grounded Eventfulness maar bijna afwezig zijn in Interiority.
   • Topic Variatie: Onderwerpen zoals Food & Dining en Travel scoren hoog op Storyworld Texture, terwijl Software en Finance laag scoren.
   • Interne Diversiteit: Narratief rijke categorieën (bijv. Reddit, Literatuur) vertonen een hoge interne variantie, wat aangeeft dat labels op bronniveau te grof zijn om de narratieve diversiteit te vangen. Het upweighten van een "narratieve" bron verhoogt niet uniform alle narratieve kwaliteiten.

Betekenis en Claims

Het artikel claimt dat narratieve structuur behandeld moet worden als een meetbare, multidimensionale eigenschap van pretraining data, ter aanvulling op bestaande assen zoals kwaliteit en topicdistributie. De auteurs betogen dat huidige curatiepraktijken te grof zijn; beslissingen op bronniveau (bijv. welke corpora worden opgenomen) falen in het rekening houden met de narratieve diversiteit binnen die bronnen.

Door een framework, dataset en modellen te bieden om de distributie van narrativiteit te karakteriseren, legt dit werk de basis voor:

• Begrip van hoe de samenstelling van data narratieve redeneertaken beïnvloedt.
• Onderzoek naar het "creativiteitsdeficit" in LLM storytelling door dit te koppelen aan specifieke trainingsmengsels.
• Toekomstige gecontroleerde experimenten (bijv. met RegMix) om causale verbanden vast te stellen tussen de narratieve compositie van pretraining en downstream modelcapaciteiten.

De auteurs blijven bescheiden over causale claims en merken op dat zij narratieve structuur karakteriseren en in kaart brengen, maar nog geen directe causale links met modelgedrag hebben vastgesteld, wat zij identificeren als een richting voor toekomstig werk. Ze erkennen ook beperkingen, waaronder de gestratificeerde aard van de sample (overrepresentatie van narratieve inhoud ten opzichte van de ruwe DOLMA) en de intrinsieke moeilijkheid van het annoteren van bepaalde dimensies zoals temporele ordening.