Do BERT Embeddings Encode Narrative Dimensions? A Token-Level Probing Analysis of Time, Space, Causality, and Character in Fiction

Titel en Doel

De studie onderzoekt of de ingebouwde representaties (embeddings) van het taalmodel BERT semantische dimensies van fictieve narratieven coderen. Specifiek richt de auteurs zich op vier kernaspecten van verhaalstructuur: tijd, ruimte, causaliteit en personage. Het centrale onderzoeksvraagstuk is of deze hoog-level narratieve structuren, die vaak over meerdere zinnen heen werken, al aanwezig zijn in de token-level embeddings van een voorgeïntegreerd model, zonder dat het model specifiek daarvoor is getraind.

Probleemstelling

Hoewel eerdere "probing"-studies hebben aangetoond dat modellen zoals BERT rijke syntactische informatie bevatten, is er minder bekend over hun vermogen om discursieve narratieve structuren te begrijpen. Narratieve dimensies opereren op een hoger abstractieniveau dan zinsbouw of zelfs zinssemantiek. De uitdaging ligt in het vaststellen of deze complexe relaties (zoals oorzaak-gevolg of ruimtelijke context) expliciet gecodeerd zijn in de vectorruimte van het model, of dat ze slechts impliciet worden opgelost door het model tijdens inferentie.

Methodologie

1. Dataverzameling en Annotatie:

• Corpus: De eerste vijf hoofdstukken van Jane Austen's Pride and Prejudice (1813).
• Annotatie: Een hybride aanpak waarbij een LLM (ChatGPT) werd gebruikt voor initiële token-level annotatie, gevolgd door strikte menselijke verificatie.
• Categorieën: Tokens werden gelabeld als Time, Space, Causality, Character, of Others.
• Datasetgrootte: 5.088 geannoteerde tokens.
• Uitdaging: De dataset vertoont een extreme class-imbalance. De klasse "Others" vormt 70,1% van de data, terwijl "Causality" slechts 0,5% (25 tokens) uitmaakt.

2. Embedding Extractie en Uitlijning:

• Het model BERT-base-uncased werd gebruikt om contextuele embeddings te extraheren.
• Omdat BERT subwoorden (WordPiece) gebruikt en de annotaties op woordniveau (tokens) plaatsvonden, werd een uitlijningsprocedure toegepast: embeddings van subwoorden die bij een geannoteerd token horen, werden gemiddeld om één 768-dimensionale vector per token te verkrijgen.

3. Probing Experiment:

• Linear Probe: Een eenvoudige lineaire classifier (Logistic Regression) werd getraind op de "bevroren" (niet-finetuned) BERT-embeddings om de narratieve labels te voorspellen.
• Omgaan met Class Imbalance: Om te voorkomen dat het model alleen de meerderheidsklasse ("Others") voorspelt, werd een balanced class weighting strategie toegepast. Dit geeft zwaardere straffen voor het verkeerd classificeren van zeldzame klassen (bijv. Causality kreeg een weging van ~41,89 versus 0,28 voor Others).
• Controle-experiment: Een cruciaal onderdeel was een "Control Probe" getraind op willekeurige embeddings (met dezelfde dimensie en variantie als BERT, maar zonder semantische informatie). Dit dient als nullhypothese om te bewijzen dat succes niet puur het gevolg is van het memoriseren van patronen in de data.

4. Analyse:

• Clustering: K-Means clustering en dimensiereductie (PCA, UMAP) werden gebruikt om te zien of narratieve categorieën natuurlijk gescheiden clusters vormen in de vectorruimte.
• Syntax Analyse: De relatie tussen POS-tags (Parts of Speech) en narratieve labels werd onderzocht.

Belangrijkste Resultaten

1. Prestaties van de Probe:

• De echte probe op BERT-embeddings bereikte 94% nauwkeurigheid, aanzienlijk hoger dan de controle-probe op willekeurige embeddings (47%). Dit bevestigt dat BERT betekenisvolle narratieve informatie bevat.
• Met class weighting werd een macro-average recall van 0,83 bereikt.
• Per-klasse prestaties:
  • Character en Others: Zeer hoge prestaties (F1 > 0,96).
  • Time: F1 = 0,77.
  • Space: F1 = 0,59.
  • Causality: F1 = 0,60 (hoewel dit gebaseerd is op slechts 17 trainingsvoorbeelden).

2. "Boundary Leakage" (Grensoverschrijding):

• De confusiematrix toont een specifiek patroon: wanneer zeldzame klassen (Tijd, Ruimte, Causaliteit) verkeerd worden geclassificeerd, worden ze systematisch verward met de meerderheidsklasse "Others", en niet met elkaar.
• Dit suggereert dat "Others" fungeert als een semantische "sink": als de contextuele aanwijzingen zwak zijn, valt het model terug op de meerderheidsklasse.

3. Clustering en Vectorruimte:

• Geen discrete clusters: Unsupervised clustering (K-Means) leverde een zeer lage Adjusted Rand Index (ARI = 0,081) op. Dit betekent dat de narratieve dimensies geen duidelijk gescheiden clusters vormen in de 768-dimensionale ruimte. Ze overlappen sterk en zijn niet lineair scheidbaar.
• Character-fragmentatie: De "Character"-klasse, die dominant is, versplintert over meerdere clusters in plaats van één compacte groep te vormen, waarschijnlijk door de diverse syntactische vormen waarin personages voorkomen.

4. Syntactische Correlaties:

• Er is een sterke link tussen POS-tags en narratieve labels (bijv. voornaamwoorden voor Personage, voorzetsels voor Ruimte). De auteurs waarschuwen echter dat dit deels een artefact is van de annotatiegids zelf, en dat een toekomstige studie nodig is om te ontrafelen hoeveel BERT zelf leert versus wat door de syntaxis wordt opgelegd.

Bijdragen en Significantie

1. Empirisch Bewijs voor Narratieve Codering: Het paper biedt sterk bewijs dat BERT, ondanks dat het is getraind op zelftoezicht (masked language modeling), interne representaties ontwikkelt die narratieve structuren (tijd, ruimte, oorzaak, personage) coderen.
2. Methodologische Rigor: Door het gebruik van een strikt gecontroleerd experiment met willekeurige embeddings en balanced class weighting, worden de resultaten robuust gemaakt tegen de valkuilen van class imbalance en data-memorization.
3. Nuance in Interpretatie: De studie toont aan dat hoewel BERT deze informatie bevat, het niet als discrete, makkelijk scheidbare clusters fungeert. Narratieve semantiek is in de vectorruimte vloeibaar en overlappend ("anisotroop").
4. Identificatie van Grenzen: Het paper identificeert "Boundary Leakage" als een kritieke beperking bij het modelleren van zeldzame narratieve elementen met token-level probes, en wijst op de uitdagingen van multi-token spans (vooral bij Tijd en Ruimte).

Conclusie en Toekomstperspectief

De auteurs concluderen dat BERT embeddings narratieve dimensies bevatten, maar dat deze niet als discrete eenheden zijn opgeslagen. Toekomstig werk moet zich richten op:

• Het uitbreiden van de dataset met meer moderne teksten en volledige verhalen (niet alleen hoofdstukken).
• Het uitvoeren van layer-wise probing om te zien op welke diepte van het model deze informatie het sterkst is.
• Het ontwikkelen van een POS-only baseline om syntactische patronen te scheiden van echte semantische narratieve codering.
• Het gebruik van niet-lineaire classifiers om de complexe, overlappende grenzen tussen narratieve dimensies beter te modelleren.