LitVISTA: A Benchmark for Narrative Orchestration in Literary Text

Technische Samenvatting van LitVISTA: Een Benchmark voor Narratieve Orkestratie in Literaire Teksten

Probleemstelling
Computationele narratieve analyse beoogt het ritme, de spanning en de emotionele dynamiek die inherent zijn aan literaire teksten, vast te leggen. Hoewel bestaande grote taalmodellen (LLM's) lange verhalen met causale coherentie kunnen genereren, slagen ze er vaak niet in de complexe verhaallijnen en orkestratie die in menselijke verhalen voorkomen, te repliceren. Empirische studies wijzen op een structurele misalignement: door modellen gegenereerde verhalen hebben de neiging om eenvoudigere bochten, eerdere keerpunten en uniform positieve trajecten te vertonen, zonder de grote tegenslagen en klimmende progressie die spanning en tempo creëren in door mensen geschreven werken. Huidige modellen worstelen om een geïntegreerd globaal beeld van narratieve orkestratie te vormen, en slagen er vaak niet in om narratieve functie en structuur gezamenlijk vast te leggen.

Methodologie
Om deze kloof aan te pakken, stellen de auteurs VISTA Space (Viewpoint-Integrated Structural Topology for Analysis) voor, een multidimensionaal raamwerk dat menselijke en modelperspectieven op narratieve structuur verenigt. VISTA Space conceptualiseert narratief begrip als de orkestratie van gebeurtenissen over structurele dimensies heen, verdergaand dan lineaire chronologie naar een topologie gedefinieerd door drie functionele rollen:

1. Impulsen (VI): Ankers die de narratieve staat vooruitbrengen ($\tau \to \tau+1$) en de narratieve ruggengraat vormen.
2. Resonanties (VR): Ankers die de narratieve staat zijdelings uitbreiden zonder het stadium te veranderen ($\tau \to \tau+\delta$), en die beschrijvende textuur bieden.
3. Pauzes (VP): Ankers die narratieve vooruitgang opschorten ($\tau \to \tau$), waardoor de expressieve dichtheid en intensiteit binnen een enkel moment toenemen.

Het raamwerk maakt gebruik van Verb+ als minimale narratieve ankers, die zowel canonieke werkwoorden als gebeurtenis-aanduidende nomina (bijv. "huwelijk", "vertrek") omvatten.

Op basis van dit raamwerk introduceren de auteurs LitVISTA, een structureel geannoteerde benchmark die is gebaseerd op het LitBank-corpus. LitVISTA behandelt verhalen als gestructureerde topologieën in plaats van vlakke sequenties. De dataset bestaat uit volledige narratieve hoofdstukken die zijn geannoteerd met:

• Topologische Rollen: Het classificeren van elke Verb+ als VI, VR of VP.
• Afhankelijkheidsrelaties: Het in kaart brengen hoe Resonanties en Pauzes zich hechten aan de Impuls-ruggengraat, inclusief langetermijnafhankelijkheden die zich uitstrekken over honderden of duizenden karakters.

De evaluatie wordt uitgevoerd onder een orakelsetting, waarbij modellen gouden standaard-gebeurtenisankers worden verstrekt. Hiermee wordt het vermogen van modellen om hoogwaardige narratieve orkestratie uit te voeren (roltoewijzing en afhankelijkheidsoplossing) geïsoleerd van upstream-extractiefouten. De taak vereist dat modellen het narratieve graf in één keer reconstrueren, waarbij ze zowel de topologische rol van elk anker als zijn afhankelijke ouder bepalen.

Belangrijkste Bijdragen

1. VISTA Space: Een representatief raamwerk dat literair narratief begrip modelleert als de orkestratie van gebeurtenissen over structurele dimensies heen, en zo een verenigde ruimte biedt om menselijke en modelrepresentaties te vergelijken.
2. LitVISTA Benchmark: Een hoogprecisie, structureel geannoteerde dataset die VISTA Space operationaliseert. Het encodeert narratieve gebeurtenisfuncties en globale afhankelijkheidsrelaties, waardoor een systematische evaluatie mogelijk wordt van het vermogen van modellen om narratieve orkestratie te herstellen.
3. Empirische Evaluatie: Een uitgebreide analyse van geavanceerde LLM's (inclusief varianten van GPT, Claude, Grok en Gemini) die systematische tekortkomingen in hun narratieve capaciteiten blootlegt.

Resultaten
Evaluatie op LitVISTA onthult aanzienlijke uitdagingen voor huidige modellen:

• Systematische Tekortkomingen: Modellen worstelen om narratieve functie en structuur gezamenlijk vast te leggen. Er is een uitgesproken asymmetrie waarbij hoge prestaties in ankerparsing vaak correleren met zwakke afhankelijkheidsparsing, en vice versa. Weinig modellen bereiken sterke resultaten in beide dimensies tegelijkertijd.
• Invloed van Denkmodi: Het inschakelen van "denk"-modi (chain-of-thought) levert geen uniforme verbeteringen op. In sommige gevallen herverdeelt het modelcapaciteit (wat één metriek verbetert terwijl een andere verslechtert), en in andere gevallen leidt het tot algehele prestatiedegradatie. Dit suggereert dat redeneerprocessen de representatieve flexibiliteit voor literaire taken kunnen beperken in plaats van verrijken.
• Foutmodi: End-to-end analyse geeft aan dat fouten worden gedomineerd door fouten bij ankeridentificatie en lokalisatie. Modellen laten vaak gebeurtenisankers weg of brengen token-spannen verkeerd in lijn, waardoor een zinvolle evaluatie van downstream-redenering wordt verhinderd. Zelfs wanneer ankers worden verstrekt (orakelsetting), slagen modellen er niet in de complexe, niet-lokale topologieën die kenmerkend zijn voor literaire verhalen te reconstrueren, met name die welke langetermijnafhankelijkheden omvatten.

Betekenis
Het artikel positioneert LitVISTA niet als een benchmark voor generatieve kwaliteit, maar als een diagnostische proxy voor narratieve generatie. Door narratieve orkestratie meetbaar te maken, identificeert LitVISTA specifieke structurele gaten waar modellen niet aligneren met menselijke narratieve ervaringen. De auteurs betogen dat huidige modellen narratieve gebeurtenissen behandelen als functionele equivalenten in plaats van structureel onderscheiden rollen, wat leidt tot vlakkere tempo's en zwakkere spanning. Het werk suggereert dat het verbeteren van generatie van verhalen op lange termijn vereist dat men verder gaat dan eenvoudige causale coherentie naar een dieper begrip van narratieve topologie, tempo en spanning. LitVISTA dient als hulpmiddel om toekomstig onderzoek te sturen naar structureel bewuste narratieve analyse en meer mensachtige verhaalgeneratie.