Technische Samenvatting: Voorbij LLM's: Een Linguïstische Benadering van Causale Graafgeneratie uit Narratieve Teksten

Probleemstelling

Huidige AI-gestuurde benaderingen voor causale graafgeneratie geven vaak de voorkeur aan hoogwaardige causaliteit (bijv. "HIV leidt tot AIDS"), maar hebben moeite om genuanceerde, evenement-specifieke causale relaties vast te leggen binnen discrete narratieven, zoals historische verslagen of literaire fictie. Bestaande methoden volgen doorgaans een tweestaps-pipeline (causaliteitsdetectie gevolgd door graafconstructie), maar kampen met beperkingen op het gebied van interpreteerbaarheid en nauwkeurigheid, met name bij het verwerken van complexe zinsstructuren of impliciete causale links. De kernuitdaging die dit werk aanpakt, is de generatie van verbonden, fijnmazige causale grafen uit narratieve teksten die nauwkeurig de keten van gebeurtenissen leiden naar tastbare uitkomsten reflecteren, waarmee de kloof tussen hoogwaardige causaliteit en specifieke narratieve details wordt overbrugd.

Methodologie

De auteurs stellen een end-to-end framework voor dat linguïstische extractie van kenmerken integreert met moderne taalmodellen om causale grafen te genereren. Het proces bestaat uit vier afzonderlijke stadia:

1. Extractie van Vertices (Knopen)

Het systeem transformeert eerst de ruwe narratieve tekst naar een reeks beknopte, agent-gecentreerde zinnen die dienen als grafen-vertices. Met behulp van een LLM-gebaseerde samenvattingsstrategie (specifiek GPT-4o, gekozen vanwege de superieure prestaties in gebeurteniscompressie), wordt de tekst verwerkt via een gestructureerde prompting-workflow:

• Samenvatting: Het genereren van korte samenvattingen van paragrafen.
• Voornaamwoordvervanging: Het vervangen van voornaamwoorden door expliciete identificatoren (bijv. "De Protagonist").
• Clausulevereenvoudiging: Het opsplitsen van complexe zinnen in enkelvoudige actie-statements.
• Flow-verificatie: Het waarborgen van logische continuïteit terwijl zijdelingende details worden verworpen.
  Elke vertex is beperkt tot maximaal twee clausules, bevat een enkele expliciete agent en maakt gebruik van de actieve vorm.

2. Extractie van de Expert Index

Om de classificatienauwkeurigheid te verbeteren, extraheert het framework zeven linguïstisch gefundeerde kenmerken (de "Expert Index") voor elke zin. Deze kenmerken zijn aangepast van discourse-frameworks (Hemmatian et al., 2021; Hemmatian Borujeni, 2022) en omvatten:

1. Generieke aard: Specifieke versus generieke onderwerpen.
2. Eventiviteit: Dynamische (actie) versus statische (toestand) werkwoorden.
3. Begrensdheid: Episodische, gewoonte- of statische gebeurtenissen.
4. Initiativiteit: Of het onderwerp de actie initieert of ontvangt.
5. Tijdstart: Verleden of heden relatief aan het narratief.
6. Tijd eind: Heden of toekomst relatief aan het narratief.
7. Impact: Of het effect van de gebeurtenis voortduurt of wordt opgelost.

Een RoBERTa-gebaseerde classifier wordt getraind op menselijk geannoteerde data om deze kenmerken voor elke zin te voorspellen.

3. STAC-Categorisering

Het systeem gebruikt een STAC-classificatiemodel om zinnen te categoriseren in vier componenten: Situation (achtergrond), Task (vereiste), Action (activiteit) en Consequence (uitkomst).

• Input: Het model combineert RoBERTa-zin-embeddings (768-dimensionaal) met one-hot gecodeerde Expert Index-kenmerken (13-dimensionaal).
• Architectuur: Een XGBoost-classifier wordt gebruikt om de STAC-label te voorspellen, waarbij gebruik wordt gemaakt van de hybride input van semantische embeddings en expliciete linguïstische kenmerken.
• Prestaties: Deze hybride benadering presteert significant beter dan modellen die alleen embeddings of alleen linguïstische kenmerken gebruiken, evenals zero-shot LLM-baselines.

4. Graafconstructie

Een gestructureerd, vijf-iteratieve prompting-proces met behulp van LangChain construeert de uiteindelijke causale graaf:

1. STAC Bond Learning: Het LLM internaliseert geldige causale verbindingen tussen STாத STAC-categorieën.
2. Identificatie van Causale Relaties: Het model evalueert paren vertices om edges voor te stellen op basis van STAC-bonds.
3. Logische Consistentie en Pruning: Counterfactual redeneren ("Als A niet zou plaatsvinden, zou B dan nog steeds gebeuren?") filtert niet-causale links eruit.
4. Verfijning van Geïsoleerde Vertices: Het model herbezoekt losgekoppelde vertices om over het hoofd geziene oorzaken of effecten te identificeren.
5. Definitieve Graafconstructie: De verfijnde vertices en edges worden samengesteld tot een samenhangend, logisch sluitend diagram.

Belangrijkste Bijdragen

1. Open-Source End-to-End Framework: De auteurs hebben een nieuw pipeline ontwikkeld die de interpreteerbaarheid en nauwkeurigheid van causale graafgeneratie uit narratieve teksten aanzienlijk verbetert vergeleken met bestaande methoden.
2. Linguïstisch Kenmerkensysteem: De introductie van de "Expert Index" (zeven linguïstische kenmerken) biedt een mechanisme om zinnen efficiënt te classificeren voor causale constructie. Dit systeem wordt gevalideerd door experimenten die aantonen dat het combineren van deze kenmerken met semantische embeddings een superieure classificatieprestatie oplevert.
3. Hybride Architectuur: Het paper demonstreert dat een hybride systeem (RoBERTa-embeddings + Expert Index-kenmerken verwerkt door XGBoost) een hogere precisie bereikt bij het identificeren van causale links en het classificeren van narratieve componenten dan LLM-only baselines, terwijl de computationele kosten lager blijven.

Experimentele Resultaten

Het framework werd geëvalueerd op een corpus van 100 hoofdstukken en korte verhalen (variërend van 1800–1950), waaronder werken van O. Henry, Poe en Fitzgerald.

• Vertices Extractie: GPT-4o werd geïdentificeerd als het optimale samenvattingsmodel, met de hoogste scores op het gebied van beknoptheid, dekking en informatie-economie.
• STAC Classificatie: Het XGBoost-model dat zowel RoBERTa als de Expert Index-kenmerken gebruikt, behaalde de hoogste macro-F1 score over alle STAC-categorieën. Het presteerde ongeveer 30% beter dan de RoBERTa-only baseline en een verbetering van 10–15% ten opzichte van de GPT-4 zero-shot classifier.
• Kwaliteit van de Graaf: In paar-vergelijkingen tegenover GPT-4o en Claude 3.5 vertoonde de voorgestelde methode superieure prestaties op de meeste kwalitatieve dimensies:
  • Causaliteit vs. Chronologie: 100% winrate tegen beide baselines.
  • Logische Volledigheid & Nauwkeurigheid van Verbindingen: 100% winrate.
  • Expliciete Motivaties/Intentie: 95% (vs. GPT-4o) en 92% (vs. Claude 3.5).
  • Granulariteit & Hiërarchie: Hoge winrates (84–94%).
  • Leesbaarheid: De voorgestelde methode behield een vergelijkbare leesbaarheid als de baselines (52–57% winrate), wat aangeeft dat er geen concessies worden gedaan aan helderheid ten gunste van nauwkeurigheid.

Betekenis en Claims

Het paper claimt dat het integreren van interpreteerbare linguïstische feature engineering met moderne taalmodellen een robuuste oplossing biedt voor fijnmazige causale redenering in narratieve teksten. Door verder te gaan dan pure LLM-prompting naar een gestructureerde pipeline met linguïstische indices en iteratieve verfijning, bereikt het framework een niveau van precisie en logische consistentie waar huidige state-of-the-art LLM's autonoom moeite mee hebben. De auteurs positioneren dit werk als een stap naar schaalbare, interpreteerbare analyse van grote documentcollecties, waardoor belanghebbenden in staat zijn om gebeurtenisketens in sociale bewegingen, beleidsvorming en historische trends met grotere nauwkeurigheid te volgen. De resulterende tool is open-source, met als doel verdere research in samenvatting, discourse-analyse en kennisgraafconstructie te faciliteren.