Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

Technische Samenvatting: Grote Taalmodellen voor het Extraheren van Causale Relaties in Sociale Media

Probleemstelling
Disaster intelligence is sterk afhankelijk van situational awareness, wat vaak wordt bemoeilijkt door het retrospectieve en arbeidsintensieve karakter van officiële rapporten na een gebeurtenis (bijvoorbeeld van NOAA). Hoewel sociale media real-time, door de menigte gegenereerde data bieden over gevaren, impact en verstoring van infrastructuur, is het extraheren van geldige causale relaties uit deze berichten inherent moeilijk. Inhoud op sociale media is doorgaans informeel, gefragmenteerd en contextafhankelijk, waarbij causaliteit vaak wordt geïmpliceerd in plaats van expliciet te worden vermeld. Traditionele op regels gebaseerde methoden slagen er niet in deze impliciete relaties te vangen, en bestaande NLP-benaderingen zijn vaak afhankelijk van starre, door mensen geannoteerde sjablonen die zich niet goed lenen voor snel evoluerende disaster contexten. Hoewel Grote Taalmodellen (LLM's) het potentieel bieden om te redeneren over ruisachtige tekst en niet-expliciete relaties af te leiden, bestaat er een kritiek risico dat ze plausibele causale koppelingen genereren op basis van interne voorkennis in plaats van bewijs dat in de specifieke berichten aanwezig is. De centrale onderzoeksvraag is of LLM's effectief geldige causale relaties kunnen extraheren uit disaster-gerelateerde berichten op sociale media.

Methodologie
Om dit aan te pakken, stellen de auteurs een validatiekader voor dat LLM-gegenereerde causale grafieken vergelijkt met door experts onderbouwde referentiegrafieken. De methodologie bestaat uit drie hoofdcomponenten:

1. Constructie van Ground-Truth Causale Grafieken:
   Aangezien er geen bestaande causale grafieken voor specifieke rampen beschikbaar zijn, construeren de auteurs deze met behulp van een "match-and-record"-benadering. Ze beginnen met een algemeen impact-chain-kader (dat causale paden tussen gevaren, blootstelling, kwetsbaarheid en impacten voorstelt) en verfijnen dit met causale bewijzen uit gestandaardiseerde, gezaghebbende rapporten na een gebeurtenis (specifiek NOAA-rapporten). Alleen randen die expliciet worden ondersteund door tekstueel bewijs in deze rapporten worden behouden, waardoor een set gerichte (Oorzaak, Gevolg)-relaties ontstaat die dienen als ground truth.

2. Extrahering van Causale Relaties via LLM's:
   De studie evalueert drie LLM's met variërende architecturen en toegangsmogelijkheden tot data:

   • Grok4.3: Een gesloten bronmodel met native toegang tot data van sociale media voor historische en real-time berichten.
   • GPT-5.5: Een gesloten bronmodel met lange-contextmogelijkheden, maar zonder native toegang tot sociale media.
   • Mistral-7B: Een open-weight, kleiner model met beperkte contextvensters.

   De modellen krijgen de opdracht om causale vermeldingen binnen batches van berichten op sociale media te identificeren, deze te mappen naar een vaste set canonieke variabelen zoals gedefinieerd door het impact-chain-kader, en gerichte causale paren te outputten. Voor modellen met beperkte contextvensters (Mistral-7B) wordt een chunking-strategie toegepast waarbij berichten in batches van 20 worden verwerkt.

3. Evaluatiekader:
   De prestaties van de gegenereerde grafieken worden gemeten tegen de door experts onderbouwde referentiegrafieken met behulp van standaard causal discovery-metrics: Precisie en Recall voor knopen en randen, F1-score, Structurele Hamming-afstand (SHD) en genormaliseerde SHD (nSHD). Cruciaal is dat de studie een gecontroleerd ablatie-experiment omvat waarbij modellen "niet-informatieve" berichten (zonder disaster-specifieke inhoud) krijgen, met externe zoekopdrachten uitgeschakeld. Dit test of de modellen vertrouwen op de verstrekte data of terugvallen op interne priors om causale structuren te genereren.

Belangrijkste Bijdragen

• Door Experts Onderbouwde Causale Grafieken: De auteurs construeren disaster-specifieke ground-truth causale grafieken door een impact-chain-kader af te stemmen op expertrapporten na een gebeurtenis, waardoor een rigoureus benchmark voor evaluatie wordt geboden.
• Extrahering van Causale Relaties uit Sociale Media: De studie evalueert LLM's op het extraheren van causale relaties binnen een vaste set variabelen voor analyse van sociale media, en onderscheidt deze taak van open-ended causal discovery.
• Bewijs versus Voorkennis: Het onderzoek onderzoekt expliciet de spanning tussen bewijsgebaseerde extrahering en model-priors, en onthult hoe de kwaliteit van berichten en modelarchitectuur de geldigheid van geëxtraheerde relaties beïnvloeden.

Resultaten

• Prestaties versus Willekeurige Baseline: Alle geëvalueerde LLM's presteerden significant beter dan een willekeurige baseline (Erdős–Rényi-model), wat aantoont dat de modellen disaster-specifieke causale relaties kunnen afleiden uit tekst van sociale media in plaats van te gokken.
• Modelvergelijking:
  • Grok4.3 behaalde de hoogste F1-scores (0,75 voor Orkaan Irma, 0,71 voor Orkaan Harvey), gedreven door een hoge edge recall terwijl een sterke node precisie werd behouden. Deze prestatie wordt toegeschreven aan de combinatie van geavanceerd redeneren en native toegang tot sociale media.
  • GPT-5.5 deed het concurrerend onder modellen zonder native toegang tot sociale media, maar vertoonde een meer conservatieve extraheringsaanpak, wat resulteerde in een lagere edge recall.
  • Mistral-7B toonde de zwakste algehele prestaties, met name in edge precisie en recall.
• Afhankelijkheid van Voorkennis: In het ablatie-experiment met niet-informatieve berichten daalde de modelprestatie aanzienlijk. GPT-5.5 behield in deze setting relatief hogere F1-scores, wat wijst op een grotere afhankelijkheid van interne priors om plausibele maar niet-onderbouwde structuren te produceren. Daarentegen toonde Grok4.3 strengere bewijstrantjes, weigerde het causale grafieken te genereren voor Orkaan Harvey wanneer het bewijs onvoldoende was, en toonde hoge selectiviteit voor Irma.

Betekenis en Claims
Het artikel claimt dat LLM's veelbelovend zijn voor het extraheren van causale relaties uit sociale media voor disaster decision-support, maar dat hun inzet robuuste mechanismen voor bewijsonderbouwing vereist. De bevindingen benadrukken een dubbele realiteit: geavanceerde modellen zoals Grok4.3 kunnen real-time data effectief benutten om causale grafieken te bouwen, maar er is een aanzienlijk risico dat modellen plausibele maar niet-geverifieerde causale koppelingen genereren op basis van vooraf getrainde kennis wanneer specifiek bewijs ontbreekt. Bijgevolg betogen de auteurs dat geëxtraheerde causale grafieken strikt moeten worden gebruikt als decision-support tools die bronvalidatie en expertreview vereisen, en niet als standalone decision systemen. De studie onderstreept de noodzaak om LLM-output te valideren tegen expertrapporten voordat deze worden geïntegreerd in hoog-risico disaster intelligence-pijplijnen.