Can Large Language Models Infer Causal Relationships from Real-World Text?

Probleemstelling

Het begrijpen en afleiden van causale relaties uit tekst is een fundamenteel aspect van menselijke intelligentie en essentieel voor de ontwikkeling van Artificial General Intelligence (AGI). Hoewel er veel onderzoek is gedaan naar het causale redeneren van Large Language Models (LLMs), vertoont bestaand werk een aanzienlijke beperking: het wordt voornamelijk geëvalueerd op synthetische of vereenvoudigde teksten waarin causale relaties expliciet worden vermeld.

Deze bestaande benchmarks falen in het nabootsen van realiteit, waar causale relaties vaak:

1. Implicit zijn (niet direct verwoord, maar afleidbaar).
2. Verspreid liggen over lange, complexe documenten.
3. Variëren in complexiteit (aantal gebeurtenissen en relaties) en domein.

De kernvraag van dit paper is: Zijn LLMs in staat om causale relaties te infereren uit realistische, complexe teksten, of zijn ze afhankelijk van expliciete aanwijzingen?

Methodologie: Het ReCITE Benchmark

Om dit probleem aan te pakken, introduceren de auteurs ReCITE (Real-world CausalIty from Textual Evidence), het eerste benchmark voor het evalueren van causale redenering uit realistische teksten.

1. Dataverzameling en Constructie:

• Bron: Het dataset is afgeleid van 292 open-access academische papers (van MDPI en PLOS) die causale loopdiagrammen (CLD's) bevatten.
• Ground Truth: Elke paper bevat een menselijk gegenereerd causaal diagram dat als grondwaarheid (ground truth) dient.
• Diversiteit: De teksten variëren sterk in lengte (684 tot 171.141 tekens), complexiteit (5 tot 140 knopen, 6 tot 205 relaties) en domein (17 verschillende velden, waaronder milieuwetenschappen, engineering en business).
• Explicitness: Een cruciale variabele is de mate van expliciteit. In veel gevallen worden de causale knopen niet letterlijk in de tekst genoemd, maar moeten ze worden afgeleid uit de context.

2. Verwerking:

• PDF-naar-Text: Een multi-stap pipeline (met behulp van PyMuPDF en LLMs) converteert PDF's naar gestructureerde Markdown, waarbij niet-tekstuele elementen (grafieken, referenties) worden verwijderd om de taak te vereenvoudigen zonder de inhoud te veranderen.
• Annotatie: Menselijke annotatoren (economiestudenten) hebben de causale diagrammen uit de papers getranscribeerd naar een gestandaardiseerd tekstformaat (bronvariabele -> sink-variabele). De kwaliteit is gecontroleerd met een hoge inter-annotator overeenstemming (F1-score van 0,984 voor randen).

3. Evaluatie Framework (LLM-as-a-Judge):
Omdat traditionele metrics (zoals exacte string matching) ontoereikend zijn voor semantische variatie en abstractieniveaus, hebben de auteurs een LLM-as-a-Judge framework ontwikkeld.

• Judge: Een gespecialiseerde LLM (DeepSeek v3.2) evalueert de gegenereerde grafieken van de geteste modellen.
• Metrics: De judge beoordeelt zowel knopen als randen op basis van:
  • Presence: Komt het concept voor in de grondwaarheid of de brontekst?
  • Semantische Similariteit: Hoe goed komt de betekenis overeen?
  • Abstractie: Is het concept breder, gelijkwaardig of specifieker dan de grondwaarheid?
  • Gewogen Recall: Belangrijke causale drijvers worden zwaarder gewogen dan perifere elementen.
• Validatie: De betrouwbaarheid van de judge is gevalideerd via kruisvalidatie tussen meerdere modellen, wat sterke correlaties toonde.

4. Experimenten:
Tien state-of-the-art (SOTA) LLMs (waaronder Claude Opus 4.5, GPT-5.2, Gemini 3 Pro, DeepSeek R1) werden getest in een zero-shot setting. Er werd ook een ablatiestudie uitgevoerd waarbij modellen de grondwaarheid van de knoopnamen kregen, om te onderscheiden of het probleem ligt bij entiteitsherkenning of causaal redeneren.

Belangrijkste Resultaten

De resultaten tonen aan dat LLMs significant worstelen met causale inferentie uit realistische teksten:

1. Algemene Prestaties: Zelfs de best presterende modellen behalen slechts een gemiddelde F1-score van 0,535 (Claude Opus 4.5). Dit is aanzienlijk lager dan wat vaak wordt aangenomen over de redeneercapaciteiten van LLMs.
2. Impact van Explicitheid: Er is een sterke positieve correlatie tussen de mate van expliciteit in de tekst en de prestaties.
   • Bij zeer expliciete teksten presteren modellen redelijk goed.
   • Bij teksten met weinig expliciete verwijzingen (impliciete causale relaties) daalt de F1-score met ongeveer de helft.
3. Causaal Redeneren vs. Entiteitsherkenning:
   • In de ablatiestudie (waarbij modellen de juiste knoopnamen kregen) verbeterden de prestaties nauwelijks. Dit bewijst dat de primaire bottleneck causaal redeneren is, niet het identificeren van de juiste entiteiten.
   • Modellen genereren vaak plausibele relaties die in de tekst staan, maar missen de specifieke structuur van de grondwaarheid.
4. Foutanalyse:
   • Directionele fouten (omgekeerde causaliteit) zijn zeldzaam (<1,1%).
   • De grootste fout is het missen van specifieke relaties of het toevoegen van spurious (vals-positieve) relaties die wel in de tekst voorkomen maar niet deel uitmaken van de kerncausaliteit.
5. Invloed van Complexiteit: De grootte van de tekst of het aantal knopen heeft een zwakke, maar positieve correlatie met prestaties (waarschijnlijk omdat langere teksten vaak explicieter zijn). De complexiteit van de grafiekstructuur (bijv. cycli) heeft weinig invloed op de moeilijkheidsgraad.

Bijdragen

1. ReCITE Benchmark: Het eerste dataset en benchmark dat specifiek is ontworpen om causale redenering te testen op lange, realistische, academische teksten met variërende niveaus van expliciteit.
2. LLM-as-a-Judge Framework: Een robuust evaluatiemethode die semantische nuance en abstractieniveaus kan beoordelen, essentieel voor het evalueren van grafiekconstructie.
3. Empirisch Bewijs: Het paper levert hard bewijs dat huidige SOTA-modellen fundamenteel tekortschieten in het infereren van complexe causale structuren uit real-world data, zelfs wanneer ze de juiste entiteiten kunnen herkennen.

Significantie en Implicaties

Dit onderzoek is van groot belang voor de AI-gemeenschap omdat het de "reality check" biedt voor de claims over causale redenering van LLMs.

• Beperkingen: Het toont aan dat LLMs vaak oppervlakkige patronen herkennen in plaats van diepgaande causale modellen te bouwen, vooral wanneer informatie impliciet is.
• Toekomstig Onderzoek: Het biedt een kosteneffectief platform (experimenten kosten < $1000) voor onderzoekers om nieuwe methoden te ontwikkelen die beter omgaan met impliciete causaliteit en lange contexten.
• Toepassingen: Voor toepassingen zoals wetenschappelijk onderzoek, beleidsvorming en medische diagnose, waar causale nauwkeurigheid cruciaal is, zijn huidige LLMs nog niet betrouwbaar genoeg zonder menselijke supervisie of geavanceerde augmentatie.

Kortom, hoewel LLMs indrukwekkende taalvaardigheden hebben, blijft het reconstrueren van complexe, onderliggende causale causaliteit uit realistische teksten een onopgeloste uitdaging.