Causality Elicitation from Large Language Models

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een enorme bibliotheek hebt, maar de boeken zijn geschreven door een zeer slimme, maar soms wat verwarde robot (een "Large Language Model" of LLM). Deze robot heeft alles gelezen wat er op internet staat en kan verhalen vertellen over hoe de wereld werkt. Maar als je vraagt: "Wat veroorzaakt wat?", geeft de robot duizenden antwoorden, maar ze zijn allemaal een beetje anders verwoord.

Soms zegt hij: "De tarieven gaan omhoog."
Soms zegt hij: "Belastingen op import stijgen."
En soms: "Handelsbarrières worden strakker."

Voor een mens is het duidelijk dat dit hetzelfde betekent. Maar voor een computer zijn dit drie totaal verschillende woorden. Als je deze woorden direct gebruikt om een diagram te maken van oorzaak en gevolg, krijg je een rommelige, onleesbare chaos.

Dit artikel beschrijft een slimme manier om die rommel op te ruimen en een duidelijk "hypothese-kaartje" te maken. Hier is hoe ze dat doen, stap voor stap, in gewone taal:

De 5 Stappen van de "Oorzaak-Opkuis"

1. Het Verhaal Genereren (De Robot aan het Werk)
Stel je voor dat je de robot vraagt om 100 verschillende verhalen te schrijven over een onderwerp, bijvoorbeeld: "Wat gebeurt er met de Japanse economie als Trump weer president wordt?" De robot schrijft 100 unieke scenario's. In elk verhaal noemt hij gebeurtenissen (zoals "tarieven verhogen" of "dollars worden sterker").

2. De Gebeurtenissen Plukken (De Oogst)
Nu halen we uit elk verhaal de belangrijkste zinnen eruit die een gebeurtenis beschrijven. Het is alsof we uit 100 verschillende kranten de koppen knippen. Maar nu hebben we een grote stapel met duizenden koppen, waarvan veel op elkaar lijken maar net anders zijn geschreven.

3. De "Naam-Geefster" (De Vertaler)
Dit is de magische stap. De auteurs gebruiken een slimme techniek om de robot te dwingen om deze duizenden verschillende koppen te groeperen.

De Analogie: Stel je voor dat je een grote groep mensen hebt die allemaal "honger" hebben, maar ze zeggen het op 50 verschillende manieren: "Ik heb een hol in mijn maag", "Ik kan een paard opeten", "Mijn maag knort".
De robot kijkt naar deze zinnen, ziet dat ze allemaal hetzelfde gevoel hebben, en zegt: "Oké, jullie zijn allemaal 'HONGER'."
Dit noemen ze canonicalisatie. Ze maken een standaardlijst met duidelijke namen (zoals "Tarieven verhogen" in plaats van 50 variaties). Hierdoor worden de 100 verhalen nu vertaald naar een lijst van slechts 30 duidelijke gebeurtenissen.

4. Het Invulblad Maken (De Matrix)
Nu maken we een groot rooster (een tabel).

De rijen zijn de 100 verhalen.
De kolommen zijn de 30 standaard-gebeurtenissen.
Als in verhaal 1 "Tarieven verhogen" voorkomt, zetten we een kruisje in die kolom. Zo krijgen we een helder overzicht van welke gebeurtenissen vaak samen voorkomen.

5. Het Diagram Tekenen (De Hypothese-kaart)
Tot slot gebruiken ze wiskundige regels (causale ontdekking) om te kijken: "Als gebeurtenis A vaak voorkomt in verhalen waar ook gebeurtenis B in staat, is A dan de oorzaak van B?"
Ze tekenen pijlen tussen de gebeurtenissen. Het resultaat is geen bewezen waarheid, maar een hypothese-kaart. Het is een schets van wat de robot denkt dat de wereld in elkaar zit.

Wat levert dit op?

In het artikel tonen ze twee voorbeelden:

Trump en Japan: De robot tekent een kaartje waaruit blijkt dat hij denkt: "Als de VS handelstarieven verhogen, dan moeten Japanse bedrijven hun fabrieken verplaatsen naar de VS om boetes te vermijden." Dit is een logisch verhaal dat de robot heeft gevonden in zijn kennis.
AI en Goud: De robot ziet een verband: "Als er veel geld in AI-investeringen gaat, stijgen de rentes, en als de rentes stijgen, kopen centrale banken meer goud als veiligheidsnet."

Waarom is dit belangrijk? (En wat is het niet?)

Het is belangrijk om te begrijpen wat dit niet is:

Het is geen wetenschappelijk bewijs. De robot kan zich vergissen. Hij weet niet wat er echt gebeurt in de echte wereld, hij weet alleen wat er in zijn trainingstexten staat.
Het is geen voorspelling van de toekomst.

Het is wel een krachtig hulpmiddel:

Het is een ideeën-generator. Het helpt mensen (experts) om snel te zien welke verbanden er mogelijk zijn.
Het is een checklist. Experts kunnen naar het diagram kijken en zeggen: "Ah, de robot denkt dat A B veroorzaakt. Dat klopt niet helemaal, laten we dat corrigeren."

Samenvattend

Stel je voor dat je een detective bent die duizenden getuigenissen moet analyseren. Iedere getuige gebruikt andere woorden voor hetzelfde. Deze methode is als een slimme tolk die alle getuigenissen samenvat tot een paar duidelijke feiten, en vervolgens een schets maakt van wie wie heeft gezien. Het is geen bewijs van wie de dader is, maar het is een uitstekend startpunt om het onderzoek te beginnen.

De auteurs zeggen eigenlijk: "Laat de AI eerst zijn ideeën op een rijtje zetten in een begrijpelijk diagram, zodat wij mensen die ideeën kunnen controleren, verbeteren en gebruiken voor echte analyses."

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "Causality Elicitation from Large Language Models" in het Nederlands.

Titel: Causaliteit Elicitatie van Grootte Taalmodellen (LLMs)

Auteurs: Takashi Kameyama, Masahiro Kato, et al. (Mizuho-DL Financial Technology Co., Ltd.)
Datum: Maart 2026

1. Probleemstelling

De kern van dit onderzoek is het probleem dat Large Language Models (LLMs) enorme hoeveelheden kennis bevatten, maar het moeilijk is om systematisch en reproduceerbaar causale hypothesen uit deze modellen te halen. Bestaande methoden voor causale analyse vereisen vaak handmatige identificatie van sleutelevents en het specificeren van mechanismen.

Er zijn twee specifieke technische uitdagingen bij het gebruik van LLM-gegenereerde teksten voor causale ontdekking:

Variatie in event-namen: Wanneer een LLM documenten genereert, kunnen dezelfde onderliggende gebeurtenissen (bijv. "tarieven verhogen") worden uitgedrukt met verschillende tekstuele formuleringen (bijv. "tarieven handhaven", "protectionisme intensiveren"). Als deze als aparte variabelen worden behandeld, ontstaat er een "variabele-identiteitsprobleem" dat de stabiliteit van downstream analyse en causale ontdekking ondermijnt.
Afbakening van causaliteit: Het doel is niet om de werkelijke wereldse causaliteit te bewijzen, maar om een framework te bieden dat de set van plausibele causale hypothesen blootlegt die in het LLM zijn gecodeerd. De output is een "hypothese-kaart", geen gevalideerd causaal model.

2. Methodologie: De Vijf-Stappen Pipeline

De auteurs stellen een pipeline voor om causale relaties tussen events te eliciteren. De methode bestaat uit vijf stappen:

Stap (i): Documentgeneratie

Op basis van een specifiek onderwerp (topic) worden $N$ analytische documenten gegenereerd door een LLM. De prompt instrueert het model om te handelen als een analist en gedetailleerde scenario's te schrijven die gebaseerd zijn op concrete events en mechanismen (bijv. "Wat veroorzaakt wat?").

Stap (ii): Event-extractie

Uit elk gegenereerd document worden zinnen of zinsdelen geëxtraheerd die een "event" beschrijven (bijv. beleidsacties, marktbewegingen). Een robuuste laag normaliseert de output van de LLM (JSON, lijsten, opsommingstekens) naar een gestandaardiseerde lijst van tekststrings.

Stap (iii): Event-kanonisatie (Kerninnovatie)

Dit is de cruciale stap om de variatie in naamgeving op te lossen.

Embedding-first strategie: Alle geëxtraheerde event-strings worden omgezet in vector-embeddings (bijv. met text-embedding-3-large).
Clustering: Er wordt MiniBatchKMeans toegepast om semantisch vergelijkbare events te groeperen.
LLM-naming: Voor elke cluster kiest de LLM een representatief voorbeeld en genereert één menselijk leesbare "kanonieke label" (bijv. "Tariefverharding").
Resultaat: Een mapping-functie $f$ die ruwe strings afbeeldt op een stabiele set kanonieke labels ( $V_{canon}$ ).

Stap (iv): Constructie van de Document-Event Incidentiematrix

Op basis van de kanonisatiemap wordt een binaire matrix $Z$ ( $N \times C$ ) geconstrueerd, waarbij $N$ het aantal documenten is en $C$ het aantal kanonieke events.

Als een document een van de ruwe varianten van een kanoniek event bevat, krijgt de corresponderende kolom in de matrix een waarde van 1 (logische OR-operatie).
Dit creëert een stabiele dataset voor causale ontdekking.

Stap (v): Causale Ontdekking

Op de binaire matrix $Z$ worden standaard algoritmen voor causale ontdekking toegepast om kandidaat-graafstructuren te schatten:

PC (Constraint-based): Gebaseerd op tests voor conditionele onafhankelijkheid.
GES (Score-based): Zoekt een gerichte graaf door score-optimalisatie.
LiNGAM (Functioneel model): Schat een causale volgorde via ICA.

3. Belangrijkste Bijdragen

Integratie van Canonicalisatie en Causale Ontdekking: De auteurs koppelen expliciet event-kanonisatie (via embeddings en LLM-naming) aan causale ontdekking. Dit lost het probleem van "variabele fragmentatie" op dat vaak optreedt bij tekstuele data.
Framework voor Hypothese-Generatie: De methode biedt een reproduceerbaar proces om de "interne causaliteit" van een LLM te externaliseren als een inspecteerbare graaf. Het is ontworpen als een startpunt voor experts om hypothesen te formuleren, niet als een definitief antwoord.
Robuustheid: Door het gebruik van kanonieke labels en binaire aggregatie wordt de stabiliteit van de downstream analyse verbeterd, ondanks de variabiliteit in de gegenereerde tekst.

4. Resultaten (Empirische Analyse)

De auteurs testen de pipeline op twee casestudies:

Casus 1: Trump's beleidseffect op de Japanse economie (na 2026)
- Data: 100 documenten, 30 kanonieke events.
- Resultaat: De PC-algoritme identificeerde drie terugkerende mechanismen:
  1. Technologische restricties leiden tot lokale inkoop en Japanse FDI in de VS.
  2. Een bundel van handelsregels en "Buy American"-nationalisme.
  3. Japanse reactieknopen (zoals defensie-uitgaven en monitoring) die als 'sinks' fungeren voor Amerikaanse druk.
- De graaf gaf een interpreteerbaar beeld van hoe handelsdruk en veiligheidsbeleid de economische aanpassingen van Japan beïnvloeden.
Casus 2: Investeren in AI en goudprijzen
- Data: 100 documenten, 20 kanonieke events.
- Resultaat: De graaf scheidde twee kanalen:
  1. Een macro-financieel kanaal (AI-investering $\rightarrow$ groei/rente $\rightarrow$ goud).
  2. Een geopolitiek kanaal (AI-chip exportrestricties $\rightarrow$ Taiwan-spanningen $\rightarrow$ centrale banken kopen goud).
- Beide kanalen convergeren in een hub voor goudvraag.

In beide gevallen leverden de algoritmen (PC, GES, LiNGAM) consistente structuren op die de onderliggende logica van de LLM-narratieven blootlegden.

5. Beperkingen en Toekomstperspectief

Kwaliteit van Data: De output is gebaseerd op LLM-generatie en kan prompt-bias of omissies bevatten.
Discrete Data: De gebruikte methoden (zoals PC en LiNGAM) zijn vaak ontwikkeld voor continue data, terwijl de input hier binaire incidentiematrices zijn.
Tijdsorde: De huidige matrix verliest de interne volgorde van events binnen een document. Causale richting is hierdoor voornamelijk gebaseerd op co-occurrence, niet op tijdsvolgorde (tenzij expliciet geforceerd).
Validatie: De graaf is een hypothese-ruimte. Echte causaliteit vereist externe validatie, expertreview en identificatie-annames.

6. Significatie

Dit onderzoek biedt een brug tussen Natural Language Processing (NLP) en causale inferentie. Het stelt onderzoekers en analisten in staat om de complexe, vaak impliciete causale verbanden in grote taalmodellen te "ontgrendelen" en te structureren in een formeel, inspecteerbaar formaat. Dit is waardevol voor scenario-planning, beleidsanalyse en het genereren van hypothesen in domeinen waar historische data schaars of complex is. De methode benadrukt dat LLMs niet als "waarheid" moeten worden gezien, maar als krachtige instrumenten om de ruimte van plausibele causale relaties te verkennen.