Technische Samenvatting: Het benutten van Large Language Models voor Causal Discovery

Probleemstelling

Causal discovery (causale ontdekking) beoogt causale grafen te reconstrueren uit observationele data om voorspellings- en interventieanalyse mogelijk te maken. Hoewel er statistische methoden bestaan (constraint-based en score-based), leunen deze zwaar op assumpties (bijv. trouw/faithfulness, causale sufficiëntie) en steekproofomvang, wat vaak resulteert in equivalentieklassen in plaats van unieke Directed Acyclic Graphs (DAGs). Het integreren van domeinexpertkennis kan deze resultaten verfijnen, maar het handmatig coderen van beperkingen is arbeidsintensief en behandelt expertinput vaak als "grondwaarheid", wat beperkte mechanismen biedt om conflicten tussen expertintuïtie en statistisch bewijs op te lossen.

Recente benaderingen maken gebruik van Large Language Models (LLMs) om causale beperkingen te extraheren uit de metadata van variabelen. Echter, LLMs zijn imperfecte experts die gevoelig zijn voor hallucinaties en het memoriseren van publieke benchmarks. Een cruciale uitdaging is het onderscheiden van werkelijk causaal redeneren van de letterlijke ophaalactie van gememoriseerde grafen, met name wanneer standaard benchmarks (bijv. Asia, Sachs) waarschijnlijk aanwezig zijn in de pre-training corpora van de LLM.

Methodologie

Het paper stelt ABAPC-LLM voor, een hybride framework dat door LLM afgeleide semantische beperkingen integreert met statistisch bewijs middels Causal Assumption-Based Argumentation (Causal ABA).

1. Het Argumentatieframework (Causal ABA)

In plaats van beperkingen als harde regels te behandelen, modelleert het framework causal discovery als een argumentatieprobleem:

• Assumpties: Kandidaat-causale randen (edges) en conditionele onafhankelijkheidsverklaringen (CI-statements) worden behanden als weerlegbare assumpties.
• Regels: Logische regels coderen acycliciteit en d-separatie principes.
• Aanvallen (Attacks): Incompatibele beperkingen (bijv. een CI-statement dat onafhankelijkheid impliceert versus een beperking die een directe rand impliceert) vallen elkaar aan.
• Resolutie: Het systeem berekent "stabiele extensies", waarbij alleen de grootste subset van assumpties wordt behouden die gezamenlijk verdedigbaar zijn. Dit stelt het framework in staat om conflicten tussen data en expert (of LLM) kennis transparant bloot te leggen en op te lossen, in plaats van blindelings één bron af te dwingen.

2. LLM Integratie Pipeline

De methode behandelt LLMs als imperfecte experts om structurele beperkingen te extraheren:

• Extractie (Elicitation): Een LLM wordt geprompt met variabelenamen en beschrijvingen om lijsten te genereren van Required Directions (randen die moeten bestaan) en Forbidden Directions (randen die niet mogen bestaan).
• Consensus Filtering: Om stochasticiteit en hallucinatie te mitigeren, wordt de LLM vijf keer bevraagd. Alleen beperkingen die in de intersectie van alle vijf de runs verschijnen (unanieme consensus) worden behouden. Deze conservatieve aanpak geeft prioriteit aan hoge precisie boven recall.
• Integratie: Deze consensus-beperkingen worden gecodeerd als feiten binnen het Causal ABA-framework. Cruciaal is dat ze worden gebruikt om bestaande randen die door statistische tests zijn geïdentificeerd te oriënteren, in plaats van nieuwe randen te introduceren. Als een statistische test een rand verwijdert (skeleton reduction), kan de LLM deze niet dwingend terugbrengen.

3. Evaluatieprotocol: CauseNet Synthetische Benchmarks

Om het risico op memorisatie door LLMs aan te pakken, introduceren de auteurs een nieuw evaluatieprotocol met CauseNet, een grootschalige kennisgraaf van oorzaak-en-gevolgrelaties:

1. Structurele Scaffolding: Willekeurige DAGs worden gegenereerd met behulp van Erdős-Rényi, Scale-Free of Lower-Triangle topologieën.
2. Semantische Gronding: De willekeurige DAG-structuur wordt gekoppeld aan een subgraaf binnen CauseNet via geïnduceerde subgraaf-isomorfisme.
3. Heuristische Selectie: Kandidaat-koppelingen worden gerangschikt op basis van semantische compactheid, knopenspecificiteit en structureel-semantische correlatie om te waarborgen dat de resulterende graaf semantisch coherent maar structureel nieuw is.
4. Datageneratie: Observationele data wordt gesampled uit de gegronde DAGs. Dit zorgt ervoor dat de LLM wordt getest op nieuwe semantische combinaties in plaats van gememoriseerde benchmark-grafen.

Belangrijkste Bijdragen

1. ABAPC-LLM Framework: Een principieel, conservatief framework voor hybride causale ontdekking dat LLM-afgeleide beperkingen integreert met datagedreven CI-bewijs via argumentatie. Het behandelt LLM-output als weerlegbaar, waardoor statistisch bewijs de semantische beperkingen kan overrulen wanneer er conflicten ontstaan.
2. Consensus-gebaseerde Extractie: Een pipeline die gebruik maakt van multi-run unanimiteitsfiltering om hoog-precieze directionele beperkingen uit LLMs te extraheren, wat het risico op het opnemen van spookachtige causale links vermindert.
3. Mitigatie van Memorisatiebias: De introductie van het CauseNet-gebaseerde synthetische benchmarkprotocol, dat willekeurige DAGs grondt in real-world concepten om de generalisatie van LLMs buiten gememoriseerde publieke datasets te evalueren.
4. Empirische Validatie: Een uitgebreide evaluatie die competitieve prestaties laat zien op standaard benchmarks en superieure prestaties op de nieuwe synthetische benchmarks, met name op structurele herstelmetrieken (SHD, F1-score).

Experimentele Resultaten

• Synthetische Benchmarks (CauseNet): ABAPC-LLM behaalde de laagste Structural Hamming Distance (SHD) en de hoogste recall over alle aantallen knopen (5, 10, 15). Het presteerde consistent beter dan standaard baselines (MPC, FGS, NOTEARS) en de argumentatie-alleen variant (ABAPC), wat aantoont dat semantische beperkingen de structurele nauwkeurigheid verbeteren wanneer conflicten via argumentatie worden opgelost.
• Standaard Benchmarks (bnlearn): De methode presteerde competitief op standaard datasets (bijv. sachs, child, asia). In sommige gevallen (bijv. earthquake) presteerden standaardmethoden goed, maar ABAPC-LLM behield sterke prestaties, vooral bij grotere, complexere grafen.
• Kwaliteitsanalyse van Beperkingen: De studie onthulde een "synergie"-effect: wanneer LLM-beperkingen van hoge kwaliteit waren, verbeterden ze de uiteindelijke graafnauwkeurigheid aanzienlijk. Echter, beperkingen van lage kwaliteit konden de prestaties verslechteren als ze de relaxatie van sterk statistisch bewijs dwongen, wat het belang van de argumentatielaag benadrukt voor het filteren van ruis.
• Runtime: De aanpak voegt overhead toe voor het oplossen van het argumentatieframework, maar blijft hanteerbaar voor grafen tot ~20 variabelen, met looptijden van seconden voor kleinere datasets.

Betekenis en Claims

Het paper claimt dat ABAPC-LLM een conservatieve en controleerbare methode biedt voor het benutten van LLMs bij causale ontdekking. Door LLM-kennis te behandelen als weerlegbare assumpties in plaats van grondwaarheid, vermijdt het framework de valkuilen van hallucinatie en memorisatie, terwijl het profiteert van het semantische signaal dat LLMs leveren.

De auteurs benadrukken dat hun aanpak niet beweert dat LLMs perfecte causale redeneerders zijn. In plaats daarvan positioneren zij LLMs als een bron van gestructureerde, semantische priors die rigoureus getoetst kunnen worden aan data. Het gebruik van het CauseNet-protocol wordt gepresenteerd als een noodzakelijke stap om de generalisatie te evalueren, waarbij wordt gesteld dat hoge prestaties op standaard benchmarks simpelweg een reflectie kunnen zijn van datacontaminatie. Het werk pleit voor een toekomst waarin LLMs dienen als "controleerbare bronnen van causale richtingen", bemiddeld door formele consistentiechecks, in plaats van autonome besluitvormers.