No More Maybe-Arrows: Resolving Causal Uncertainty by Breaking Symmetries

Dit paper introduceert CausalSAGE, een nieuw raamwerk dat causaliteitsonzekerheid in gedeeltelijke voorouderlijke grafieken oplost door discrete variabelen uit te breiden en structurele kennis te integreren om efficiënt unieke causale gerichte acyclische grafieken te genereren.

De kern

Stel je voor dat je een detective bent die probeert een misdaad op te lossen. Je hebt een lijst met verdachten (de variabelen) en je weet dat er een verband is tussen hen, maar je weet niet precies wie wie heeft aangezet tot het misdaad.

In de wereld van kunstmatige intelligentie heet dit causale ontdekking. Tot nu toe hadden de beste detectives (algoritmen) een groot probleem: ze konden alleen zeggen "A heeft iets te maken met B", maar ze wisten niet of A de oorzaak was van B, of andersom, of misschien was er een onzichtbare derde persoon die beiden beïnvloedde.

Deze onzekerheid noemen onderzoekers een PAG (een "gedeeltelijk georiënteerd graf"). Het is als een schets van een spoorlijn waar sommige stukken wel een richting hebben (pijlen), maar andere stukken alleen lijnen zijn zonder pijlen. Je weet dat er een trein kan rijden, maar je weet niet welke kant op.

Deze nieuwe paper introduceert een slimme nieuwe methode genaamd CausalSAGE. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Misschien-Pijl"

Stel je voor dat je een kaart hebt van een stad. Je ziet dat er een weg is tussen Huis A en Huis B. Maar op de kaart staat een vraagteken: Is het een eenrichtingsweg van A naar B, of andersom?
Voor computers is dit een ramp. Als je wilt voorspellen wat er gebeurt als je in Huis A een knop indrukt (een ingreep), moet je weten welke kant de weg op gaat. Zonder die richting is je voorspelling waardeloos. De oude methoden lieten deze vraagtekens gewoon staan.

2. De oplossing: CausalSAGE (De "Schaal-Verfijner")

CausalSAGE is als een super-scherpe loep die over die vraagtekens gaat en ze oplost. Het doet dit in drie stappen:

Stap 1: Kijk niet naar de hele persoon, maar naar hun humeur (Staat-expansie)
Stel, "Huis A" is een persoon die soms blij is en soms boos. De oude methoden keken alleen naar "Huis A" als één blok.
CausalSAGE zegt: "Wacht even! Als Huis A boos is, loopt het misschien naar Huis B. Maar als Huis A blij is, gebeurt er niets."
Het algoritme splitst elke variabele op in zijn verschillende "toestanden" (zoals een één-hot code). Het kijkt dus niet naar "A", maar naar "A-boos" en "A-blij". Hierdoor ziet het subtiele patronen die eerder verborgen zaten.

Stap 2: De Bouwplaat met Regels (Structuur-encoding)
Het algoritme neemt de oude, onvolledige kaart (de PAG) en gebruikt die als een strikt bouwplan.

• Als de oude kaart zegt "A en B hebben geen contact", dan mag CausalSAGE daar nooit een weg tussen bouwen.
• Als de kaart zegt "A is de ouder van B", dan is de richting vast.
• Maar waar de kaart twijfelt (de vraagtekens), krijgt het algoritme de vrijheid om te zoeken, maar binnen de grenzen van wat logisch mogelijk is.

Stap 3: De Slimme Gok met een Hulpje (Symmetrie-breken)
Dit is het meest creatieve deel. Soms zijn de data zo vaag dat het algoritme twijfelt: "Misschien is het A->B, misschien B->A." Het blijft dan in een loop hangen, net als een kompas dat ronddraait.
CausalSAGE gebruikt een slim trucje om deze twijfel te doorbreken:

• Willekeurige gok: Het geeft een klein, willekeurig duwtje in de ene richting.
• LLM-hulp (De "Slimme Buur"): Als de namen van de variabelen betekenis hebben (bijv. "Regen" en "Nat Gras"), vraagt het algoritme aan een AI (zoals een chatbot): "Wat denk jij? Gaat Regen naar Nat Gras of andersom?" De AI geeft een slimme hint.
  Dit duwtje is niet streng, maar het is genoeg om het algoritme uit de twijfel te halen en te laten kiezen voor de meest waarschijnlijke richting.

3. Het resultaat: Een duidelijke kaart

Na het trainen (het "leren" van de data) krijgt CausalSAGE een volledig georiënteerde kaart. Alle vraagtekens zijn weg, alle pijlen wijzen in één richting, en er zijn geen rondjes (cirkels) in de weg, want dat is logisch onmogelijk in een oorzaak-gevolg relatie.

Waarom is dit belangrijk?

• Sneller en slimmer: Het werkt snel, zelfs met heel grote kaarten (tot wel 700+ variabelen).
• Betrouwbaarder: Het lost de onzekerheid op die andere methoden achterlieten.
• Toepasbaar: Of het nu gaat over ziektes in de biologie, of over de economie, nu kunnen we eindelijk zeggen: "Als we dit doen, gebeurt dat," in plaats van "Misschien gebeurt dat."

Kort samengevat:
CausalSAGE pakt een vaag, onvolledig schetsje van oorzaak en gevolg, vergroot de details op door naar de kleine onderdelen te kijken, en gebruikt slimme hints om de laatste twijfels weg te nemen. Het resultaat is een kristalheldere, complete kaart van hoe de wereld in elkaar zit.

Technische samenvatting

Probleemstelling

Causale ontdekking (causal discovery) uit observationele data is een fundamenteel probleem in kunstmatige intelligentie en datawetenschap. De meeste bestaande algoritmen (zoals FCI of RFCI) kunnen de ware causale gerichte acyclische graaf (DAG) niet uniek identificeren vanwege de beperkingen van observationele data. In plaats daarvan leveren ze een Partiële Ancestral Graph (PAG) op.

Een PAG vertegenwoordigt een Markov-equivalentieklasse: een verzameling van DAGs die dezelfde conditional onafhankelijkheidsrelaties delen. Hoewel PAGs robuust zijn in het weergeven van onzekerheid, laten ze veel randen "onoriënteerd" (vaak aangeduid als "maybe-arrows" of ongerichte lijnen). Dit vormt een groot probleem voor downstream-taken (zoals interventie-effecten schatten of contrafactuele redenering), die een volledig gespecificeerde DAG vereisen. Bestaande methoden om deze onzekerheid op te lossen, vereisen vaak extra, sterke aannames of zijn niet schaalbaar.

Methodologie: CausalSAGE

De auteurs stellen CausalSAGE (Causal State-Augmented Graph Estimation) voor, een differentieerbaar verfijningsframework dat een PAG omzet in een volledig gerichte DAG. Het framework bestaat uit drie nauw gekoppelde fasen:

1. State-level Representatie (State-Aware Representation)

In plaats van discrete variabelen als enkele categorische knopen te behandelen, breidt CausalSAGE elke discrete variabele $V_i$ uit naar een one-hot encoding van zijn individuele toestanden.

• Een variabele met $L_i$ toestanden wordt een vector $z_i \in \{0,1\}^{L_i}$.
• De globale weegmatrix $W$ wordt opgedeeld in blokken $W_{ij}$, waarbij elk element de invloed van een specifieke staat van $V_i$ op een specifieke staat van $V_j$ parameteriseert.
• Dit zorgt voor fijnmazige modellering: verschillende toestanden van een variabele kunnen verschillende causale interacties hebben.

2. Structurele Encodering en Beperking van de Zoekruimte

Het framework gebruikt de input-PAG om de zoekruimte te beperken zonder de onderliggende causaliteit te schenden:

• Harde Constraints: De PAG-skeletstructuur en geïdentificeerde v-structuren worden vertaald naar een binaire mask $S$. Dit zorgt ervoor dat verbindingen die in de PAG verboden zijn, tijdens het trainen altijd nul blijven.
• Zachte Priors (Symmetrie-breking): Om te voorkomen dat het model vastloopt in symmetrische oplossingen (waarbij beide richtingen even waarschijnlijk lijken), worden zachte priors toegepast bij de initialisatie. Dit kan willekeurig zijn of gebaseerd op semantische kennis via een LLM (Large Language Model) die de plausibiliteit van een richting schat op basis van variabele namen.

3. Unified Differentiable Objective

Het model wordt getraind met een gezamenlijke doelstelling die bestaat uit vier componenten:

1. Reconstructie Likelihood ($L_{recon}$): Een cross-entropy verlies dat de data probeert te reconstrueren op basis van de toegestane staat-tot-staat verbindingen. Dit drijft de richtingkeuze aan: de richting die de data beter verklaart, krijgt een sterkere gradient.
2. Blok-gewijze Sparsiteit ($L_{sparse}$): Een gewogen Group Lasso penalty die zwakke blokken (interacties tussen toestanden) onderdrukt om dichte, onnodige structuren te voorkomen.
3. Cycelpenalty ($L_{cycle}$): Een term die de gelijktijdige activering van beide richtingen ($i \to j$ en $j \to i$) straft, waardoor asymmetrie wordt geforceerd zonder harde acyclische constraints tijdens de optimisatie.
4. Skeletbehoud ($L_{skeleton}$): Zorgt ervoor dat randen die in de input-PAG aanwezig zijn, niet volledig worden verwijderd, zelfs als ze zwak zijn, tenzij de data sterk tegenin gaat.

Na training wordt de continue adjacency-matrix gefilterd, worden randen op basis van een drempelwaarde geselecteerd, en wordt een post-hoc check uitgevoerd om eventuele resterende cycli te breken door de zwakste rand te verwijderen.

Belangrijkste Bijdragen

1. Nieuw Framework: CausalSAGE is het eerste framework dat een PAG systematisch en differentieerbaar omzet in een DAG door gebruik te maken van state-level expansie en een gezamenlijke optimisatie.
2. Symmetrie-breking zonder harde aannames: Het lost de Markov-equivalentie op door data-gedreven signalen en zachte priors, in plaats van te vertrouwen op extra experimentele data of onrealistische aannames over de data-generatie.
3. Schaalbaarheid: Door het gebruik van mini-batch training en differentieerbare optimalisatie kan het framework schalen naar zeer grote grafen (tot 724 variabelen), wat een uitdaging is voor traditionele score-based methoden.
4. Open Source: De code is publiek beschikbaar gesteld.

Resultaten

De auteurs evalueren CausalSAGE op diverse benchmarks (van 11 tot 724 variabelen) uit de bnlearn repository:

• Verbetering van PAG naar DAG (Q1): CausalSAGE reduceert de ongerichte randen van FCI/RFCI (die vaak 46%–86% onopgeloste richtingen hebben) naar 0%. Het levert een volledig gerichte DAG op.
• Structuur Nauwkeurigheid: De Structural Hamming Distance (SHD) ten opzichte van de ground-truth DAG neemt significant af. Bijvoorbeeld, op het 'pigs'-dataset daalt de SHD van 276 naar 20.
• Vergelijking met Directe DAG-learners (Q2): CausalSAGE presteert concurrerend met klassieke methoden (zoals PC, MMHC, Tabu) en is stabieler bij het toenemen van de grafgrootte. Waar score-based methoden soms instabiel worden bij grote grafen, blijft CausalSAGE robuust.
• Schaalbaarheid (Q4): Het framework is zeer efficiënt. Het verwerken van een netwerk met 724 variabelen ('Link') duurt slechts ongeveer 12 minuten op één CPU.
• Robuustheid: De resultaten zijn stabiel over verschillende steekproefgroottes en random seeds, vooral wanneer LLM-priors worden gebruikt voor de initialisatie.

Significantie

Dit paper biedt een praktische oplossing voor een langdurig probleem in causale ontdekking: de overgang van een onzekere PAG naar een bruikbare DAG.

• Toepasbaarheid: Het maakt causale inferentie mogelijk in domeinen waar interventiedata onmogelijk of onethisch is (bijv. biologie, economie), maar waar observationele data wel beschikbaar is.
• Efficiëntie: Het lost het probleem van "maybe-arrows" op zonder de rekenkosten van traditionele exhaustive search-methoden, waardoor het toepasbaar is op real-world, grote systemen.
• Toekomstperspectief: Het framework opent de deur voor het integreren van semantische kennis (via LLMs) in causale modellering en kan worden uitgebreid naar dynamische systemen en real-world toepassingen zoals moleculaire netwerken en klimaatmodellen.

Kortom, CausalSAGE transformeert de "onzekerheid" van causale ontdekking van een beperking in een oplosbaar optimalisatieprobleem, resulterend in nauwkeurige, volledig gerichte causale modellen.