Scalable Contrastive Causal Discovery under Unknown Soft Interventions

Deze paper introduceert een schaalbaar contrastief model voor causale ontdekking dat, ondanks onbekende zachte interventies en beperkte data, een consistent globale causale structuur kan afleiden en theoretisch bewezen is om meer randen te oriënteren dan bestaande methoden.

De kern

Stel je voor dat je een detective bent die probeert een mysterie op te lossen: wie veroorzaakt wat?

In de echte wereld (bijvoorbeeld in de geneeskunde of economie) willen we vaak weten of A B veroorzaakt, of B A veroorzaakt, of dat er een derde factor C is die beide beïnvloedt. Dit noemen we "causale ontdekking".

Het probleem is dat we vaak alleen maar kunnen kijken (observaties). Als we zien dat mensen die koffie drinken ook vaak stress hebben, weten we niet of koffie stress veroorzaakt, of dat stressmensen meer koffie drinken. Dit is als het kijken naar een foto van een ongeluk; je ziet de schade, maar niet hoe het gebeurde.

Om dit op te lossen, doen wetenschappers vaak experimenten (interventies). Ze geven een groep koffie en een groep thee en kijken wat er gebeurt. Maar in de echte wereld zijn deze experimenten vaak imperfect:

1. We weten niet precies wie we hebben gemanipuleerd (misschien was het niet alleen de koffie, maar ook de suiker?).
2. We hebben vaak maar één soort experiment gedaan, niet tientallen.
3. De experimenten zijn "zacht": ze veranderen de manier waarop iets werkt, maar breken het niet helemaal.

De Uitvinding: SCONE

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd SCONE. Ze noemen het een "schaalbaar contrastief model". Dat klinkt ingewikkeld, maar laten we het uitleggen met een simpele analogie.

De Analogie: Twee Soorten Koffiebar

Stel je hebt twee koffiebars in dezelfde stad. Ze zien er hetzelfde uit (dezelfde "bouw" van het bedrijf), maar ze werken iets anders:

• Bar A (Observatie): Mensen komen hier gewoon binnen. Je ziet wie koffie drinkt en wie gestrest is.
• Bar B (Interventie): Iemand heeft hier een geheimzinnige knop omgedraaid. Misschien is de koffie anders, misschien is de muziek veranderd. We weten niet precies welke knop, maar we zien wel dat het gedrag van de klanten verschilt.

Het oude probleem: Als je alleen naar Bar A kijkt, zie je een wirwar van lijntjes. Je weet niet welke lijn een oorzaak is. Als je naar Bar B kijkt, zie je ook een wirwar, maar dan met een lichte verschuiving.

De SCONE-oplossing:
SCONE is als een slimme detective die beide bars tegelijk bekijkt en de verschillen (het contrast) gebruikt om de waarheid te vinden.

1. Kijk naar de stukjes (Subsets): In plaats van de hele stad in één keer te analyseren (wat te groot is voor computers), kijkt SCONE naar kleine groepjes mensen (bijvoorbeeld: alleen de mensen die op maandag komen).
2. Vergelijk de patronen: Voor elk groepje maakt SCONE een schets van de relaties.
   • In Bar A is de lijn tussen "Koffie" en "Stress" een stippellijn (onduidelijk).
   • In Bar B is diezelfde lijn misschien een doorgetrokken lijn met een pijl.
3. De "Contrastieve" Regel: Hier komt de magie. SCONE zegt: "Als de relatie tussen Koffie en Stress verandert in Bar B, maar de relatie tussen Koffie en 'Muziek' niet, dan weten we dat Koffie de oorzaak is van de verandering in Stress."
   • Het model zoekt naar dingen die veranderen (de knoppen die omgedraaid zijn) en dingen die stabiel blijven.
   • Door te kijken wat er anders is, kan het model de richting van de pijlen (wie veroorzaakt wat) bepalen, zelfs zonder te weten welke knop precies omgedraaid is.

Waarom is dit zo speciaal?

• Het werkt ook als je de knoppen niet kent: De meeste oude methoden zeggen: "Je moet precies weten welke variabele je hebt gemanipuleerd." SCONE zegt: "Dat hoeft niet. Als je ziet dat het patroon verschuift, weten we dat er iets is veranderd, en dat is genoeg."
• Het is snel en groot: Oude methoden zijn als het proberen om een hele stad op te lossen met een vergrootglas; het duurt eeuwen. SCONE werkt als een drone die de stad in stukjes scant en die stukjes dan slim aan elkaar plakt. Hierdoor kan het werken met enorme datasets (tot wel 100 variabelen, wat voor deze problemen heel groot is).
• Het is slim overal: Als je het model traint op één type koffie (bijvoorbeeld Arabica), kan het de logica toepassen op een ander type (bijvoorbeeld Robusta). Het leert de regels van de wereld, niet alleen de feiten.

Samenvatting in één zin

SCONE is een slim computerprogramma dat twee verschillende versies van dezelfde situatie vergelijkt, de kleine verschillen eruit haalt en die gebruikt om te achterhalen wie de baas is in een complex netwerk van oorzaak en gevolg, zelfs als we niet precies weten wat er is veranderd.

Het is alsof je twee foto's van een kamer hebt: één met het licht aan en één met het licht uit. Door te kijken wat er verandert (schaduwen, kleuren), kun je precies afleiden waar de lampen staan en hoe ze met elkaar verbonden zijn, zonder dat je de schakelaars hebt gezien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Scalable Contrastive Causal Discovery under Unknown Soft Interventions" in het Nederlands.

Probleemstelling

Causale ontdekking (het reconstrueren van de onderliggende causale structuur van data) is een fundamentele uitdaging in wetenschappen zoals biologie en economie. Traditionele methoden die alleen gebruikmaken van observationele data kunnen de causale structuur slechts identificeren tot een Markov-equivalentieklasse (MEC), wat betekent dat de richting van veel kanten onbepaald blijft.

Hoewel interventiedata de identificatie kan verbeteren, zijn er in realistische scenario's twee grote beperkingen:

1. Onbekende targets: Interventies zijn vaak "soft" (ze veranderen de mechanismen van variabelen zonder de grafstructuur te wijzigen) en de exacte variabelen die worden beïnvloed (de targets) zijn onbekend.
2. Beperkte data: Vaak is slechts één interventieregime beschikbaar naast observationele data, en bestaande methoden (zoals $\Psi$-FCI) schalen niet goed naar grote grafen of vereisen globale toegang tot alle conditionele onafhankelijkheden, wat in de praktijk onmogelijk is.

Het paper richt zich op het probleem van het leren van een causale structuur uit twee regimes (observationeel en interventie) met onbekende soft-interventietargets, waarbij de methode moet schalen naar grote grafen en generaliseren naar ongeziene mechanismen.

Methodologie: SCONE

De auteurs introduceren SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions), een schaalbaar kader dat gebruikmaakt van contrastief leren en axiale aandacht (axial attention).

1. Theoretisch Kader: Beperkte $\Psi$-Equivalentie
In plaats van te proberen de volledige $\Psi$-equivalentieklasse te vinden (zoals $\Psi$-FCI doet), definieert SCONE een beperkte $\Psi$-equivalentieklasse. Dit wordt bepaald door de informatie die daadwerkelijk beschikbaar is:

• Lokale PDAG's (Partially Directed Acyclic Graphs) op subsets van variabelen.
• Een eindige set van geteste invariantiequeries over de twee regimes.
  Het doel is het herwinnen van de test-geïnduceerde $\Psi$-essentiële graaf ($G_{test}$), de meest georiënteerde PDAG die consistent is met deze beperkte informatie.

2. Architectuur
SCONE werkt in drie fasen en gebruikt een transformer-achtige architectuur met twee datastromen:

• Marginal Stream: Verwerkt edge-representaties van gesamplede subsets van variabelen.
• Global Stream: Houdt dichte representaties bij voor alle geordende paren van knopen.

De verwerking verloopt als volgt:

• Sampling: Een greedy-strategie selecteert "toelaatbare subsets" van variabelen, waarbij prioriteit wordt gegeven aan variabelen met hoge sensitiviteit voor regime-veranderingen.
• Lokale Schatting: Op elke subset wordt klassieke causale ontdekking (bijv. PolyBIC) uitgevoerd voor beide regimes apart om lokale PDAGs te genereren.
• Contrastieve Oriëntatieregels (Bias Heads): Dit is het kerninnovatiepunt. In plaats van alleen lokale informatie te gebruiken, past SCONE drie leerbare regels toe die gebruikmaken van cross-regime contrast:
  1. Single-Sided Invariance (SSI): Oriënteert een rand $i-j$ als één knoop invariant is en de andere verandert tussen regimes.
  2. Contrastive V-structure (CVT): Identificeert colliders ($i \to j \leftarrow k$) als de centrale knoop invariant is, maar de omliggende knopen veranderingen vertonen.
  3. Contrastive Discriminating Path (DPT): Gebruikt paden in de grafiek om oriëntaties te bepalen op basis van patronen van invariantie en verandering.
• Aggregatie: Een axiale attention-mechanisme aggregateert de lokale constraints en past de contrastieve bias toe om een globale, consistent georiënteerde PDAG te construeren.

3. Reparameterisatie
De model-embeddings worden gereparameteriseerd in een invariant kanaal (gemiddelde van beide regimes) en een contrast kanaal (verschil tussen regimes). Dit helpt het model om de onderliggende causale structuur te scheiden van regime-specifieke variatie.

Belangrijkste Bijdragen

1. Nieuw Model: SCONE is het eerste schaalbare kader voor causale ontdekking onder onbekende soft-interventies dat generaliseert naar out-of-distribution (OOD) grafen en mechanismen.
2. Theoretische Garanties:
   • Formele definitie van de beperkte $\Psi$-equivalentieklasse en de bijbehorende essentiële graaf.
   • Bewijs dat de drie contrastieve oriëntatieregels $\Psi$-sound zijn (ze oriënteren alleen kanten die in de beperkte klasse verplicht zijn).
   • Bewijs dat niet-contrastieve methoden een strikt kleiner deel van de graaf kunnen herwinnen (een "identificeerbaarheidsplafond").
   • Bewijs van asymptotische consistentie: met voldoende data en sampling convergeert het model naar de juiste $G_{test}$.
3. Schaalbaarheid: Het gebruik van subset-sampling en axiale attention maakt het mogelijk om grafen met honderden knopen te verwerken, wat onmogelijk is voor traditionele constraint-based methoden.

Experimentele Resultaten

De auteurs evalueren SCONE op synthetische data met onbekende soft-interventies en vergelijken het met state-of-the-art baselines (zoals NOTEARS, DCDI, AVICI, SEA).

• In-distribution prestaties: SCONE behaalt de laagste Structural Hamming Distance (SHD) en de hoogste F1-scores op grafen van 20 knopen, zelfs wanneer train- en testdata dezelfde mechanismen delen.
• Out-of-distribution Generalisatie: Wanneer getraind op lineaire/neurale netwerken en getest op onzichtbare mechanismen (polynomen, sigmoïden), overtreft SCONE alle baselines aanzienlijk. Andere methoden falen vaak volledig bij mechanismes die ze niet hebben gezien.
• Schaalbaarheid: Op grote grafen (50 en 100 knopen) behoudt SCONE stabiele prestaties. Baselines zoals NOTEARS en DCDI falen of worden onpraktisch traan (uren tot dagen runtime), terwijl SCONE binnen redelijke tijd draait.
• Ablatie-studies: Het verwijderen van de contrastieve bias-heads (SCONE-NB) of de contrastieve features (SCONE-NC) leidt tot een significante daling in prestaties, wat bewijst dat het contrast tussen regimes essentieel is voor het oriënteren van extra kanten.

Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen de theoretische complexiteit van causale ontdekking met onbekende interventies en de praktische noodzaak van schaalbaarheid.

• Het lost het probleem op van onbekende interventietargets, een veelvoorkomend maar vaak genegeerd probleem in real-world data (bijv. biomedische studies).
• Het introduceert een contrastief paradigma dat bewijst dat het vergelijken van regimes (in plaats van ze apart te analyseren) cruciaal is voor het ontrafelen van causale richting.
• Het biedt een praktisch schaalbaar alternatief voor methoden die te rekenintensief zijn, waardoor causale ontdekking toepasbaar wordt op grootschalige netwerken zoals genregulatie of complexe systemen.

Samenvattend biedt SCONE een robuust, theoretisch onderbouwd en schaalbaar framework voor het herwinnen van causale structuren in complexe, realistische scenario's waar traditionele methoden tekortschieten.