Technische Samenvatting: TabCausal

Probleemstelling

Causale ontdekking (causal discovery) streeft naar het terugwinnen van gerichte causale relaties uit observationele en interventionele data, een taak die centraal staat bij mechanistisch begrip en betrouwbare besluitvorming in velden zoals biologie, aardwetenschappen en financiën. Hoewel klassieke methoden (constraint-based, score-based en functional-based) effectief zijn onder specifieke aannames en voldoende data, worstelen ze vaak in complexe, niet-lineaire, hoog-dimensionale of data-beperkte regimes vanwege restrictieve modelleringscondities en de noodzaak voor dataset-specifieke optimalisatie.

Recente inspanningen om Causal Discovery Foundation Models (CDFMs) te bouwen, proberen dit inferentieproces te amortiseren door een dataset direct in één enkele forward pass naar een causale graaf te mappen. Bestaande CDFMs hebben echter gefaald om consequent sterke klassieke baselines te evenaren. De auteurs identificeren een cruciale bottleneck: de constructie van causale pretraining-taken. Nauwe synthetische generatoren beperken modellen tot specifieke grafische priors, structurele mechanismen of ruisverdelingen, wat het verwerven van overdraagbare structurele inductieve biases verhindert.

Methodologie: TabCausal

De auteurs stellen TabCausal voor, een data-gedreven CDFM die is ontworpen om de beperkingen van nauwe pretraining te overwinnen via een "broad causal pretraining" framework.

1. Broad Causal Pretraining Engine

In plaats van te vertrouven op één enkel simulator-recept, maakt TabCausal gebruik van een dynamische taakconstructie-engine die samples neemt uit een enorme distributie van causale omgevingen. Elke pretraining-episode trekt een configuratie $z$ bestaande uit:

• Grafische Priors: Erdős-Rényi, Scale-Free, Clustered, Hub-Spoke, Layered, en diverse gestructureerde families (bijv. workflow-grafen, risk-root forks).
• Structurele Mechanismen: Een diverse bibliotheek waaronder lineair additief, heteroscedastisch lineair, Random Fourier Features (RFF) additief, MLP-gebaseerd (simpele en harde regimes), multiplicatief, polynomiaal, post-niet-lineair, en diverse monotone/heavy-tail mechanismen.
• Ruismodellen: Gaussisch, Laplace, Cauchy, Uniform, Exponentieel, Gumbel, Student-t, en asymmetrische/mengverdelingen.
• Regimes: Zowel observationele als gemengde observationele-interventionele settings.
• Dimensies en Steekproefgroottes: Variabele graafgroottes ($d$) en steekproefaantallen ($N$) om robuustheid over schalen heen te garanderen.

Deze engine genereert Structurele Causale Modellen (SCM's) met bekende Directed Acyclic Graphs (DAG's) en produceert tabelvormige datasets met optionele interventie-masks, wat een supervised learning-taak creëert waarbij het model de randkanselijkheden (edge probabilities) voorspelt gegeven de data en interventie-indicatoren.

2. Modelarchitectuur

TabCausal maakt gebruik van een transformer-gebaseerde encoder-decoder architectuur die is geoptimaliseerd voor tabeldata:

• Input: Een tensor $X \in \mathbb{R}^{N \times d \times 2}$ die geobserveerde waarden en binaire interventie-indicatoren stapelt.
• Encoder: Een gedeelde lineaire map embedt waarde-indicator paren. De kern bestaat uit $L$ blokken die afwisselend axial attention toepassen over de feature-as en de sample-as. Dit ontwerp legt cross-variabele afhankelijkheden vast binnen rijen en cross-sample regulariteiten binnen kolommen.
• Pooling & Head: De encoder-outputs worden over samples gepooled via max-pooling om feature tokens te verkrijgen. Leerbare parent- en child-projecties ($W_p, W_c$) worden toegepast, en edge scores worden berekend via genormaliseerde cosine similarity met een leerbare temperatuur en bias. De output is een matrix van gerichte randkanselijkheden $\hat{P} \in (0, 1)^{d \times d}$.
• Inference: Het model voert geamortiseerde inferentie uit in een enkele forward pass zonder dataset-specifieke hertraining of optimalisatie.

3. Semantische Causale Omgeving Benchmark

Om de kloof tussen abstracte synthetische generatoren en realistische redenering te overbruggen, introduceren de auteurs een semantische causale omgeving benchmark.

• Constructie: Door mensen gespecificeerde domein-blauwdrukken (bijv. gezondheidszorg, financiën, stedelijk transport) definiëren mechanisme-templates en constraints. Een LLM-ondersteund generatieproces instantieert scenario-specificaties met semantisch betekenisvolle variabelen, edge-rationales en interventie-handles.
• Validatie: Specificaties ondergaan consistentie-audits en worden gecompileerd naar SCM's met simulator-bekende DAG's.
• Scope: 10 thematische domeinen, 100 scenario's en 200 dataset-regime taken (observationeel en gemengd-interventioneel), met specifieke "failure motifs" zoals wachtrijdruk (queue pressure), detectiefouten en proxy-interpretatie.

Belangrijkste Resultaten

Synthetische Benchmarks

Geëvalueerd op zeven heterogene synthetische families (inclusief GP-gebaseerde niet-lineaire, lineaire, en multiplicatieve ruis) over graafgroottes $d \in \{5, 10, 20\}$:

• Algemene Prestaties: TabCausal behaalt de beste macro-gemiddelde rang in zowel observationele als gemengde interventionele regimes.
• Interventionele Winst: Het model vertoont bijzonder sterke prestatiewinsten wanneer er interventionele bewijslast beschikbaar is, waarbij het de beste geaggregeerde F1, Structural Hamming Distance (SHD) en Structural Intervention Distance (SID) bereikt onder de toepasbare methoden.
• Vergelijking: Het presteert beter dan klassieke baselines (PC, GIES, LiNGAM, NOTEARS) en andere geamortiseerde methoden (AVICI, SEA, SDCD).

Semantische Benchmark

Op de domein-gegronde semantische benchmark:

• Observationeel: TabCausal behaalt de op één na beste F1 en de laagste SHD onder de toepasbare methoden, concurrerend met GIES.
• Gemengd-Interventioneel: TabCausal behaalt de sterkste F1, SHD en SID, wat een effectieve exploitatie van interventie-masks in semantisch gegronde scenario's aantoont.
• Robuustheid: De prestaties blijven hoog over diverse failure motifs (bijv. meetfout, wachtrijdruk), wat wijst op generalisatie buiten specifieke semantische patronen.

Schaling en Analyse

• Steekproefgrootte: TabCausal profiteert significant van grotere steekproefgroottes en wordt een van de sterkste methoden in matige- tot grote steekproefregimes, met name op niet-lineaire taken.
• Hoge Dimensies: Het model blijft competitief in hoog-dimensionale settings ($d \in \{50, 100, 300\}$) waar veel optimalisatie-gebaseerde baselines tijdslimieten overschrijden of falen.
• Embeddings: Visualisatie van geleerde embeddings onthult dat het model functionele-rol structuren (bijv. upstream drivers versus downstream consequenties) vastlegt die consistent zijn met de causale semantiek van de data.
• Efficiëntie: TabCausal voert inferentie uit in een enkele forward pass (ongeveer 0,9s voor $d=100$), wat aanzienlijk sneller is dan iteratieve optimalisatie-baselines die vaak de 5-minuten timeout overschrijden.

Betekenis en Claims

Het artikel betoogt dat de schaal, diversiteit en constructiestrategie van causale pretraining-omgevingen de cruciale bottlenecks zijn voor Causal Discovery Foundation Models. Door de focus te verleggen van louter het schalen van een voorspeller naar het ontwerpen van de "causale werelden" waaruit het leert, demonstreert TabCausal dat brede causale pretraining een sleutelcomponent is voor overdraagbare geamortiseerde causale ontdekking.

De auteurs claimen dat:

1. Brede Pretraining Essentieel is: Ablatie-studies bevestigen dat het uitbreiden van de pretraining-distributie (strong-prior versus weak-prior) substantiële prestatiewinsten oplevert, wat valideert dat diverse causale omgevingen de generalisatie drijven.
2. Geamortiseerde Inferentie Haalbaar is: TabCausal bereikt robuuste structuur-reconstructie met single-pass inferentie, wat een lichtgewicht alternatief biedt voor zware optimalisatie-gebaseerde methoden.
3. Semantische Gronding Belangrijk is: De introductie van de semantische benchmark biedt een striktere, meer interpreteerbare OOD-evaluatie, waarbij wordt aangetoond dat de winst van het model zich uitstrekt naar scenario's met expliciete domein-semantiek en realistische bottlenecks.

Het artikel behoudt bescheidenheid met betrekking tot implementatie in de echte wereld, waarbij wordt opgemerkt dat het bewijs geworteld is in synthetische en simulator-gecontroleerde semantische omgevingen. Het erkent resterende uitdagingen, waaronder observationele ambiguïteit, hoog-dimensionale schaling, en het gebrek aan afhandeling voor verborgen confounding, cyclische feedback of temporele structuren.