🤖 AI

CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts

CausalMoE is een miljarden-schaal multimodale fundamentele model dat gebruikmaakt van een patroon-gerouteerde mengeling van heterogene experts en causaliteitsbewuste zelf-aandacht om de beperkingen van traditionele "one-size-fits-all"-benaderingen te overwinnen, waarbij het staat-van-de-kunst Granger causale ontdekking bereikt met verbeterde generalisatie en interpreteerbaarheid door tekstuele en visuele priors te integreren.

Oorspronkelijke auteurs: Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken wie wie beïnvloedt in een chaotische, lawaaierige kamer vol mensen die tegelijkertijd praten. Misschien veroorzaakt een geschreeuw vanuit de keuken een reactie in de woonkamer, of misschien lachen twee mensen gewoon om dezelfde grap zonder met elkaar te praten. Dit is de uitdaging van Granger Causal Discovery: het proberen te vinden van de echte "oorzaak-en-gevolg"-ketens in complexe data over tijd.

Lange tijd probeerden computers dit op te lossen met een "one-size-fits-all" benadering. Ze namen aan dat de hele kamer aan dezelfde regels voldeed. Maar in de echte wereld veranderen de regels. Soms is het stil in de keuken, soms is het chaotisch. Wanneer een computer probeert één enkele regel toe te passen op een kamer die voortdurend van stemming verandert, raakt hij in de war. Hij begint verbindingen te zien die er niet zijn (zoals denken dat de broodrooster de hond deed blaffen, simpelweg omdat ze op hetzelfde moment gebeurden).

Maak kennis met CausalMoE, een nieuw "billion-scale" AI-model dat werkt als een super slimme detective met een team van gespecialiseerde experts. Hier is hoe het werkt, onderverdeeld in eenvoudige delen:

1. De "Chameleon" Strategie: Pattern-Routed Experts

In plaats van één gigantisch brein te gebruiken om de hele kamer te analyseren, verdeelt CausalMoE de data in kleine stukjes (zoals het maken van snapshots van de kamer elke paar seconden). Vervolgens gebruikt het een slimme verkeerregelaar (een "Pattern-Routed Mixture of Heterogeneous Experts") om naar elke snapshot te kijken.

De Analogie: Stel je een spoedeisende hulp in een ziekenhuis voor. Als een patiënt binnenkomt met een gebroken been, stuur je die niet naar een cardioloog; je stuurt die naar een orthopeed.
Hoe het werkt: CausalMoE kijkt naar een brok data en vraagt: "Wat voor soort patroon is dit? Is het een gestaag ritme? Is het een chaotische piek? Is het een seizoensgebonden trend?" Het stuurt dat specifieke brok dan direct naar de gespecialiseerde expert die het best geschikt is om het te behanden.
- Eén expert is erg goed in het opsporen van seizoensgebonden trends (zoals het veranderende weer).
- Een andere is een expert in snelle, chaotische veranderingen (zoals beurscrashs).
- Een andere is een semantische expert die het "verhaal" achter de cijfers leest.
- Een andere is een visuele expert die naar de "vorm" van de data kijkt.

Door de juiste expert het juiste werk te laten doen, stopt het model met het door elkaar halen van verschillende soorten oorzaken, wat voorkomt dat het valse verbanden legt.

2. De "Multimodale" Superkracht: Tussen de regels door lezen

De meeste oude modellen keken alleen naar de ruwe cijfers (de temperatuur, de aandelenprijs, de hartslag). CausalMoE is anders omdat het multimodaal is. Het kijkt niet alleen naar de cijfers; het vertaalt ze naar andere talen om een beter begrip te krijgen.

De Tekstvertaler: Het zet een brok cijfers om in een tekstprompt (zoals een kort verhaal of een nieuwsbericht) en vraagt een massaal taalmodel (LLM) om het te lezen. Dit helpt de AI om de "context" of de "vibe" van de data te begrijpen.
De Visuele Kunstenaar: Het zet de cijfers om in een afbeelding (zoals een lijngrafiek) en vraagt een Vision-Language Model (VLM) om ernaar te kijken. Dit helpt de AI om de "vorm" van de data te zien, zoals een scherpe piek of een vloeiende curve, wat in een spreadsheet moeilijk te zien kan zijn.

Waarom helpt dit? Stel je voor dat je probeert te raden waarom een auto stopte. Als je alleen naar de snelheidsmeter (het getal) kijkt, denk je misschien dat de benzine op is. Maar als je naar een foto van de auto kijdt (visueel) en een briefje leest dat zegt "band lek" (tekst), krijg je het echte antwoord. CausalMoE gebruikt deze extra "aanwijzingen" om de ware oorzaak te achterhalen, zelfs wanneer de cijfers rommelig of schaars zijn.

3. De "Waarheidsdetector": Causality-Aware Attention

Zodra de experts hun werk hebben gedaan, moet het model de definitieve kaart tekenen van wie wat heeft veroorzaakt. Het gebruikt een speciaal hulpmiddel genaamd Causality-Aware Self-Attention.

De Analogie: Denk aan een groep vrienden die proberen te beslissen wie het gerucht heeft verspreid. In plaats van dat iedereen tegelijkertijd met iedereen praat, dwingt dit hulpmiddel de AI om te vragen: "Als ik dit verhaal van deze persoon verander, verandert het verhaal van die persoon dan ook?"
Het dwingt de AI om zeer strikt te zijn en alleen lijnen te treken tussen variabelen die elkaar echt beïnvloeden, waarbij de ruis wordt genegeerd. Dit resulteert in een schone, eenvoudige kaart (een "sparse graph") in plaats van een wirwar van valse verbindingen.

Waarom is dit een grote zaak?

Het paper beweert dat CausalMoE een enorme stap voorwaarts is om twee belangrijke redenen:

Het werkt wanneer data schaars is: Normaal gesproken heeft AI duizenden voorbeelden nodig om te leren. CausalMoE kan de regels ontdekken met zeer weinig voorbeelden (een "few-shot" setting), omdat het de "wereldkennis" van zijn tekst- en beeldexperts gebruikt om de gaten op te vullen. Het is als een detective die een misdaad kan oplossen met slechts een paar aanwijzingen, omdat hij al weet hoe de crimineel gewoonlijk te werk gaat.
Het gaat met chaos om: Real-world data is rommelig en verandert van gedrag. Omdat CausalMoE verschillende brokken data naar verschillende experts stuurt, raakt het niet in de war wanneer de regels veranderen. Het past zich razendsnel aan.

Samenvattend: CausalMoE is een AI met miljarden parameters die stopt met proberen één enkele regel op een veranderende wereld te dwingen. In plaats daarvan fungeert het als een team van specialisten die cijfers vertalen naar verhalen en plaatjes, de data naar de juiste expert sturen, en vervolgens een heldere, eerlijke kaart van oorzaak en gevolg tekenen. Het paper laat zien dat het alle voorgaande methoden verslaat op standaardtests, vooral wanneer er weinig data beschikbaar is om mee te werken.

Technische Samenvatting: CausalMoE

Probleemstelling

Granger Causal Discovery (GCD) is een fundamenteel paradigma voor het analyseren van temporele afhankelijkheden in complexe systemen. Bestaande neurale GCD-methoden vertrouwen echter voornamelijk op een "one-size-fits-all" strategie van Uniform Distribution Modeling (UDM). Deze benadering gaat uit van een homogene datagenereerende proces, waarbij alle temporele segmenten worden behandst als monsters uit een enkele onderliggende distributie. In realistische tijdreeksen faalt deze aanname door rekening te houden met distributieverschuivingen en dynamische regimeveranderingen die zelfs op het niveau van korte temporele patches voorkomen. Gevolgen daarvan leiden UDM-gebaseerde methoden vaak tot verstrengelde representaties en gespruite causale grafen, waarbij genuine causaliteit wordt verdund.

Bovendien zijn huidige GCD-methoden strikt unimodaal en vertrouwen ze uitsluitend op numerieke observaties. In complexe systemen zijn numerieke correlaties alleen vaak onvoldoende voor causale identificatie, aangezien semantische context (tekstuele beschrijvingen, gebeurtenisannotaties) of visuele staten vaak fungeren als kritieke confounders of disambiguerende signalen. Hoewel recente Time Series Foundation Models (TSFMs) dataschaarste aanpakken door middel van grootschalige pretraining, optimaliseren zij voor voorspelling in plaats van causale getrouwheid, waarbij ze structurele variaties vaak absorberen in latente representaties en de invarianties die nodig zijn voor causale ontdekking eroderen.

Methodologie: CausalMoE

Om deze beperkingen aan te pakken, stellen de auteurs CausalMoE voor, een miljarden-schaal multimodale Granger causale foundation model. De architectuur wijkt af van statische modelleringsaannames door expliciet patch-niveau temporele heterogeniteit te modelleren en multimodale priors te integreren. Het framework bestaat uit drie kernmodules:

1. Multimodale Patch Encoding

De invoer multivariate tijdreeks wordt verdeeld in patches. Om gebruik te maken van semantische en visuele priors, wordt elke patch getransformeerd naar drie modaliteiten:

Temporeel: Ruwe numerieke patches.
Tekstueel: Patches worden verpakt in gestructureerde prompts die datasetcontext, historische data, statistische kenmerken (bijv. trends, medianen) en taakinstructies bevatten. Deze worden verwerkt door een bevroren Large Language Model (LLM).
Visueel: Patches worden via bilineaire interpolatie vergroot en genormaliseerd naar afbeeldingen. Deze worden verwerkt door een bevroren Vision-Language Model (VLM).
Cruciaal is dat deze modaliteiten deterministische weergaven zijn van de geobserveerde historische patches, en geen extra exogene variabelen, waardoor ze geen nieuwe confounders introduceren.

2. Pattern-Routed Mixture of Heterogeneous Experts (MoHE)

Om distributieverschuivingen te beheersen, introduceert CausalMoE een Patch-Specific Pattern Routing (PSPR) module. Deze module gebruikt subspace clustering om latente temporele patronen (bijv. seasonaliteit, trends, spectrale variaties) te detecteren en routeert elke patch dynamisch naar de meest geschikte domeinexpert.
De MoHE-architectuur bestaat uit vier gespecialiseerde experts:

Semantic Expert: Encodeert prompt-niveau semantische regelmatigheden (trends, ruispatronen) met behulp van de bevroren LLM.
Multimodal Expert: Legt vorm-niveau visuele structuren vast (scherpte van pieken, envelop morfologie) met behulp van de bevroren VLM.
Temporal Frequency Expert: Combineert tijd-domein kenmerken met Fourier-domein representaties om stationaire spectrale patronen te vangen.
Multiscale Temporal Expert: Aggegreert gedownsamplede representaties om niet-stationaire trends en hiërarchische seizoenspatronen te modelleren.
Een gating netwerk selecteert de top- $k$ experts voor elke patch, wat het ontkoppelen van regime-specifieke mechanismen van gedeelde dynamiek mogelijk maakt.

3. Causality-Aware Self-Attention (CASA) en Graph Recovery

Om interpreteerbare graafherstel te garanderen, maakt CausalMoE gebruik van een Causality-Aware Self-Attention (CASA) mechanisme. In tegenstelling tot standaard self-attention die opereert over tijdstappen, opereert CASA over variabelen. Het vervangt standaard projectiematrices door variabele-niveau projecties ( $\omega_q, \omega_k, \omega_v \in \mathbb{R}^{D \times D}$ ) om attention gewichten te berekenen die expliciet variabele-naar-variabele invloed coderen.
De causale graaf wordt geïnferred via proximale optimalisatie. Een regularisatieterm wordt toegepast op de waarde-projectiegewichten om sparsity in de causale adjacency matrix te bevorderen. De optimalisatie gebruikt proximale gradiëntafdaling met group soft-thresholding om de niet-convexe doelstelling op te lossen, wat resulteert in sparse, interpreteerbare Granger causale grafen.

Belangrijkste Bijdragen

CausalMoE Architectuur: De voorstel van een miljarden-schaal multimodale foundation model dat expliciet patch-niveau temporele heterogeniteit modelleert. Het maakt gebruik van een Pattern-Routed Mixture of Heterogeneous Experts om patches dynamisch naar gespecialiseerde experts te routeren, waardoor regime-specifieke causaliteit wordt ontkoppeld van gedeelde dynamiek.
Multimodale Integratie: De eerste integratie van LLM's en VLM's in de GCD-loop. Door numerieke signalen af te stemmen op tekstuele en visuele priors, reguleert het model de causale schatting in complexe scenario's waar numerieke data alleen ambigu is.
Causality-Aware Mechanisme: Het ontwerp van het CASA-mechanisme en de proximale optimalisatiestrategie om sparse, interpreteerbare Granger causale grafen direct uit de gerouteerde multimodale representaties te herstellen.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op vijf benchmark datasets: synthetische VAR en Lorenz-96 systemen, gesimuleerde fMRI-data, en genexpressie datasets (DREAM-3 en DREAM-4).

Supervised Performance: CausalMoE vestigt een nieuwe state-of-the-art (SOTA) over alle volledig gesuperviseerde benchmarks. Het presteert significant beter dan traditionele methoden (bijv. GC, PCMCI) en recente neurale benaderingen (bijv. NGC, CUTS, JRNGC), met name op complexe, niet-lineaire datasets zoals Lorenz-96 en DREAM-4.
Few-Shot Generalization: In few-shot settings (trainen op 1%–10% van de data) vertoont CausalMoE een uitzonderlijke robuustheid. Het evenaart de prestaties van baselines die getraind zijn op volledige data, terwijl het slechts een fractie van de observaties gebruikt. Zo bereikt het op DREAM-4 een AUROC > 0,6 met slechts 5% van de trainingsdata, terwijl conventionele neurale methoden sterk degraderen.
Ablatie-studies: Het verwijderen van de pattern router, de multimodale transformatie of het CASA-mechanisme verslechtert consequent de prestaties, wat bevestigt dat elk onderdeel noodzakelijk is voor het ontwarren van regimes, het reguleren van afhankelijkheden en het extraheren van sparse causale structuren.
Efficiëntie: Hoewel grotere foundation backbones de prestaties verbeteren, behoudt de lichte variant van CausalMoE sterke causale ontdekkingscapaciteiten met aanzienlijk lagere trainingskosten, aangezien de foundation modellen dienen als bevroren feature extractors.

Betekenis en Claims

Het artikel beweert dat CausalMoE een paradigmaverschuiving vertegenwoordigt van statische, one-size-fits-all causale modellering naar adaptieve, regime-bewuste causale modellering. Door de dichotomie tussen statische modelleringsaannames en dynamische realistische heterogeniteit aan te pakken, maakt CausalMoE betrouwbare causale inferentie mogelijk in data-arme en complexe scenario's waar traditionele methoden falen.

De auteurs benadrukken dat hun aanpak niet louter bestaande modellen opschaalt, maar de causale ontdekkingspipeline fundamenteel heroverweegt door:

Temporele heterogeniteit expliciet te modelleren in plaats van deze glad te strijken.
Semantische en visuele priors te gebruiken om causale links te disambigueren die onidentificeerbaar zijn van enkel numerieke data.
Een praktisch framework te bieden voor "causal-discovery-as-a-service" dat robuust is tegen distributieverschuivingen en beperkte beschikbaarheid van data.

Het werk wordt gepositioneerd als een fundamentele stap richting multimodale causale ontdekking, hoewel de auteurs opmerkingen maken over de afhankelijkheid van predictieve afhankelijkheden (Granger causaliteit) in plaats van interventionele causaliteit, en de potentiële biases die voortvloeien uit pre-trained foundation modellen.