📊 statistics

Multi-Domain Causal Empirical Bayes Under Linear Mixing

Deze paper introduceert een multi-domein Empirical Bayes $f$ -modeling algoritme dat, door gebruik te maken van causale invarianties en een lineair mengmodel, de schatting van causale latenten variabelen verbetert ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Bohan Wu, Julius von Kügelgen, David M. Blei

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bohan Wu, Julius von Kügelgen, David M. Blei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een enorme, drukke fabriek werkt. Deze fabriek produceert duizenden verschillende producten (zoals telefoons, auto's en koffiezetapparaten), maar je ziet alleen de verpakkingen die op de lopende band voorbij komen. Je ziet de doosjes, de labels en de kleuren, maar je weet niet precies wat er binnenin zit of hoe de machines die de producten maken precies werken.

In de wereld van kunstmatige intelligentie noemen we dit het probleem van Causale Representatie Learning. We willen weten wat de "echte" onderdelen zijn (de latente variabelen) die de data veroorzaken, niet alleen de data zelf.

Deze paper, geschreven door Bohan Wu en zijn collega's, komt met een slimme nieuwe manier om die "echte onderdelen" te vinden, zelfs als de data ruisig is en uit verschillende soorten fabriekshallen komt.

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. Het Probleem: De Verwarde Verpakkingen

Stel je voor dat je in verschillende fabriekshallen werkt (dit zijn de "domeinen").

In hal 1 maken ze rode auto's.
In hal 2 maken ze blauwe auto's.
In hal 3 maken ze groene auto's.

De manier waarop de auto's worden verpakt (de meetmethode) is overal hetzelfde. Maar de machines die de auto's bouwen, zijn in elke hal iets anders ingesteld (dit zijn de "interventies").

Het doel is om te begrijpen: Wat zijn de echte, fundamentele onderdelen van een auto? (De motor, de wielen, het chassis). Maar je ziet alleen de verpakte auto's. Als je alleen naar één hal kijkt, is het lastig om te weten wat echt belangrijk is en wat toeval is.

2. De Oplossing: De "Empirische Bayes" Magneet

De auteurs gebruiken een statistische techniek genaamd Empirical Bayes.

De Metafoor: Stel je voor dat je duizenden losse puzzelstukjes hebt die over de vloer liggen. Sommige stukjes horen bij een landschap, andere bij een dier. Als je ze één voor één bekijkt, is het chaos. Maar als je ze allemaal tegelijk bekijkt, zie je patronen. Je ziet dat bepaalde stukjes vaak samen voorkomen.
Hoe het werkt: In plaats van elke observatie (elk verpakt product) apart te analyseren, kijkt de methode naar het geheel. Ze gebruiken de informatie uit alle hallen samen om de "ruis" (de onnauwkeurigheden) weg te halen. Ze "krimpen" (shrinkage) de schattingen naar een gezamenlijk gemiddelde, waardoor de echte signalen sterker naar voren komen.

3. De Slimme Truc: De "Score" en de Causale Kaart

De paper introduceert een heel specifiek algoritme (een recept) om dit te doen. Ze maken gebruik van twee belangrijke dingen:

De Causale Kaart (De DAG): Ze weten al hoe de machines in elkaar zitten. Ze weten bijvoorbeeld dat de motor de wielen aandrijft, maar niet andersom. Dit is als een spoorboekje of een recept dat ze al hebben.
De "Score" (De geur): In de wiskunde is een "score" eigenlijk een maat voor hoe waarschijnlijk iets is. Stel je voor dat je in een donkere kamer staat en je moet een object vinden. Je ruikt de lucht. Als je ruikt naar koffie, weet je dat je dicht bij de koffiezetapparaat bent.
- De auteurs gebruiken een techniek om deze "geur" (de score) te berekenen. Ze kijken naar de verpakkingen en zeggen: "Als dit een rode auto is, dan is de kans groot dat de motor eronder zit."
- Ze gebruiken de Causale Kaart om te zeggen: "We hoeven niet naar alles tegelijk te ruiken. Als we weten dat de motor de wielen aandrijft, hoeven we alleen te kijken naar de geur van de motor en de wielen, niet naar de geur van de airco." Dit maakt het berekenen veel sneller en nauwkeuriger.

4. Het Recept (Het Algoritme)

De auteurs hebben een cyclus bedacht, een soort dansstap die ze herhalen tot ze de juiste oplossing hebben gevonden:

Stap 1 (De Gok): Ze maken een gok over wat er in de doosjes zit, gebaseerd op de "geur" (de score) en de causale kaart.
Stap 2 (De Verbetering): Ze kijken naar hun gok en zeggen: "Hm, dit klopt niet helemaal met de verpakkingen die we zien." Ze passen hun gok aan.
Stap 3 (De Herhaling): Ze doen dit steeds opnieuw. Elke keer wordt hun gok iets beter. Ze leren tegelijkertijd hoe de verpakkingen werken én wat er precies in zit.

5. Waarom is dit beter?

Vroeger probeerden mensen dit op twee manieren:

Manier A: Kijk alleen naar één hal. (Te veel ruis, te weinig informatie).
Manier B: Probeer alles tegelijk te raden zonder een kaart. (Te complex, te traag).

Deze nieuwe methode is als een super-slimme detective die:

Alle hallen tegelijk bezoekt.
Een kaart heeft van de fabriek.
Gebruikt maakt van de patronen die in alle hallen hetzelfde zijn (de invariantie).

In hun experimenten (met nep-data) bleek dat deze methode veel nauwkeuriger de "echte onderdelen" terugvond dan andere methoden. Het was alsof ze de verpakkingen konden openmaken zonder ze te beschadigen, puur door slim te kijken naar de patronen.

Samenvatting in één zin

Deze paper leert computers hoe ze uit een brij van verwarde data uit verschillende bronnen de "ware" oorzaken kunnen halen, door slim gebruik te maken van wat ze al weten over de structuur van de wereld en door alle informatie tegelijk te benutten in plaats van stukje bij beetje.

Het is alsof je een raadsel oplost waarbij je niet alleen naar één stukje kijkt, maar naar het hele plaatje, terwijl je weet hoe de puzzelstukjes logisch aan elkaar moeten passen.

Titel: Multi-Domain Empirical Bayes voor Lineair Gemengde Causale Representaties

Auteurs: Bohan Wu, Julius von Kügelgen, David M. Blei
Instituut: Columbia University & ETH Zürich

1. Probleemstelling

Causale representatieleren (Causal Representation Learning, CRL) heeft als doel lage-dimensionale, causale latente variabelen ( $z$ ) te leren uit hoge-dimensionale observaties ( $x$ ). Hoewel er veel onderzoek is gedaan naar de identificeerbaarheid (onder welke voorwaarden $z$ theoretisch hersteld kan worden), is het estimeringsprobleem (hoe leer je $z$ uit eindige, ruisige steekproeven) minder onderzocht.

De specifieke uitdaging in dit artikel is het leren van causale representaties uit multi-domein data. In dit scenario worden verschillen tussen domeinen gemodelleerd als interventies op een gedeelde onderliggende causale structuur (een Structural Causal Model, SCM), terwijl het meetproces (hoe $z$ wordt omgezet in $x$ ) over de domeinen heen invariant blijft. Het doel is om de latente variabelen en het meetmodel nauwkeurig te schatten ondanks ruis en beperkte data per domein.

2. Methodologie

De auteurs stellen een Empirical Bayes (EB) benadering voor, specifiek een f-modeling strategie, om dit simultane inferentieprobleem op te lossen.

A. Model Aannames

Lineair Gaussiaans Meetmodel: De observaties $x$ worden gegenereerd als een lineaire mix van de latente variabelen $z$ met additief Gaussiaans ruis:
$x = A z + \epsilon$
Hierbij is $A$ een onbekend mengmatrix en $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ .
Interventie-SCM Priors: De verdeling van de latente variabelen $z$ per domein wordt bepaald door een acyclisch SCM. Interventies (aangeduid door labels $a$ ) veranderen specifieke mechanismen in het SCM, maar de onderliggende graafstructuur $G$ en de niet-gintervenieerde mechanismen blijven gedeeld.
Orthogonaliteit: De mengmatrix $A$ wordt verondersteld te voldoen aan $A^\top A = D^2$ (kolommen zijn orthogonaal), wat het probleem reduceert tot een variant van het klassieke "normal means" probleem.

B. Het Algoritme: EM f-Modeling

In plaats van de prior $p(z|a)$ expliciet te modelleren (g-modeling), gebruiken de auteurs f-modeling. Hierbij wordt de marginale verdeling van de data $p(x|a)$ direct gemodelleerd om de posterior $p(z|x,a)$ te schatten via Tweedie's formule.

Het voorgestelde algoritme (Algorithm 1) is een Expectation-Maximization (EM) cyclus:

E-stap (Latente Variabelen Schatten):
- Projecteer de observaties $x$ naar een ruimte waar het meetmodel diagonaal is ( $y = O^\top x$ ).
- Gebruik Causale Score Matching om de scorefunctie $\nabla \log p(y|a)$ te schatten. Cruciaal hierbij is het gebruik van de bekende causale graaf $G$ om de scorefunctie te decomponeren in lokale componenten die afhankelijk zijn van ouders en kinderen in de graaf (Markov-blok).
- Pas Tweedie's formule toe om de posterior mean en variantie van $z$ te berekenen:
  $\hat{z} \approx y + \sigma^2 \nabla \log p(y)$
  Dit fungeert als een "denoising" stap die ruis verwijdert door gebruik te maken van de gedeelde structuur over domeinen.
M-stap (Model Parameters Schatten):
- Update de mengmatrix $A$ (gesplitst in orthogonale $O$ en diagonaal $D$ ) en de ruisvariatie $\sigma^2$ door de log-likelihood te maximaliseren, gebruikmakend van de geschatte momenten uit de E-stap.
- De update voor $A$ wordt analytisch opgelost via Singular Value Decomposition (SVD).

C. Causale Score Matching

Een kerninnovatie is het schatten van de scorefunctie. In plaats van een dichte vectorveld te leren (wat computationally duur is), gebruiken de auteurs de causale graaf om aan te nemen dat de score van variabele $j$ alleen afhangt van $y_j$ , de ouders $y_{pa(j)}$ en het interventielabel $a_j$ . Dit leidt tot een gedecoupeerde schatting van $d_Z$ kleinere problemen, wat schaalbaarheid garandeert.

3. Belangrijkste Bijdragen

Formulering van Causal Empirical Bayes: Het koppelen van CRL aan het Empirical Bayes kader, waarbij multi-domein data wordt gezien als een simultane inferentieprobleem met gestructureerde heterogeniteit.
EM-algoritme voor CRL: Ontwikkeling van een iteratief algoritme dat Tweedie's formule combineert met causale score matching om latente variabelen te "denuizen" zonder de prior expliciet te hoeven modelleren.
Causale Score Decompositie: Een methode om de scorefunctie te schatten die gebruikmaakt van de bekende causale graaf om de complexiteit te reduceren en de schatting te stabiliseren.
Theoretische Koppeling: Het tonen aan dat onder bepaalde orthogonaliteitsvoorwaarden het probleem reduceert tot een veralgemeend normal means model, wat de basis vormt voor de EB-schattingen.

4. Resultaten

De methode is geëvalueerd op synthetische data gegenereerd vanuit een SCM met 4 latente variabelen in een ketenstructuur, met verschillende interventies en ruisniveaus.

Vergelijking: De voorgestelde methode (CRL f-modeling met de ware graaf) presteerde aanzienlijk beter dan:
- PCA op gepoolde data.
- Variatie van het algoritme zonder shrinkage ( $\eta=0$ ).
- Methoden die de causale graaf verkeerd specificeren (leeg of volledig).
- Methoden die geen gebruik maken van interventie-informatie.
Nauwkeurigheid: De methode bereikte een lagere Relative Mean Squared Error (RelMSE) voor de geschatte latente variabelen en een lagere Frobenius-fout voor de mengmatrix $A$ .
Stabiliteit: De methode toonde stabiele prestaties over verschillende domeinen en was robuust bij toenemende dimensies van de latente variabelen, mits de juiste graafstructuur werd gebruikt.
Schaalbaarheid: Het gebruik van de causale graaf voor score matching zorgde voor een efficiëntere schaling vergeleken met het leren van een volledig verbonden graaf.

5. Betekenis en Impact

Dit werk biedt een nieuwe, statistisch onderbouwde route voor het leren van causale representaties uit multi-domein data.

Efficiëntie: Door gebruik te maken van Empirical Bayes en Tweedie's formule, omzeilt de methode de noodzaak van complexe variatiele inferentie (zoals bij VAE's) en vermijdt het het modelleren van complexe priors.
Gebruik van Invariance: Het benadrukt hoe invariance in het meetproces en gestructureerde veranderingen in de priors (interventies) kunnen worden gecombineerd om betere schattingen te krijgen dan bij i.i.d. data.
Toepasbaarheid: Hoewel het huidige werk lineaire meetmodellen en bekende graafstructuren vereist, biedt het een raamwerk dat kan worden uitgebreid naar niet-lineaire scenario's (via g-modeling) en onbekende graafstructuren. Het is relevant voor toepassingen zoals single-cell genomics, waar experimenten (interventies) vaak worden uitgevoerd in verschillende condities.

Kortom, het artikel demonstreert dat Empirical Bayes een krachtig en nauwkeurig kader is voor het schatten van causale latenten in complexe, multi-domein omgevingen, mits de juiste causale structuur wordt geïntegreerd in het schattingsproces.