Discrete Causal Representations from Heterogeneous Domains: A Bayesian Approach with Social Survey Applications

Technische Samenvatting: Bayesiaans Multi-Domein Causal Representation Learning

Probleemstelling
Causal Representation Learning (CRL) streeft naar het afleiden van hoogwaardige latente causale concepten uit geobserveerde laagwaardige metingen. Hoewel de identificeerbaarheid van dergelijke representaties uitgebreid theoretisch is bestudeerd, blijven praktische, onzekerheidsbewuste methoden voor real-world data onderbelicht. Dit werk adresseert de uitdaging van het leren van discrete causale representaties uit heterogene data verzameld over meerdere domeinen (omgevingen).

De kern van de moeilijkheid ligt in het feit dat causale variabelen vaak latent zijn en slechts indirect worden waargenomen via hoogdimensionale proxies (bijv. enquêtevragen). Bovendien ontstaan distributieverschuivingen tussen domeinen doorgaans door schaarse, gelokaliseerde veranderingen in onderliggende causale mechanismen (interventies), terwijl andere delen van het generatieve proces invariant blijven. Standaard methoden voor causale ontdekking falen vaak in deze setting vanwege de mismatch tussen geobserveerde data en latente variabelen, en het gebrek aan perfecte, single-node interventies in real-world scenario's.

Methodologie
De auteurs stellen een hiërarchisch Bayesiaans model voor dat het datagenererende proces formaliseert als een latent variabelenmodel met discrete causale concepten. Het framework integreert drie sleutelcomponenten:

1. Generatieve Modelstructuur:

   • Latent Causaal Model: De latente variabelen $Z = (Z_1, \dots, Z_L)$ zijn discreet en volgen een causale graaf $G$. De gezamenlijke distributie factoriseert in causale mechanismen $p(Z_\ell | PA_\ell)$.
   • Multi-Domein Interventies: Verschillen tussen domeinen worden gemodelleerd als onbekende, zachte (imperfecte), multi-node interventies op de latente causale mechanismen. Het model gaat uit van een invariante meetprocedure $p(X|Z)$ over alle domeinen, terwijl de latente distributie $p(Z)$ varieert door deze interventies.
   • Discrete Latenten: Het model richt zich op discrete latente variabelen, waardoor de marginale domeinspecifieke distributies $p(X)$ kunnen worden uitgedrukt als eindige mengmodellen met domeinspecifieke menggewichten maar gedeelde mengcomponenten.

2. Bayesiaanse Priors en Aannames:

   • Schaarse Mechanismeverschuivingen: Om te gaan met eindige steekproeven en overfitting te voorkomen, verfijnen de auteurs de hypothese van schaarse mechanismeverschuivingen. Ze introduceren $\epsilon$-interventie detecteerbaarheid (Aanname 3.3), die vereist dat elke actieve interventie een verandering in distributie induceert (gemeten door KL-divergentie) van ten minste $\epsilon$.
   • KL-Thresholded Shift Prior: Om detecteerbaarheid te operationaliseren, ontwikkelen de auteurs een nieuwe prior voor interventieverschuivingen in de logit-ruimte. Deze prior gebruikt een kwadratische benadering van de KL-divergentie om verschuivingen die te klein zijn om te onderscheiden van ruis te trunceren, waardoor verwaarloosbare interventies effectief worden uitgesloten.
   • Sparsity Inductie: Een Beta-Bernoulli prior wordt geplaatst op interventiedoelen om schaarste (sparsity) te induceren, wat de aanname reflecteert dat distributieveranderingen slechts enkele factoren beïnvloeden.
   • Meetmodel: Een additief Gaussisch meetmodel wordt gebruikt, waarbij latente concepten additief bijdragen aan het gemiddelde van de geobserveerde variabelen. Deze parametrisering bevordert de interpreteerbaarheid door latente niveaus als ordinale factoren te behandelen.

3. Inferentie-schema:

   • Vanwege de sterk multimodale aard van de posterior (voortkomend uit permutatiesymmetrieën in de latente ordening), is standaard Gibbs sampling ontoereikend.
   • De auteurs maken gebruik van Sequential Monte Carlo Sampling (SMCS) met likelihood tempering. Deze populatiegebaseerde methode laat een set deeltjes evolueren door een sequentie van tussenliggende distributies (van de prior naar de posterior) via herweging, resampling en mutatie (Gibbs-updates) stappen.
   • De inferentie maakt gebruik van conjuncte updates voor de meeste parameters en gebruikt Pólya-Gamma data-augmentatie om niet-conjuncte logit-parameters efficiënt te verwerken.

Belangrijkste Bijdragen

1. Conceptueel: Het artikel formuleert een hiërarchisch Bayesiaans model voor interventionele multi-domein data, waarbij causale aannames (modulariteit, schaarse verschuivingen) worden vertaald naar specifieke modelleringskeuzes en priors. Het verfijnt de hypothese van schaarse mechanismen voor scenario's met eindige steekproeven via de $\epsilon$-detecteerbaarheidsconditie.
2. Technisch: De auteurs ontwikkelen een nieuwe KL-divergentie getrunceerde prior voor interventieverschuivingen en een SMCS-gebaseerd inferentie-procedure die in staat is complexe, multimodale posteriors over latente causale structuren te verkennen.
3. Empirisch: Het werk demonstreert de toepassing van een volledige unsupervised CRL-pipeline — van modelformulering tot schatting en interpretatie — op complexe real-world data, specifiek sociale en politieke enquête-datasets.

Resultaten
De methode werd geëvalueerd op synthetische data en twee real-world casestudies:

• Synthetische Experimenten: De SMCS-aanpak presteerde beter dan standaard Gibbs sampling, Parallel Tempering en Variational Inference bij het herstellen van de ware latente causale structuur en interventiedoelen. Ablatiestudies toonden aan dat het verwijderen van de KL-thresholding of de sparsity priors de voorspellende fit (LPPD) verbeterde, maar de recovery van de onderliggende causale structuur aanzienlijk verslechterde, wat wijst op een trade-off tussen voorspelling en causale ontdekking.
• World Values Survey (WVS): Toegepast op cross-nationale enquêtegegevens (2017–2022), herstelde het model drie interpreteerbare latente factoren: economische ontbering, demografie en cultureel conservatisme. Deze kwamen overeen met de gevestigde Inglehart–Welzel kaart van cross-culturele variatie. Het model leidde een causale structuur af waarbij economische ontbering en demografie cultureel conservatisme beïnvloeden, en identificeerde landspecifieke interventiepatronen die consistent zijn met bekende sociaaleconomische verschuivingen.
• Amerikaanse Politieke Opinie Data:
  • Real Data: Analyse van enquêtegegevens uit verschillende Amerikaanse regio's en urbaniteitsniveaus onthulde een grotendeels eendimensionale latente structuur die partijdige verdeeldheid reflecteert (platteland versus stedelijke gradiënten), consistent met bekende politieke trends.
  • LLM-gegenereerde Data: Met behulp van een "semi-synthetische" dataset gegenereerd door Large Language Models met gecontroleerde interventies, slaagde het model erin een vijf-variabele causale graaf te herstellen bestaande uit Regulering, Partijdigheid, Handel, Immigratie en Armoede. De herstelde afhankelijkheden (bijv. Regulering $\to$ Armoede) kwamen overeen met de "ground-truth" effecten die in het synthetische generatieproces waren ingebed.

Significantie en Claims
Het artikel claimt een van de eerste succesvolle demonstraties te zijn van het toepassen van een volledige unsupervised CRL-pipeline op complexe real-world data. De significantie ligt in het overstijgen van geïdealiseerde synthetische settings en theoretische identificeerbaarheidsresultaten door een robuust, onzekerheidsbewust Bayesiaans framework te ontwikkelen dat in staat is om te gaan met:

• Eindige steekproefgroottes.
• Imperfecte, multi-node en zachte interventies.
• Partiële identificeerbaarheid en model-misspecificatie.

Door een posterior distributie te targeten in plaats van een punt-schatting, kwantificeert de methode zowel epistemische onzekerheid (door beperkte data) als aleatorische onzekerheid (door inherente ambiguïteit in het generatieve proces). De auteurs positioneren dit werk als een stap naar het overbruggen van de kloof tussen theoretische causale representatie learning en praktische toepassingen in velden zoals de sociale wetenschappen, waar causale variabelen latent zijn en interventies ongeobserveerd zijn.