Discrete Causal Representations from Heterogeneous Domains: A Bayesian Approach with Social Survey Applications

Sintesi Tecnica: Apprendimento di Rappresentazioni Causali Multi-Dominio Bayesiano

Configurazione del Problema
L'apprendimento di rappresentazioni causali (CRL - Causal Representation Learning) mira a inferire concetti causali latenti di alto livello da misurazioni osservate di basso livello. Sebbene l'identificabilità di tali rappresentazioni sia stata ampiamente studiata teoricamente, i metodi pratici che tengano conto dell'incertezza per dati del mondo reale rimangono scarsamente esplorati. Questo lavoro affronta la sfida di apprendere rappresentazioni causali discrete da dati eterogenei raccolti attraverso molteplici domini (ambienti).

La difficoltà principale risiede nel fatto che le variabili causali sono spesso latenti e osservate solo indirettamente attraverso proxy ad alta dimensionalità (ad esempio, risposte a sondaggi). Inoltre, i cambiamenti di distribuzione tra i domini derivano tipicamente da cambiamenti sparsi e localizzati nei meccanismi causali sottostanti (interventi), mentre altre parti del processo generativo rimangono invarianti. I metodi standard di scoperta causale spesso falliscono in questo scenario a causa del disallineamento tra i dati osservati e le variabili latenti, e della mancanza di interventi perfetti su singolo nodo nei veri scenari del mondo reale.

Metodologia
Gli autori propongono un modello bayesiano gerarchico che formalizza il processo di generazione dei dati come un modello a variabili latenti con concetti causali discreti. Il framework integra tre componenti chiave:

1. Struttura del Modello Generativo:

   • Modello Causale Latente: Le variabili latenti $Z = (Z_1, \dots, Z_L)$ sono discrete e seguono un grafo causale $G$. La distribuzione congiunta si fattorizza in meccanismi causali $p(Z_\ell | PA_\ell)$.
   • Interventi Multi-Dominio: Le differenze tra i domini sono modellate come interventi sconosciuti, "soft" (imperfetti) e multi-nodo sui meccanismi causali latenti. Il modello assume un processo di misurazione invariante $p(X|Z)$ in tutti i domini, mentre la distribuzione latente $p(Z)$ varia a causa di questi interventi.
   • Latenti Discreti: Il modello si concentra su variabili latenti discrete, permettendo alle distribuzioni marginali specifiche per dominio $p(X)$ di essere espresse come modelli di miscela finiti con pesi di miscela specifici per dominio ma componenti di miscela condivise.

2. Prior Bayesiani e Assunzioni:

   • Spostamenti di Meccanismo Sparsi: Per gestire campioni finiti ed evitare l'overfitting, gli autori raffinano l'ipotesi dello spostamento di meccanismo sparso. Introducono la rilevabilità dell'intervento $\epsilon$ (Assunzione 3.3), richiedendo che ogni intervento attivo induca un cambiamento distributivo (misurato dalla divergenza KL) di almeno $\epsilon$.
   • Prior di Spostamento con Soglia KL: Per operazionalizzare la rilevabilità, gli autori ideano un nuovo prior per gli spostamenti di intervento nello spazio dei logit. Questo prior utilizza un'approssimazione quadratica della divergenza KL per troncare gli spostamenti troppo piccoli per essere distinguibili dal rumore, escludendo efficacemente interventi trascurabili.
   • Induzione della Sparsità: Un prior Beta-Bernoulli è posto sui target di intervento per indurre la sparsità, riflettendo l'assunto che i cambiamenti di distribuzione influenzino solo pochi fattori.
   • Modello di Misurazione: Viene utilizzato un modello di misurazione gaussiano additivo, in cui i concetti latenti contribuiscono additivamente alla media delle variabili osservate. Questa parametrizzazione favorisce l'interpretabilità trattando i livelli latenti come fattori ordinali.

3. Schema di Inferenza:

   • A causa della natura altamente multimodale della distribuzione a posteriori (derivante dalle simmetrie di permutazione nell'ordinamento dei latenti), il campionamento Gibbs standard è insufficiente.
   • Gli autori impiegano il Campionamento Monte Carlo Sequenziale (SMCS) con tempering della verosimiglianza. Questo metodo basato su popolazione evolve un insieme di particelle attraverso una sequenza di distribuzioni intermedie (dal prior alla posterior) utilizzando passaggi di riponderazione, ricampionamento e mutazione (aggiornamenti Gibbs).
   • L'inferenza sfrutta aggiornamenti coniugati per la maggior parte dei parametri e utilizza l'aumento dei dati Pólya-Gamma per gestire efficientemente i parametri logit non coniugati.

Contributi Chiave

1. Concettuale: Il documento formula un modello bayesiano gerarchico per dati multi-dominio interventistici, traducendo assunti causali (modularità, spostamenti sparsi) in scelte di modellazione e prior specifiche. Affina l'ipotesi dello spostamento di meccanismo per scenari a campioni finiti tramite la condizione di $\epsilon$-rilevabilità.
2. Tecnico: Gli autori sviluppano un nuovo prior troncato dalla divergenza KL per gli spostamenti di intervento e una procedura di inferenza basata su SMCS capace di esplorare posteriori complesse e multimodali sulle strutture causali latenti.
3. Empirico: Il lavoro dimostra l'applicazione di una pipeline completa di CRL non supervisionata — dalla formulazione del modello alla stima e interpretazione — su complessi dati del mondo reale, specificamente dataset di sondaggi sociali e politici.

Risultati
Il metodo è stato valutato su dati sintetici e due casi di studio del mondo reale:

• Esperimenti Sintetici: L'approccio SMCS ha superato il campionamento Gibbs standard, il Parallel Tempering e l'Inferenza Variazionale nel recuperare la vera struttura causale latente e i target di intervento. Gli studi di ablazione hanno mostrato che rimuovere il troncamento KL o i prior di sparsità migliora la capacità predittiva (LPPD) ma degrada significativamente il recupero della struttura causale sottostante, evidenziando un compromesso tra predizione e scoperta causale.
• World Values Survey (WVS): Applicato a dati di sondaggi transnazionali (2017–2022), il modello ha recuperato tre fattori latenti interpretabili: difficoltà economica, demografia e conservatorismo culturale. Questi si allineano con la mappa stabilita di variazione transculturale di Inglehart–Welzel. Il modello ha inferito una struttura causale in cui la difficoltà economica e la demografia influenzano il conservatorismo culturale, e ha identificato pattern di intervento specifici per paese coerenti con noti cambiamenti socioeconomici.
• Dati sull'Opinione Politica USA:
  • Dati Reali: L'analisi di dati di sondaggio provenienti da diverse regioni degli Stati Uniti e livelli di urbanicità ha rivelato una struttura latente largamente monodimensionale che riflette le divisioni partitiche (gradienti rurali vs urbani), coerentemente con i noti trend politici.
  • Dati Generati da LLM: Utilizzando un dataset "semi-sintetico" generato da Large Language Models con interventi controllati, il modello ha recuperato con successo un grafo causale a cinque variabili che coinvolge Regolamentazione, Partigianeria, Commercio, Immigrazione e Povertà. Le dipendenze recuperate (ad esempio, Regolamentazione $\to$ Povertà) si allineano con gli effetti di trattamento "ground-truth" incorporati nel processo di generazione sintetica.

Significatività e Rivendicazioni
Il documento sostiene di essere una delle prime dimostrazioni di successo dell'applicazione di una pipeline completa di CRL non supervisionata a dati complessi del mondo reale. La sua significatività risiede nel superare i setting sintetici idealizzati e i risultati di identificabilità teorica per sviluppare un framework bayesiano robusto e consapevole dell'incertezza, capace di gestire:

• Dimensioni di campione finite.
• Interventi imperfetti, multi-nodo e "soft".
• Identificabilità parziale e misspecification del modello.

Mirando a una distribuzione a posteriori piuttosto che a una stima puntuale, il metodo quantifica sia l'incertezza epistemica (dovuta a dati limitati) che l'incertezza aleatoria (dovuta alle ambiguità intrinseche nel processo generativo). Gli autori posizionano questo lavoro come un passo verso il superamento del divario tra l'apprendimento di rappresentazioni causali teorico e le applicazioni pratiche in campi come la scienza sociale, dove le variabili causali sono latenti e gli interventi sono non osservati.