Sintesi Tecnica: Disentanglement Parziale Nonparametrico tramite Sparsità dei Meccanismi

Impostazione del Problema

Questo lavoro affronta il problema dell'apprendimento di rappresentazioni identificabili all'interno del framework del Causal Representation Learning (CRL). L'obiettivo è recuperare fattori latenti ($z$) ad alto livello e semanticamente significativi da osservazioni ($x$) ad alta dimensionalità e scoprire il modello grafico causale (CGM) che ne governa la dinamica.

Gli autori considerano un modello generativo in cui le osservazioni sono generate da una funzione di miscelazione (decoder) potenzialmente altamente non lineare $f$ che agisce sui fattori latenti $z$, corrotte dal rumore:
$$x_t = f(z_t) + n_t$$
I fattori latenti evolvono nel tempo secondo un modello di transizione $p(z_t | z_{<t}, a_{<t})$, dove $a_t$ rappresenta variabili ausiliarie osservate (ad esempio, azioni, indici ambientali o indicatori di intervento). Fondamentalmente, i fattori latenti sono assunti essere condizionalmente indipendenti date le loro componenti (genitori) in un grafo causale sparso $G$ (composto da $G_z$ per le dipendenze temporali e $G_a$ per le dipendenze ausiliarie).

La sfida centrale è l'identificabilità: senza assunzioni aggiuntive, i fattori latenti e la funzione di miscelazione sono non identificabili fino a diffeomorfismi arbitrari. Mentre lavori precedenti hanno stabilito l'identificabilità sotto specifiche condizioni (ad esempio, assunzioni di famiglia esponenziale, target di intervento noti o rigorosi criteri grafici), questo articolo cerca di allentare tali vincoli per gestire contesti non parametrici e arbitrari grafi causali latenti, permettendo potenzialmente un disentanglement parziale.

Metodologia

1. Framework Teorico: Regolarizzazione della Sparsità dei Meccanismi

Il documento introduce la regolarizzazione della sparsità dei meccanismi come un nuovo bias induttivo. L'ipotesi centrale è che i meccanismi che governano la dinamica latente siano sparsi:

• Influenza Ausiliaria Sparsa: Le variabili ausiliarie $a$ influenzano solo pochi fattori latenti (grafo $G_a$ sparso).
• Dipendenze Temporali Sparse: I fattori latenti dipendono in modo sparso dai loro stati passati (grafo $G_z$ sparso).

Gli autori formalizzano la relazione tra il modello reale $\theta = (f, p, G)$ e il modello appreso $\hat{\theta} = (\hat{f}, \hat{p}, \hat{G})$. Definiscono una mappa di entanglement $v = f^{-1} \circ \hat{f}$, che mappa la rappresentazione appresa alla rappresentazione reale.

2. Teoria dell'Identificabilità

Il documento sviluppa una teoria dell'identificabilità non parametrica basata sulla sparsità dei grafi appresi $\hat{G}_a$ e $\hat{G}_z$.

• Relazioni di Equivalenza: Inveل di garantire l'identificabilità fino a permutazione e trasformazione elemento per elemento (disentanglement completo), la teoria stabilisce l'identificabilità fino alla consistenza:

  • $a$-consistenza ($\sim_{a}^{con}$): La mappa di entanglement $v$ è una composizione di una permutazione e di un diffeomorfismo che preserva $G_a$.
  • $z$-consistenza ($\sim_{z}^{con}$): La mappa di entanglement $v$ è una composizione di una permutazione e di un diffeomorfismo che preserva $G_z$ (e $G_z^\top$).
  • Disentanglement Parziale: Ciò implica che, sebbene alcuni fattori latenti possano rimanere intrecciati (mixed), la struttura di questo entanglement è strettamente vincolata dal pattern di sparsità del grafo reale.

• Assunzioni di Influenza Sufficiente: Per dimostrare questi risultati, gli autori introducono assunzioni di "influenza sufficiente" (Assunzioni 6, 7, 8). Queste richiedono che l'Hessiana (per $a$ continuo) o le differenze parziali (per $a$ discreto) della densità del logaritmo del modello di transizione varino sufficientemente per coprire i sottospazi rilevanti definiti dalla struttura del grafo.

• Mappe che Preservano il Grafo: Uno strumento matematico chiave è il concetto di mappe che preservano $G$, funzioni le cui dipendenze grafiche rispettano i vincoli di sparsità di $G$. La teoria dimostra che se il grafo appreso è regolarizzato per essere tanto sparso quanto il grafo reale, la mappa di entanglement deve essere una mappa che preserva $G$.

• Disentanglement Completo: Il documento recupera il risultato più forte del disentment completo (identificabilità fino a permutazione e trasformazione elemento per elemento) come un caso speciale quando il grafo reale soddisfa un particolare criterio grafico (Assunzione 5), che generalizza i criteri precedenti di Lachapelle et al. (2022).

3. Estensione alle Famiglie Esponenziali

Il documento collega i suoi risultati non parametrici alla popolare assunzione della famiglia esponenziale. Assumendo che il modello di transizione appartenga a una famiglia esponenziale con una statistica sufficiente monodimensionale, gli autori mostrano che le assunzioni di "influenza sufficiente" possono essere allentate, permettendo transizioni markoviane senza variabili ausiliarie (una limitazione nel caso non parametrico).

4. Procedura di Stima

Per implementare queste idee, gli autori propongono un algoritmo di apprendimento basato su Variational Autoencoders (VAE):

• Modello: Un VAE apprende il decoder $\hat{f}$ e il modello di transizione $\hat{p}$.
• Vincolo di Sparsità: Invece di utilizzare una penalità di sparsità (regolarizzazione), il metodo impiega un vincolo di sparsità. Le matrici di adiacenza $\hat{G}_a$ e $\hat{G}_z$ sono trattate come parametri di distribuzioni di Bernoulli, e l'ottimizzazione è vincolata in modo che il numero atteso di archi non superi un budget $\beta$ (idealmente impostato sul numero di archi del ground-truth).
• Ottimizzazione: L'ottimizzazione vincolata è risolta utilizzando una formulazione lagrangiana con restart duali.

Contributi Chiave

1. Principio Novello: Introduzione della regolarizzazione della sparsità dei meccanismi come principio per il disentment, applicabile quando i fattori latenti dipendono in modo sparso da variabili ausiliarie o stati passati.
2. Identificabilità Non Parametrica: Sviluppo di una teoria dell'identificabilità completamente non parametrica che non richiede l'assunzione della famiglia esponenziale, permettendo grafi causali latenti arbitrari (a patto che non esistano legami causali istantanei tra i latenti allo stesso step temporale).
3. Teoria del Disentanglement Parziale: Formalizzazione del disentanglement parziale tramite nuove relazioni di equivalenza ($a$-consistenza e $z$-consistenza). La teoria predice precisamente la struttura del "grafo di entanglement" (quali variabili rimangono intrecciate) basandosi sulla struttura del grafo reale.
4. Generalizzazione degli Interventi: Dimostrazione che il framework gestisce interventi multi-nodo con target sconosciuti, un contesto in cui i metodi precedenti erano spesso limitati a interventi su singolo nodo o target noti.
5. Nuova Metrica di Valutazione: Introduzione di $R_{con}$, una metrica per quantificare quanto una rappresentazione appresa sia vicina ad essere $a$-consistente o $z$-consistente, colmando il divario tra il disentment completo (MCC) e la qualità generale della rappresentazione ($R$).
6. Validazione Empirica: Implementazione di un VAE con vincolo di sparsità e validazione su dataset sintetici, mostrando che l'imposizione della sparsità migliora sia il recupero del grafo (SHD) che il disentment (MCC, $R_{con}$).

Risultati

• Teorici: I Teoremi 1, 2 e 3 stabiliscono che, sotto l'influenza sufficiente e la regolarizzazione della sparsità, il modello appreso è identificabile fino a $a$-consistenza, $z$-consistenza o $(a,z)$-consistenza. La Proposizione 7 mostra che se il criterio grafico è soddisfatto, ciò si riduce al disentment completo.
• Sperimentali:
  • Sui dataset che soddisfano il criterio grafico (ad esempio, grafi diagonali o specifici non diagonali), il VAE con vincolo di sparsità raggiunge un Coefficiente di Correlazione Media (MCC) quasi perfetto e una bassa Distanza di Hamming Strutturale (SHD), superando i baseline come TCVAE, iVAE, PCL e SlowVAE.
  • Sui dataset che violano il criterio grafico (permettendo solo il disentment parziale), il metodo raggiunge alti punteggi di $R_{con}$, confermando che le rappresentazioni apprese rispettano la struttura di entanglement prevista, mentre i baseline falliscono nel raggiungere il disentment parziale.
  • Gli esperimenti dimostrano che il metodo funziona sia per variabili ausiliarie continue (azioni) che per interventi discreti (inclusi interventi multi-target).
  • Il metodo è robusto alla varianza eteroschedastica (casi non appartenenti alla famiglia esponenziale) nel contesto non parametrico.

Significato e Rivendicazioni

L'articolo sostiene di fornire una versione significativamente estesa di Lachapelle et al. (2022). Il suo significato primario risiede nel:

• Allentare le Assunzioni: Allontanarsi dall'ostruttiva assunzione della famiglia esponenziale verso un contesto non parametrico generale.
• Ampliare l'Ambito: Permettere grafi causali latenti arbitrari invece di richiedere strutture specifiche per l'identificabilità.
• Formalizzare il Disentment Parziale: Fornire un quadro matematico rigoroso per comprendere e prevedere quando e come i fattori latenti rimarranno intrecciati, invece di trattare il disentment parziale come un fallimento.
• Gestire Target Sconosciuti: Offrire una giustificazione teorica per l'uso di interventi sparsi con target sconosciuti per ottenere il disentment.

Gli autori posizionano questo lavoro come una base teorica per future investigazioni empiriche in scenari realistici, come la biologia a singola cellula e l'analisi video, dove i meccanismi sono naturalmente sparsi ma complessi. Dichiarano esplicitamente che il loro lavoro non pretende di risolvere il disentment in tutti i contesti, ma fornisce le condizioni sufficienti sotto le quali esso è possibile, anche in presenza di miscelazione non lineare e strutture causali complesse.