Sintesi Tecnica: Rappresentazione Causale e Modellazione Stocastica sotto Geometria Generica

1. Definizione del Problema

Il documento affronta la sfida di apprendere rappresentazioni causali significative da dati osservativi ad alta dimensionalità dove le variabili causali sottostanti sono processi stocastici a tempo continuo, specificamente processi puntuali multivariati (ad es., processi di Hawkes).

La letteratura esistente sulla causal representation learning (CRL) si concentra prevalentemente su:

• Processi latenti a tempo discreto.
• Identificabilità sotto assunzioni i.i.d. o processi latenti a tempo discreto miscelati tramite funzioni invertibili.
• Scenari in cui la variabilità sufficiente deriva da molteplici fonti, variabili ausiliarie o interventi.

Molti fenomeni del mondo reale (ad es., l'accumulo di mutazioni genomiche, i trigger dei picchi neuronali, il trading finanziario) sono intrinsecamente processi stocastici a tempo continuo. Gli attuali metodi faticano a identificare le variabili latenti in tali contesti, in particolare quando la funzione di miscelazione è non invertibile e generica, e quando la dinamica è guidata da meccanismi di auto-eccitazione (equazioni differenziali stocastiche o processi puntuali). Il problema centrale è stabilire garanzie di identificabilità per il modello generativo (funzione di miscelazione, processo latente e struttura causale) sotto queste condizioni generiche, non invertibili e a tempo continuo.

2. Metodologia

Gli autori propongono un framework teorico basato sulla geometria algebrica e un algoritmo pratico denominato MUTATE (MUlti-Time Adaptive Transition Encoder).

2.1 Framework Teorico: Identificabilità tramite la Geometria

Gli autori modellano il processo generativo in cui le osservazioni $O_t$ sono generate da un processo puntuale latente $N_t$ (che rappresenta i conteggi cumulativi) tramite una funzione di miscelazione ignota $f$:
$$O_t = f(N_t(\Delta))$$
L'intensità latente $\lambda_t$ segue la dinamica di un processo di Hawkes:
$$\lambda_t = U + \Phi_t \star N_t(\Delta)$$
dove $U$ è il tasso di base, $\Phi_t$ è il kernel causale e $\star$ denota la convoluzione.

Passaggi Teorici Chiave:

1. Convergenza Debole ed Equivalenza di Classe: Poiché le dinamiche a tempo continuo non possono essere perfettamente recuperate da osservazioni discrete senza una risoluzione infinita, gli autori definiscono una classe equivalente debolmente convergente. Stabiliscono che il processo latente stimato converge in distribuzione al processo a tempo continuo reale man mano che la risoluzione della discretizzazione $\Delta \to 0$.
2. Geometria Algebrica dei Cumulanti: Per dimostrare l'identificabilità, gli autori analizzano la geometria dello spazio dei parametri utilizzando cumulanti di ordine superiore. Trattano la funzione di miscelazione e i parametri del kernel come punti in uno spazio proiettivo.
   • Definiscono un ideale $I$ generato dalla differenza tra la distribuzione osservata e quella del modello.
   • L'identificabilità è raggiunta se questo ideale ha dimensione zero (ovvero, l'insieme delle soluzioni consiste in un numero finito di punti).
3. Identificabilità Lineare e Non Lineare:
   • Caso Lineare: Dimostrano che in condizioni generiche (rumore non gaussiano, rango sufficiente), la matrice di miscelazione e la struttura del kernel sono identificabili a meno di scala e permutazione. Ciò si basa sulla decomposizione unica dei tensori dei cumulanti (decomposizione CP) e sulle proprietà delle varietà di Veronese.
   • Caso Non Lineare: Rilassano l'assunzione di linearità, permettendo funzioni di miscelazione $C^d$ generiche. Dimostrano che se il Jacobiano della funzione di miscelazione è a pieno rango quasi certamente, la struttura causale rimane identificabile a meno di trasformazioni componente per componente e permutazione.
4. Necessità e Sufficienza: Il documento stabilisce che le condizioni proposte (genericità della miscelazione, esistenza di cumulanti non nulli, ideale a dimensione zero) sono sia necessarie che sufficienti per la piena identificabilità.

2.2 Algoritmo: MUTATE

Per implementare queste intuizioni teoriche, gli autori propongono MUTATE, un framework Variational Autoencoder (VAE) progettato per processi puntuali stocastici.

• Architettura:
  • Encoder: Mappa le osservazioni $O_t$ in un rumore indipendente $\epsilon$ e un'intensità di base $U$.
  • Dinamiche Latenti: Modella il processo latente $Z_t$ utilizzando un meccanismo causale di auto-convoluzione $s_\phi(\epsilon_t, U, \Phi)$.
  • Decoder: Ricostruisce le osservazioni a partire dalla rappresentazione latente.
• Modulo Neural PSD (Densità Spettrale di Potenza): Un componente innovativo che sfrutta la connessione tempo-frequenza.
  • Invece della standard convoluzione nel dominio del tempo, il modulo opera nel dominio della frequenza.
  • Utilizza il Teorema di Wiener–Khinchin per relazionare l'autocorrelazione del processo latente alla sua densità spettrale di potenza.
  • Impiega un approccio di fattorizzazione spettrale di Wilson per decomporre la densità spettrale, imponendo l'effetto di gruppo $G$ sulla matrice di varianza del rumore. Ciò assicura che le variabili latenti soddisfino la struttura algebrica richiesta per l'identificabilità.
• Obiettivo di Addestramento: Minimizza l'Evidence Lower Bound (ELBO) con un termine di regolarizzazione aggiuntivo per imporre la sparsità nel kernel e garantire che il processo appreso aderisca al modello generativo identificato.

3. Contributi Chiave

1. Prime Condizioni di Identificabilità per Processi Puntuali a Tempo Continuo: Il documento stabilisce le prime condizioni necessarie e sufficienti che garantiscono la piena identificabilità dei processi puntuali latenti sotto miscelazione generica e non invertibile. Questo estende la CRL oltre le assunzioni di tempo discreto e miscelazione invertibile.
2. Caratterizzazione Geometrica: Introduce una nuova prospettiva che collega la causal representation learning alla geometria degli spazi dei parametri (specificamente, la dimensionalità degli ideali definiti dai cumulanti). Ciò fornisce una solida base matematica al motivo per cui determinati processi stocastici sono identificabili.
3. Framework MUTATE: Gli autori propongono un framework pratico di autoencoder variazionale identificabile che incorpora un modulo di transizione adattivo nel tempo e un modulo Neural PSD per inferire dinamiche stocastiche da dati ad alta dimensionalità.
4. Unione tra Teoria e Pratica: Il lavoro connette concetti astratti di geometria algebrica (varietà di Veronese, ideali a dimensione zero) al design algoritmico concreto per l'apprendimento di dinamiche causali in sistemi a tempo continuo.

4. Risultati

Gli autori valutano MUTATE sia su dati sintetici che empirici.

• Esperimenti Sintetici:
  • Configurazione: Processi puntuali multivariati simulati con cinque diversi tipi di kernel (Esponenziale, Power-law, Rettangolare, Semplice Nonlineare, Miscelazione Flessibile) sotto regimi di rumore eterogenei e di miscela gaussiana.
  • Baseline: Confronto con TDRL, BetaVAE, SlowVAE e PCL.
  • Metrica: Coefficiente di Correlazione Media (MCC) per il recupero delle variabili latenti.
  • Prestazioni: MUTATE ha superato significativamente tutte le baseline. Ad esempio, sul kernel Power-law, MUTATE ha raggiunto un MCC di 0.938, rispetto allo 0.609 di TDRL e allo 0.128 di BetaVAE. Le baseline spesso fallivano nel modellare le strutture temporali, convergendo prematuramente verso ottimi locali.
• Studi Empirici:
  • Genomica: Applicato all'accumulo di mutazioni in genomica (usando il simulatore SERGIO), dimostrando la capacità di identificare geni associati al cancro.
  • Neuroscienze: Applicato ai trigger dei picchi neuronali, mostrando l'efficacia nel tracciare le dinamiche degli eventi latenti che guidano i segnali biologici.

5. Significato e Rivendicazioni

Il documento sostiene che colma un vuoto critico tra la modellazione stocastica e la causal representation learning.

• Avanzamento Teorico: Sposta il campo oltre i limiti del tempo discreto e della miscelazione invertibile, fornendo un framework rigoroso per processi a tempo continuo auto-eccitanti.
• Utilità Scientifica: Gli autori sostengono che il loro metodo consenta il recupero di meccanismi causali latenti in campi come la biologia e la fisica dove i dati sono intrinsecamente continui e stocastici (ad es., tracciare mutazioni di geni driver o picchi neurali).
• Modestia sull'Ambito: Gli autori riconoscono i limiti. Notano che le loro garanzie teoriche si basano su condizioni "generiche" (che valgono quasi certamente ma sono difficili da verificare numericamente). Dichiarano esplicitamente di evitare lo "scenario più complesso" dei kernel completamente non parametrici, suggerendo che nella pratica spesso bastano kernel più semplici. Notano inoltre che, sebbene gestiscano la miscelazione non lineare generica, il setting completamente non parametrico rimane una sfida aperta.

In sintesi, questo lavoro fornisce una soluzione matematicamente fondata e algoritmicamente realizzata per l'identificazione di strutture causali in sistemi stocastici a tempo continuo, offrendo un nuovo strumento per la scoperta scientifica in domini caratterizzati da dinamiche complesse e variabili nel tempo.