Riepilogo Tecnico: EML-CD – Recupero di Meccanismi Causali tramite Alberi Simbolici EML

1. Definizione del Problema

Gli attuali metodi di scoperta causale affrontano un compromesso fondamentale tra accuratezza strutturale e interpretabilità meccanicistica. Sebbene i metodi di ottimizzazione continua (es. NOTEARS, GOLEM) e i modelli basati su reti neurali a rumore additivo (es. GraNDAG, NOTEARS-MLP) raggiungano un'elevata accuratezza nel recupero di strutture di Grafi Aciclici Diretti (DAG), essi rappresentano i meccanismi causali come reti neurali "black-box". Come sostenuto da Waxman et al. [22], l'estrazione di forme funzionali specifiche dai pesi di una rete neurale è un problema mal posto; i pesi non identificano univocamente il meccanismo sottostante. Di conseguenza, i metodi esistenti non possono fornire equazioni in forma chiusa per predire gli effetti degli interventi o analizzare quantitativamente le funzioni di effetto causale. Gli strumenti di spiegazione post-hoc (SHAP, LIME) offrono solo approssimazioni locali, e i modelli basati su spline (CAM) non possono essere estratti come equazioni simboliche. Nessun framework esistente recupera congiuntamente la struttura causale e meccanismi arbitrari in forma chiusa all'interno di un singolo processo di apprendimento.

2. Metodologia: EML-CD

EML-CD (EML-based Causal Discovery) colma questa lacuna integrando l'operatore EML [14] nell'apprendimento della struttura causale. L'operatore EML, definito come $eml(x, y) = \exp(x) - \ln(y)$, è funzionalmente completo per le funzioni elementari quando composto tramite una grammatica $S \to 1 \mid eml(S, S)$.

2.1 Rappresentazione dell'Albero EML

Invece di utilizzare reti neurali, EML-CD rappresenta ogni meccanismo di arco $f_{j,i}(X_i)$ come un albero binario EML con gating di profondità limitata $D$.

• Struttura: L'albero è un albero binario completo in cui i nodi interni applicano l'operatore EML o lo bypassano tramite un meccanismo di gating.
• Gating: Un gate di profondità $\sigma(\gamma)$ controlla la complessità. Se $\gamma \ll 0$, il nodo bypassa l'operazione EML (degenere in un percorso lineare); se $\gamma \gg 0$, l'operazione EML è attiva. Ciò consente al modello di eseguire una selezione guidata dai dati tra meccanismi lineari e non lineari.
• Addestramento: Il modello impiega uno schema di annealing deterministico per la temperatura del gate $\tau_g$, che passa da 1 a 0,02 durante l'addestramento. Questo assicura che i gradienti fluiscano liberamente nelle fasi iniziali, mentre i gate convergono verso stati quasi binari, produndo un'equazione in forma chiusa con soglia rigida che rappresenta fedelmente la funzione "soft" addestrata.
• Stabilità: Per prevenire la divergenza numerica (es. da $\exp$ o $\ln$), l'operatore applica il clipping degli input e degli output a specifici limiti (es. input di $\exp$ in $[-2, 2]$, argomento di $\ln$ con valore minimo 0,5).

2.2 Inferenza in Due Fasi

Il processo di apprendimento consiste in due fasi distinte:

1. Pre-addestramento dei Meccanismi: Per tutte le $d(d-1)$ coppie potenziali $(i, j)$, un albero EML $T_{j,i}$ viene addestrato tramite Adam per minimizzare l'Errore Quadratico Medio (MSE). Viene selezionata la migliore delle tre inizializzazioni casuali per ogni coppia. Questa fase fornisce punteggi $R^2$ (potere predittivo) e i parametri dell'albero addestrato.
2. Costruzione Greedy del DAG: Gli archi vengono aggiunti al grafo in ordine decrescente dei loro punteggi $R^2$, mantenendo rigorosamente l'aciclicità. Gli archi con $R^2$ inferiore a una soglia $\tau$ vengono esclusi. L'eventuale pruning retroattivo usando BIC (basato su OLS) può ulteriormente rimuovere archi spuri.

2.3 Identificabilità e Direzione

EML-CD orienta gli archi basandosi sull'asimmetria della qualità del fit ($R^2_{i \to j}$ vs $R^2_{j \to i}$) piuttosto che su test di indipendenza dei residui. La restrizione della classe di funzioni agli alberi EML rende più difficile la rappresentazione del meccanismo anticausale, abbassando naturalmente il suo $R^2$. Questo funge da euristica per la proxy di identificabilità del Modello di Rumore Additivo (ANM).

3. Contributi Chiave

1. Integrazione del Framework: EML-CD è il primo framework che integra direttamente gli alberi simbolici EML nell'apprendimento della struttura causale, associando equazioni in forma chiusa e Jacobiani analitici a ogni arco rilevato.
2. Interpretabilità senza Sacrificio: Dimostra che l'aggiunta di interpretabilità simbolica non degrada necessariamente l'accuratezza del recupero della struttura rispetto ai baseline allo stato dell'arte.
3. Recupero Fedele dei Meccanismi: In contesti controllati, il metodo recupera la forma funzionale delle funzioni elementari con alta fedeltà, non limitandosi a un semplice adattamento di curva.
4. Effetti Causali Analitici: Derivando le equazioni direttamente dalla struttura dell'albero, EML-CD consente il calcolo di Jacobiani analitici ($\partial X_j / \partial X_i$), fornendo una quantificazione dell'effetto causale dipendente dallo stato, non disponibile con coefficienti lineari o derivate numeriche di reti neurali.

4. Risultati Sperimentali

4.1 Dati Reali: Segnalazione Proteica Sachs ($d=11$)

• Recupero della Struttura: EML-CD ha ottenuto una Distanza di Hamming Strutturale (SHD) di 11,2 ± 0,4 (media su 5 seed). Questo è in linea con PC e GES (SHD=11) e migliore di CAM (SHD=12).
• Precisione/Recall: Ha ottenuto la precisione più elevata (0,756) tra tutti i metodi, sebbene la recall fosse più bassa (0,365), indicando una preferenza per archi ad alta confidenza.
• Meccanismi: Il metodo ha recuperato con successo pathway noti (es. Raf $\to$ Mek) con equazioni in forma chiusa. Ad esempio, ha identificato un meccanismo non lineare per PKC $\to$ P38 con un Jacobiano dipendente dallo stato compreso tra -5,4 e +2,3, e un meccanismo lineare per Erk $\to$ Akt.

4.2 Recupero Bivariato Controllato

In un test con funzioni note di ground-truth ($N=2000$), EML-CD ha recuperato 10 delle 11 famiglie di funzioni elementari (lineare, quadratica, cubica, cos, tanh, exp, sqrt, sigmoid, log, abs) con una correlazione di forma su dati non visti (held-out) $\ge 0,96$. Solo la funzione seno ad alta frequenza ($\sin(1.5x)$) ha mostrato un recupero parziale (0,84).

4.3 Benchmark Simbolico Sintetico (S-Sym)

• Stabilità vs Dizionari Fissi: Su un benchmark SEM simbolico, EML-CD ha ottenuto un $f$-MSE medio dei meccanismi di 3,67, significativamente più basso e stabile rispetto a un dizionario SINDy fisso (media 7644). Il baseline SINDy ha subito un'estrapolazione catastrofica su un seed.
• Recupero della Struttura: L'SHD strutturale (14,0) è risultato in linea con il baseline del dizionario SINDy, ma è rimasto al di sotto degli ottimizzatori lineari specializzati.
• Limitazione: Sebbene stabile, il metodo non ha recuperato in modo affidabile forme altamente non lineari (es. saturazione di tanh) alla profondità 2 con la dimensione del campione fornita.

4.4 Causal Chambers (Sottoinsieme Light-Tunnel)

Su un sistema fisico governato dalla legge di Malus ($\cos^2(\theta_1 - \theta_2)$), un modello EML-CD di profondità 2 ha migliorato l'F1 (0,444) rispetto a OLS-BIC lineare (0,273). Tuttavia, i modelli di profondità 3 sono falliti in questo contesto di piccoli campioni. L'incorporazione di foglie sensibili alle interazioni e metadati di intervento ha migliorato la precisione a 1,000, sebbene la recall sia rimasta limitata.

5. Significato e Rivendicazioni

Il documento posiziona EML-CD come una prova di concetto che dimostra come l'interpretabilità simbolica dei meccanismi causali possa essere integrata nell'apprendimento della struttura senza sacrificare l'accuratezza strutturale.

• Risultato Centrale: Esso aggira l'ill-posedness (problema mal posto) dell'estrazione di meccanismi basata su reti neurali, restringendo lo spazio di ricerca a una classe di funzioni EML a dimensione finita e interpretabile.
• Valore Pratico: La capacità di produrre Jacobiani analitici permette la predizione quantitativa degli effetti di intervento e l'analisi causale dipendente dallo stato, cosa impossibile con i metodi standard basati solo su DAG.
• Modestia: Gli autori riconoscono esplicitamente i limiti:
  • Il metodo attualmente assume meccanismi additivi univariati e non può rappresentare nativamente interazioni tra variabili (es. $\cos^2(\theta_1 - \theta_2)$) senza estensioni specifiche.
  • Il recupero strutturale sui benchmark sintetici è in linea con i dizionari, ma non supera ancora gli ottimizzatori lineari specializzati.
  • La stabilità delle equazioni recuperate tra i diversi seed richiede ulteriori miglioramenti.
  • L'operatore EML stesso è uno sviluppo recente non ancora validato indipendentemente su larga scala.

Il lavoro conclude che EML-CD fornisce una prima evidenza che l'associazione di equazioni in forma chiusa ai grafi causali è fattibile, offrendo una via verso modelli causali trasparenti e analiticamente trattabili.