Sintesi Tecnica: TabCausal

Definizione del Problema

La scoperta causale (causal discovery) mira a recuperare relazioni causali dirette da dati osservativi e interventistici, un compito centrale per la comprensione meccanicistica e il processo decisionale affidabile in campi come la biologia, le scienze della Terra e la finanza. Sebbene i metodi classici (basati su vincoli, basati su punteggio e basati su funzioni) siano efficaci sotto ipotesi specifiche e con dati sufficienti, essi spesso faticano in regimi complessi, non lineari, ad alta dimensionalità o con dati limitati, a causa di condizioni di modellazione restrittive e della necessità di ottimizzazioni specifiche per ogni dataset.

Recenti sforzi per costruire Modelli Fondazionali per la Scoperta Causale (CDFMs) cercano di ammortizzare questo processo di inferenza, mappando direttamente un dataset in un grafo causale attraverso un singolo passaggio in avanti (forward pass). Tuttavia, gli esistenti CDFM non sono riusciti a eguagliare costantemente i forti baselines classici. Gli autori identificano un collo di bottiglia chiave: la costruzione di task di pre-addestramento causale. I generatori sintetici ristretti limitano i modelli a specifici prior grafici, meccanismi strutturali o distribuzioni di rumore, impedendo l'acquisizione di bias induttivi strutturali trasferibili.

Metodologia: Tab_Causal

Gli autori propongono TabCausal, un CDFM guidato dai dati progettato per superare i limiti del pre-addestramento ristretto attraverso un framework di "pre-addestramento causale ampio".

1. Motore di Pre-addestramento Causale Ampio

Invece di fare affidamento su una singola ricetta di simulazione, TabCausal utilizza un motore di costruzione dinamica dei task che campiona da una vasta distribuzione di ambienti causali. Ogni episodio di pre-addestramento estrae una configurazione $z$ composta da:

• Prior Grafici: Erdős-Rényi, Scale-Free, Clustered, Hub-Spoke, Layered e varie famiglie strutturate (ad es., grafi di workflow, fork radice-rischio).
• Meccanismi Strutturali: Una libreria diversificata che include additività lineare, lineare eteroscedastica, additività RFF (Random Fourier Features), basata su MLP (regimi semplici e difficili), moltiplicativa, polinomiale, post-non-lineare e vari meccanismi monotoni o a code pesanti.
• Modelli di Rumore: Gaussiano, Laplace, Cauchy, Uniforme, Esponenziale, Gumbel, Student-t e distribuzioni asimmetriche o di miscela.
• Regimi: Sia puramente osservativi che regimi misti osservativi-interventistici.
• Dimensioni e Numerosità Campionaria: Dimensioni del grafo ($d$) e conteggi dei campioni ($N$) variabili per garantire robustezza attraverso le scale.

Questo motore genera Modelli Causali Strutturali (SCM) con Directed Acyclic Graphs (DAG) noti ed emette dataset con indicatori di intervento opzionali, creando un compito di apprendimento supervisionato in cui il modello predice le probabilità degli archi dati i valori e gli indicatori di intervento.

2. Architettura del Modello

TabCausal impiega un'architettura encoder-decoder basata su transformer ottimizzata per dati tabulari:

• Input: Un tensore $X \in \mathbb{R}^{N \times d \times 2}$ che concatena i valori osservati e gli indicatori binari di intervento.
• Encoder: Una mappa lineare condivisa incorpora le coppie valore-indicatore. Il nucleo consiste in $L$ blocchi che alternano l'attenzione assiale sull'asse delle feature e sull'asse dei campioni. Questo design cattura le dipendenze tra variabili all'interno delle righe e le regolarità tra campioni all'interno delle colonne.
• Pooling & Head: Gli output dell'encoder sono sottoposti a max-pooling sui campioni per ottenere i token delle feature. Vengono applicate proiezioni apprendibili per genitori e figli ($W_p, W_c$), e i punteggi degli archi sono calcolati tramite similarità del coseno normalizzata con una temperatura e un bias apprendibili. L'output è una matrice di probabilità di archi diretti $\hat{P} \in (0, 1)^{d \times d}$.
• Inferenza: Il modello esegue un'inferenza ammortizzata in un singolo passaggio in avanti senza necessità di ri-addestramento o ottimizzazione specifica per il dataset.

3. Benchmark di Ambiente Causale Semantico

Per colmare il divario tra generatori sintetici astratti e ragionamento realistico, gli autori introducono un benchmark di ambiente causale semantico.

• Costruzione: Blueprint di dominio specificati dall'uomo (ad es., sanità, finanza, trasporti urbani) definiscono template di meccanismo e vincoli. Un processo assistito da LLM istanzia le specifiche degli scenari con variabili semanticamente significative, razionali degli archi e handle di intervento.
• Validazione: Le specifiche sono sottoposte ad audit di coerenza e compilate in SCM con DAG noti al simulatore.
• Ambito: 10 domini tematici, 100 scenari e 200 task di regime-dataset (osservativi e misti-interventistici), caratterizzati da specifici "motivi di fallimento" come pressione della coda, fallimento del rilevamento e interpretazione di proxy.

Risultati Chiave

Benchmark Sintetici

Valutato su sette famiglie sintetiche eterogenee (inclusi rumore non lineare basato su GP, lineare e moltiplicativo) su dimensioni di grafo $d \in \{5, 10, 20\}$:

• Performance Complessiva: TabCausal raggiunge il miglior rank medio macro sia nei regimi osservativi che in quelli misti-interventistici.
• Guadagno Interventistico: Il modello mostra guadagni di performance particolarmente forti quando l'evidenza interventistica è disponibile, ottenendo il miglior F1 aggregato, SHD (Structural Hamming Distance) e SID (Structural Intervention Distance) tra i metodi applicabili.
• Confronto: Supera i baselines classici (PC, GIES, LiNGAM, NOTEARS) e altri metodi ammortizzati (AVICI, SEA, SDCD).

Benchmark Semantico

Sul benchmark semantico basato sul dominio:

• Osservativo: TabCausal ottiene il secondo miglior F1 e il più basso SHD tra i metodi applicabili, risultando competitivo con GIES.
• Misto-Interventistico: TabCausal ottiene il miglior F1, SHD e SID, dimostrando un'efficace sfruttamento degli indicatori di intervento negli scenari semanticamente radicati.
• Robustezza: La performance rimane elevata attraverso diversi motivi di fallimento (es. fallimento della misurazione, pressione della coda), indicando una generalizzazione oltre i pattern semantici specifici.

Scalabilità e Analisi

• Dimensione del Campione: TabCausal beneficia significativamente dell'aumento delle dimensioni campionarie, diventando uno dei metodi più forti nei regimi di campioni moderati o grandi, specialmente nei task non lineari.
• Alta Dimensionalità: Il modello rimane competitivo in contesti ad alta dimensionalità ($d \in \{50, 100, 300\}$) dove molti baselines basati su ottimizzazione vanno in timeout o falliscono.
• Embedding: La visualizzazione degli embedding appresi rivela che il modello cattura strutture di ruolo funzionale (ad es. driver a monte rispetto a conseguenze a valle) coerenti con la semantica causale dei dati.
• Efficienza: TabCausal esegue l'inferenza in un singolo passaggio in avanti (circa 0,9s per $d=100$), significativamente più velocemente dei baselines iterativi di ottimizzazione che spesso superano il timeout di 5 minuti.

Significato e Rivendicazioni

Il paper sostiene che la scala, la diversità e la strategia di costruzione degli ambienti di pre-addestramento causale siano i colli di bottiglia critici per i Modelli Fondazionali per la Scopola Causale. Spostando il focus dal semplice scalare un predittore al progettare i "mondi causali" da cui esso apprende, TabCausal dimostra che un pre-addestramento causale ampio è un ingrediente chiave per una scoperta causale ammortizzata e trasferibile.

Gli autori affermano che:

1. Il Pre-addestramento Ampio è Essenziale: Gli studi di ablazione confermano che espandere la distribuzione di pre-addestramento (strong-prior vs. weak-prior) produce sostanziali guadagni di performance, validando che ambienti causali diversificati guidano la generalizzazione.
2. L'Inferenza Ammortizzata è Viabile: TabCausal raggiunge un robusto recupero della struttura con inferenza a singolo passaggio, offrendo un'alternativa leggera ai pesanti metodi basati su ottimizzazione.
3. L'Ancoraggio Semantico è Importante: L'introduzione del benchmark semantico fornisce una valutazione OOD (Out-of-Distribution) più rigorosa e interpretabile, mostrando che i guadagni del modello si estendono a scenari con esplicita semantica di dominio e colli di bottiglia realistici.

Il paper mantiene la modestia riguardo alla distribuzione nel mondo reale, notando che le prove sono radicate in ambienti sintetici e controllati da simulatori. Riconosce inoltre le sfide rimanenti, inclusa l'ambiguità osservativa, la scalabilità ad alta dimensionalità e la mancanza di gestione per confondimento nascosto, feedback ciclici o strutture temporali.