Riepilogo Tecnico: Apprendimento di Ordini Causali per la Predizione Tabellare in Contesto

1. Enunciato del Problema

Le architetture di apprendimento in contesto, come i Modelli Fondamentali Tabellari (TFM), hanno raggiunto prestazioni predittive elevate sui dati tabellari sfruttando il pre-addestramento su larga scala. Tuttavia, questi modelli sono principalmente associativi; si basano su strutture correlazionali piuttosto che su direzionalità causali esplicite. Di conseguenza, le loro previsioni possono essere inaffidabili in caso di spostamenti di distribuzione o interventi, poiché potrebbero sfruttare associazioni statistiche non causali che non generalizzano.

Sebbene esistano metodi consolidati di scoperta causale per recuperare Grafi Aciclici Diretti (DAG), questi sono spesso specifici per dataset, computazionalmente intensivi e disaccoppiati dalle moderne architetture predittive. Al contrario, i recenti approcci di scoperta causale ammortizzata si basano su un addestramento supervisionato su grafi sintetici, richiedendo etichette causali di verità fondamentale. Esiste un vuoto nell'integrazione sistematica della scoperta della struttura causale nelle architetture predittive in un framework di apprendimento in contesto non supervisionato, capace di gestire dati mancanti e interventi.

2. Metodologia: TABORDER

Gli autori propongono TABORDER, un'architettura basata su transformer progettata per inferire simultaneamente ordinamenti causali delle variabili ed eseguire previsioni robuste. L'innovazione centrale è l'uso di attenzione vincolata dall'ordine causale.

Design dell'Architettura

TABORDER opera come un sistema a doppio transformer che elabora un dataset $D$ con voci mancanti indicate da una maschera $M$:

1. Embedding: Ogni cella $x_i^{(r)}$ e il suo indicatore di mancanza vengono mappati in una rappresentazione vettoriale.
2. Ramo di Inferenza dell'Ordine: Un transformer standard con attenzione multi-testa auto-referenziale elabora gli embedding per inferire un punteggio scalare $s_i$ per ogni variabile $X_i$. Punteggi più bassi indicano una posizione precedente nell'ordine causale. Questi punteggi vengono mediati sulle righe per produrre un ordinamento globale $\hat{\pi}$.
3. Ramo di Predizione Vincolato dall'Ordine: Un secondo transformer modella la distribuzione condizionale di ogni cella. Crucialmente, la sua attenzione per colonna è vincolata da una maschera derivata dai punteggi appresi $s$. Nello specifico, la variabile $X_i$ può prestare attenzione solo alle variabili $X_j$ per cui $s_j \leq s_i$. Questo impone una fattorizzazione ordinata della distribuzione congiunta:
   $$p_\theta(x^{(r)} | D, \pi) = \prod_{k=1}^d p_\theta(x_{\pi(k)}^{(r)} | x_{\pi(1:k-1)}^{(r)}, D)$$
   Ciò impedisce al modello di utilizzare caratteristiche "anti-causali" (cause future) per prevedere un target, riducendo così la sensibilità alle correlazioni spurie.

Gestione dei Dati Mancanti e dell'Incertezza

Il modello tiene esplicitamente conto della mancanza nei genitori causali. Sotto l'assunzione di un Modello a Rumore Additivo (ANM) ($X_i = f(X_{pa(i)}) + N_i$), il modello decodifica una media condizionale $\hat{\mu}$ e una varianza $\hat{\sigma}^2$.

• Incremento della Varianza: Se un genitore causale è mancante, il modello aumenta la varianza predittiva per la variabile target di una quantità apprendibile $\delta_{i,j}$. Questo cattura l'aumento dell'incertezza quando gli input rilevanti non sono osservati.
• Obiettivo di Addestramento: Il modello è addestrato end-to-end massimizzando la verosimiglianza logaritmica delle voci mascherate. L'obiettivo accoppia l'apprendimento dell'ordine e la previsione: gli ordinamenti che spiegano meglio i dati mascherati (minimizzando la varianza residua) ricevono una verosimiglianza più alta.

Giustificazione Teorica

Gli autori giustificano l'approccio basato sulla verosimiglianza nel framework del Modello a Rumore Additivo (ANM). Dimostrano che per i modelli causali additivi, l'ordine ottimale in termini di verosimiglianza è coerente con l'ordinamento topologico del DAG sottostante vero. Inoltre, dimostrano un teorema riguardante l'asimmetria della verosimiglianza consapevole della mancanza: tenere conto della mancanza tramite incrementi di varianza amplifica il divario di verosimiglianza tra la direzione causale corretta e quelle errate, facilitando l'identificazione degli ordini causali anche in presenza di dati mancanti.

3. Contributi Chiave

1. Integrazione di Scoperta Causale e Predizione: TABORDER colma il divario tra l'apprendimento della struttura causale e la predizione tabellare in contesto inferendo ordinamenti causali in modo non supervisionato all'interno di un framework predittivo basato su transformer.
2. Attenzione Vincolata dall'Ordine: L'introduzione di una maschera di attenzione differenziabile e appresa che limita il flusso di informazioni alle variabili che precedono in un ordine causale appreso, garantendo che le previsioni si basino solo su potenziali cause.
3. Apprendimento Causale Consapevole della Mancanza: La progettazione di un meccanismo in cui la mancanza nei genitori causali aumenta esplicitamente la varianza predittiva, il che aiuta teoricamente ed empiricamente a distinguere le direzioni causali.
4. Apprendimento Non Supervisionato: A differenza dei metodi di scoperta causale ammortizzata, TABORDER non richiede grafi causali di verità fondamentale durante l'addestramento; apprende gli ordinamenti ottimali esclusivamente attraverso la massimizzazione della verosimiglianza su dati mascherati.

4. Risultati Sperimentali

Gli autori valutano TABORDER su dati sintetici con strutture causali note e su benchmark reali.

• Inferenza dell'Ordine Causale: Su dati sintetici generati da ANM gaussiani non lineari, TABORDER raggiunge una divergenza topologica ($d_{TOP}$) paragonabile a quella di algoritmi specializzati di scoperta causale (ad es. CAM, SCORE, NOTEARS), ma inferisce gli ordini in tempo quasi istantaneo tramite una singola passata in avanti. Sul dataset reale di segnalazione proteica Sachs, TABORDER scopre ordinamenti causali con bassa divergenza ($d_{TOP} \approx 0.21$) rispetto al grafo di consenso, superando altre linee di base.
• Prestazioni Predittive e Imputazione: Nei compiti di imputazione di valori mancanti (benchmark OpenML CC18 e CTR23), TABORDER ottiene prestazioni competitive, in particolare ad alti tassi di mancanza ($\geq 40\%$), superando metodi standard come KNN, MICE e GAIN.
• Robustezza agli Interventi: In una catena a tre variabili ($X \to Y \to Z$) con un intervento sul meccanismo $Y \to Z$, TABORDER mantiene una previsione accurata del mediatore $Y$ dato $X$ e $Z$. Al contrario, i TFM standard (come TABPFN) e XGBoost degradano significativamente, poiché si basano sull'associazione non causale interrotta tra $Y$ e $Z$.
• Insight Biologici: Sul dataset Sachs in varie condizioni di intervento, TABORDER inferisce ordinamenti che riflettono riorganizzazioni biologicamente plausibili. Ad esempio, interventi a monte (ad es. inibizione della PKC) causano cambiamenti globali nell'ordine inferito, mentre interventi a valle causano cambiamenti localizzati, allineandosi alle dinamiche note delle vie di segnalazione.

5. Significato e Affermazioni

Il documento afferma che TABORDER fornisce un approccio principiato per rendere l'apprendimento in contesto per dati tabellari più robusto agli spostamenti di distribuzione e agli interventi modellando esplicitamente la direzionalità causale.

• Robustezza: Imponendo che le previsioni si basino solo sui predecessori in un ordine causale appreso, il modello evita di sfruttare correlazioni spurie che falliscono sotto intervento.
• Efficienza: A differenza della scoperta causale classica che risolve problemi di ottimizzazione per ogni dataset, TABORDER inferisce la struttura in modo efficiente all'interno di una singola passata in avanti, rendendola scalabile per compiti downstream.
• Fondamento Teorico: Il lavoro stabilisce che la massimizzazione della verosimiglianza in presenza di dati mancanti può servire come proxy per la scoperta causale sotto standard assunzioni ANM, fornendo una base teorica per l'apprendimento non supervisionato degli ordini.

Gli autori riconoscono le limitazioni, notando che l'implementazione attuale si concentra sugli ordinamenti topologici piuttosto che su DAG completi e assume caratteristiche a valori reali. Suggeriscono che, sebbene il metodo sia robusto, le strutture inferite sono ipotesi che richiedono validazione di dominio, e che il lavoro futuro potrebbe esplorare prior di addestramento più ricchi e dati di tipo misto.