Sintesi Tecnica: Addestramento al Momento del Test per l'Apprendimento Causale Supervisionato (TTT-SCL)

1. Enunciato del Problema

L'Apprendimento Causale Supervisionato (SCL) si è affermato come un'alternativa promettente alla scoperta causale non supervisionata tradizionale, inquadrando il compito come un problema di apprendimento supervisionato. Nell'SCL standard, un modello viene pre-addestrato su un vasto dataset statico di istanze causali sintetiche (costituite da grafi causali e dai rispettivi dataset campionati) per apprendere una mappatura dai dati osservazionali alle strutture causali.

Tuttavia, questo articolo identifica che le attuali pratiche SCL soffrono di significativi sfidi di generalizzazione fuori distribuzione (OOD), limitandone l'applicabilità nel mondo reale. Gli autori rivelano tre limitazioni specifiche del paradigma di pre-addestramento statico:

1. Divario Sintetico-Reale: Le prestazioni elevate su benchmark sintetici non si traducono in dati reali (ad esempio, il dataset proteico Sachs).
2. Fragilità agli Spostamenti di Distribuzione: I modelli degradano significativamente quando le istanze di test differiscono dai dati di addestramento per quanto riguarda la struttura del grafo, i meccanismi causali o le distribuzioni del rumore.
3. Fallimento nella Generalizzazione Compositiva: Anche quando addestrati su tutti i singoli componenti (ad esempio, tutti i tipi di meccanismo, tipi di grafo e distribuzioni di rumore separatamente), i modelli non riescono a generalizzare verso nuove combinazioni di questi componenti osservate solo al momento del test.

Il problema fondamentale è che il pre-addestramento statico orientato alla diversità non può adattarsi alla distribuzione specifica di una data istanza di test, portando a una scarsa robustezza in scenari realistici.

2. Metodologia: TTT-SCL

Per affrontare queste limitazioni, gli autori propongono l'Addestramento al Momento del Test per l'Apprendimento Causale Supervisionato (TTT-SCL). Invece di affidarsi a un singolo modello pre-addestrato fisso, TTT-SCL genera dinamicamente un set di addestramento personalizzato al momento del test, esplicitamente allineato alla specifica istanza di test ($D_{test}$).

Flusso di Lavoro Principale

Il framework opera in tre fasi principali:

1. Generazione di un Set di Addestramento Allineato Causalmente:

   • Funzione di Punteggio: Il metodo utilizza una funzione di punteggio $score(G, D_{test}) = AD(G, D_{test}) - \|A_G\|_0$, dove $AD$ (Allineamento della Distribuzione) misura la media del log-verosimiglianza delle variabili sotto i meccanismi indotti dal grafo $G$, e $\|A_G\|_0$ penalizza la complessità del grafo (sparsità).
   • Meccanismo Indotto dalla Struttura (SIM): Per un grafo candidato, il SIM adatta i meccanismi causali e le distribuzioni del rumore direttamente su $D_{test}$ tramite regressione. Ciò consente la valutazione della verosimiglianza e la generazione di dati sintetici che corrispondono alla distribuzione di test.
   • Raffinamento Stocastico del Grafo: Poiché la ricerca esaustiva di DAG è intrattabile, il metodo inizia con un grafo iniziale (ad esempio, da PC o NOTEARS) ed esegue un raffinamento stocastico iterativo. Propone modifiche locali (aggiunte, eliminazioni o inversioni di archi) e le accetta in base a una probabilità proporzionale al miglioramento del punteggio.
   • Sintesi dei Dati: I $K$ grafi ad alto punteggio trovati durante il raffinamento vengono utilizzati per generare un set di addestramento sintetico. Per ogni grafo $G_k$, i meccanismi vengono regressi su $D_{test}$ e un dataset sintetico $D_k$ viene campionato in avanti. Il set di addestramento finale consiste nelle coppie $\{(D_k, G_k)\}$.

2. Addestramento al Momento del Test:

   • Un modello di apprendimento causale supervisionato (ad esempio AVICI) viene addestrato da zero su questo dataset generato dinamicamente e specifico per il test.
   • Il modello addestrato viene quindi utilizzato per inferire il grafo causale per $D_{test}$.

3. Connessione Teorica:

   • L'articolo stabilisce che i metodi classici di scoperta causale basata su punteggi sono un caso particolare di TTT-SCL. Se il predittore supervisionato è un classificatore 1-NN basato sul punteggio, TTT-SCL si riduce alla selezione del singolo grafo con il punteggio più alto. TTT-SCL generalizza questo approccio utilizzando la raccolta di grafi ad alto punteggio per addestrare un modello in grado di sfruttare pattern più ricchi e gestire l'incertezza del campione finito meglio di una singola stima puntuale.

3. Contributi Chiave

• Identificazione delle Limitazioni: Gli autori dimostrano sistematicamente che il pre-addestramento SCL statico fallisce in tre aree critiche: trasferimento sintetico-reale, robustezza agli spostamenti di distribuzione e generalizzazione compositiva.
• Framework TTT-SCL: Introducono un nuovo framework che sposta il paradigma dalla "diversità" (pre-addestramento statico) alla "concentrazione" (adattamento dinamico al momento del test).
• Unificazione Teorica: Il lavoro fornisce una base teorica che collega TTT-SCL ai metodi basati su punteggi, mostrando che la selezione basata sui punteggi è una configurazione ristretta del framework proposto.
• Modulo di Generazione Efficiente: Viene progettato un modulo pratico per generare efficientemente set di addestramento allineati causalmente utilizzando un raffinamento stocastico guidato dal punteggio e SIM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark sintetici, dati pseudo-reali (SynTReN) e dati reali (dataset Sachs).

• Prestazioni su Dati Reali: Mentre la forte baseline pre-addestrata AVICI (scm-v0) ha raggiunto un alto AUROC (97,8) su dati sintetici corrispondenti alla sua distribuzione di addestramento, è calata significativamente sul dataset reale Sachs (62,3). Al contrario, TTT-SCL (utilizzando l'inizializzazione NOTEARS) ha raggiunto un AUROC di 78,9 su Sachs, superando significativamente sia la baseline SCL pre-addestrata sia i metodi tradizionali come PC (67,1).
• Robustezza agli Spostamenti: TTT-SCL ha mantenuto prestazioni all'avanguardia attraverso vari spostamenti di distribuzione (meccanismo, grafo e rumore) e test di generalizzazione compositiva in cui i modelli statici fallivano.
• Studi di Ablazione:
  • La rimozione della penalità di sparsità dalla funzione di punteggio ha portato a un calo costante delle prestazioni, confermando la necessità di penalizzare la complessità del grafo.
  • L'uso di un seme "intelligente" (NOTEARS) ha superato un seme casuale, ma l'aumento del budget di ricerca ha permesso alla variante con seme casuale di avvicinarsi alle prestazioni del seme intelligente, indicando che la ricerca stocastica stessa è robusta.
• Confronto con Metodi Basati su Punteggi: Un'analisi per fasi ha mostrato che l'output finale di TTT-SCL (modello addestrato) ha costantemente superato il grafo con il punteggio più alto trovato durante la ricerca, validando il valore aggiunto della fase di apprendimento supervisionato rispetto alla massimizzazione pura del punteggio.

5. Significato e Affermazioni

L'articolo afferma che TTT-SCL rappresenta un cambiamento di paradigma nell'apprendimento causale supervisionato. Spostandosi dal pre-addestramento statico orientato alla diversità verso un adattamento dinamico al momento del test, il metodo affronta le fondamentali sfide di generalizzazione OOD che hanno ostacolato l'utilità pratica dell'SCL.

Gli autori affermano che TTT-SCL:

• Colma con successo il divario tra benchmark sintetici e dati reali.
• Fornisce una soluzione robusta per la scoperta causale in presenza di spostamenti di distribuzione e requisiti di generalizzazione compositiva.
• Offre un framework flessibile in grado di accogliere diverse progettazioni di punteggi e architetture di modelli, ereditando al contempo le garanzie teoriche delle funzioni di punteggio sottostanti.

Il lavoro conclude che una scoperta causale robusta in contesti reali richiede un adattamento dinamico alla specifica istanza di test, una capacità che TTT-SCL fornisce attraverso il suo meccanismo di addestramento al momento del test.