Towards Continuous-time Causal Foundation Models

Questo articolo propone un modello fondazionale causale a tempo continuo che garantisce l'invarianza della legge di traiettoria rispetto ai programmi di osservazione mediante integrazione su griglia fine con osservazioni disaccoppiate, dimostrando prestazioni superiori rispetto ai metodi di integrazione ingenui in scenari dinamici non lineari diversificati e con dati irregolari.

L'essenziale

Immagina di dover insegnare a un'intelligenza artificiale superintelligente come prevedere il futuro di un sistema che cambia nel tempo, ad esempio come un farmaco si muove attraverso il corpo umano o come una galleria del vento reagisce a una raffica improvvisa.

Di solito, i modelli di intelligenza artificiale osservano il tempo in "istantanee" – come un libro da sfogliare in cui ogni pagina è un momento fisso (1 secondo, 2 secondi, 3 secondi). Ma il mondo reale non aspetta che un orologio scatti. Fluisce in modo continuo.

Questo articolo riguarda l'insegnamento a un'intelligenza artificiale di comprendere quel flusso, piuttosto che semplicemente le istantanee. Ecco la spiegazione utilizzando semplici analogie:

1. Il Problema: La Trappola "Stop-Avvia"

Gli autori evidenziano un errore comune. Se cerchi di insegnare a un'intelligenza artificiale un processo continuo (come un fiume in piena) mostrandole solo istantanee scattate a momenti specifici, l'intelligenza artificiale impara la tabella di marcia delle istantanee, non il fiume stesso.

• L'Analogia: Immagina di voler imparare come accelera un'auto.
  • Il Modo Sbagliato (Discreto/Ingenuo): Guardi il tachimetro solo ogni volta che batti le palpebre. Se batti le palpebre lentamente, vedi un'accelerazione lenta. Se batti le palpebre velocemente, vedi un'accelerazione rapida. L'intelligenza artificiale impara che "quanto velocemente batto le palpebre" determina la velocità, non il motore.
  • Il Risultato: L'intelligenza artificiale è confusa. Se le mostri un nuovo programma di battiti di palpebra, fallisce perché ha imparato il pattern dei tuoi battiti, non la fisica dell'auto.

2. La Soluzione: La "Fotocamera ad Alta Velocità"

L'articolo propone un nuovo modo per addestrare questi modelli chiamato Modelli Fondamentali Causali a Tempo Continuo. Invece di scattare un'unica istantanea per ogni intervallo, utilizzano un approccio da "fotocamera ad alta velocità".

• L'Analogia: Per comprendere l'auto, registri il motore in funzione a una velocità super-alta (migliaia di fotogrammi al secondo), creando un video perfetto e fluido dell'accelerazione. Poi mostri a questa intelligenza artificiale questo video fluido.
• Il Trucco: Anche se l'intelligenza artificiale viene testata solo su istantanee lente (come un medico che controlla un paziente una volta al giorno), ha già appreso la fisica fluida e continua dall'addestramento ad alta velocità. Conosce la "legge del fiume", non solo la "legge delle istantanee".

3. I Tre Livelli di Addestramento

Gli autori hanno creato una "classifica a livelli" per categorizzare quanto bene diversi modelli gestiscono il tempo:

• Livello 1 (Il Libro da Sfogliare): Il vecchio metodo. L'intelligenza artificiale conosce solo i passi temporali fissi. Fallisce se i tempi cambiano.
• Livello 2 (Il Cameraman Pigro): L'intelligenza artificiale cerca di essere continua ma scatta una foto solo una volta tra un'osservazione e l'altra. È meglio, ma si confonde ancora se gli intervalli di tempo cambiano. È come indovinare la velocità dell'auto basandosi su sole due foto sfocate.
• Livello 3 (Il Professionista ad Alta Velocità): Questo è ciò che l'articolo achieve. L'intelligenza artificiale simula la fisica su una griglia super-fine (migliaia di piccoli passi) e poi mostra all'intelligenza artificiale solo i momenti specifici che deve vedere.
  • Il Risultato: L'intelligenza artificiale impara le vere e immutabili leggi del sistema. Non le importa se le osservazioni arrivano ogni secondo, ogni ora o a tempi casuali.

4. L'Esperimento: Funziona Davvero?

Il team ha testato questo approccio con due tipi di "motori fisici":

1. Lineare: Fisica semplice e a linea retta (come una molla).
2. Non lineare: Fisica complessa e tortuosa (come un sistema meteorologico caotico).

Hanno messo in gara il "Cameraman Pigro" (Livello 2) contro il "Professionista ad Alta Velocità" (Livello 3).

• La Scoperta: Il Professionista ad Alta Velocità ha vinto ogni singola volta.
• La Sorpresa: Quando l'intelligenza artificiale è stata addestrata con il metodo ad alta velocità, non ha nemmeno avuto bisogno di essere informata su "quanto tempo è passato tra le osservazioni". Ha semplicemente compreso il flusso in modo naturale. Ma quando è stata addestrata con il metodo pigro, l'intelligenza artificiale doveva essere esplicitamente informata degli intervalli di tempo per performare bene.

5. Test nel Mondo Reale (Il Test "Zero-Shot")

Gli autori hanno provato a utilizzare il loro nuovo modello di intelligenza artificiale su dati reali mai visti prima (Zero-Shot).

• Farmacocinetica: Previsione dei livelli di farmaco nel sangue (Teofillina e Warfarina). L'intelligenza artificiale ha tracciato la salita e la discesa del farmaco sorprendentemente bene, anche se era stata addestrata su dati sintetici.
• Sistemi Fisici: Un esperimento in galleria del vento. L'intelligenza artificiale ha previsto con successo come la velocità della galleria del vento avrebbe reagito a un cambiamento improvviso nella potenza del ventilatore.

La Conclusione

Questo articolo costruisce una migliore "macchina del tempo" per l'intelligenza artificiale. Costringendo l'intelligenza artificiale a imparare le leggi fluide e continue di come le cose cambiano (utilizzando una simulazione ad alta velocità) invece di memorizzare semplicemente gli intervalli tra i punti dati, l'intelligenza artificiale diventa molto più intelligente nel prevedere il futuro, anche quando i dati arrivano in momenti strani e irregolari.

Cosa l'articolo NON afferma:

• Non afferma che questo sia pronto a sostituire medici o ingegneri.
• Non afferma che risolva ogni tipo di problema di serie temporali.
• Ammette che i test nel mondo reale sono stati "preliminari" e necessitano di ulteriori lavori prima di essere utilizzati in situazioni critiche.

È un passo fondamentale: dimostrare che se insegni a un'intelligenza artificiale a vedere il tempo come un fiume in piena invece che come una serie di pietre di passaggio, impara le regole dell'universo molto meglio.

Sommario tecnico

Riepilogo Tecnico: Verso Modelli Fondamentali Causali a Tempo Continuo

1. Enunciato del Problema

Le Reti Adattate ai Dati Precedenti (Prior-Data Fitted Networks, PFN) hanno esteso con successo l'inferenza causale ai dati tabulari e alle serie temporali a tempo discreto, pre-addestrando transformer su Modelli Causali Strutturali (SCM) sintetici. Tuttavia, le prior temporali causali esistenti operano su griglie intere discrete. Un tentativo ingenuo di estendere queste al tempo continuo, riscrivendo i meccanismi come Equazioni Differenziali Stocastiche (SDE) e integrandoli una volta per ogni intervallo di osservazione, non riesce a raggiungere una vera continuità.

Il problema centrale è che se un SDE viene integrato solo agli intervalli di osservazione (integrazione ingenua), la legge congiunta della traiettoria dipende dal programma di osservazione specifico. Di conseguenza, la prior rimane effettivamente un modello di Markov a tempo discreto "vestito da SDE", non soddisfacendo il requisito che il processo generatore dei dati sia invariante rispetto al momento in cui viene osservato. Questa limitazione è critica per domini con dati irregolari e eterogenei per programma, come la farmacocinetica (tempi di campionamento scelti clinicamente), sistemi fisici con eventi a ritardo variabile e cartelle cliniche elettroniche con dati mancanti.

2. Metodologia

2.1. Definizione delle Prior Causali a Tempo Continuo

Il documento stabilisce un criterio preciso per una prior causale a tempo continuo: la legge congiunta di una traiettoria campionata deve essere invariante rispetto al programma di osservazione. Il programma di osservazione è trattato come pura misurazione, non come parte dello SCM Temporale (TSCM) sottostante.

Sulla base di questo criterio, gli autori propongono una tassonomia a tre livelli:

• Livello (A) Discreto: SCM a tempo discreto standard definiti solo su una griglia intera.
• Livello (B) Continuo Ingenuo: Un SDE integrato una volta per ogni intervallo di osservazione (Euler–Maruyama sulla griglia di osservazione). La legge della traiettoria varia con la dimensione dell'intervallo $\Delta_i$, non soddisfacendo il criterio di continuità.
• Livello (C) Continuo a Griglia Fine: L'SDE è integrato su una griglia fine ($\Delta_{fine} \ll \min \Delta_{obs}$) e poi sottocampionato sul programma di osservazione. Al tendere di $\Delta_{fine} \to 0$, questo converge alla vera legge SDE, soddisfacendo approssimativamente il criterio di continuità a passi finiti.

2.2. Costruzione della Prior a Tempo Continuo

La costruzione proposta realizza il Livello (C) su un Grafo Aciclico Diretto (DAG) casuale con i seguenti componenti:

• Campionamento del Grafo: Le variabili sono campionate da un DAG casuale o da strutture canoniche (es. retro-difesa, front-difesa, variabili strumentali). Possono essere inclusi confonditori nascosti.
• Famiglie di Meccanismi:
  • Deriva Lineare: Processi di Ornstein–Uhlenbeck (OU) in cui la deriva è una combinazione lineare dei genitori.
  • Deriva Non Lineare: Piccoli Perceptron a Strati Multipli (MLP) con attivazioni tanh che sostituiscono la somma lineare parentale, vincolati per garantire la stabilità della traiettoria.
• Cambio di Regime: Una frazione di traiettorie segue un TSCM a cambio di regime a tempo continuo con una matrice di transizione di Markov "appiccicosa", modellando rotture strutturali (es. fasi di assorbimento vs eliminazione in farmacologia).
• Interventi: La prior supporta interventi hard (impostazione di un valore), soft (spostamento della deriva) e variabili nel tempo su finestre specifiche. I controfattuali sono generati riutilizzando lo stesso rumore di Wiener.
• Simulazione: Le traiettorie sono generate integrando l'SDE su una griglia fine utilizzando Euler–Maruyama con incrementi di Browniano ricampionati ad ogni passo fine, per poi essere sottocampionate sul programma di osservazione irregolare.

2.3. Architettura: Encoder PFN Consapevole di $\Delta t$

Il modello utilizza un encoder transformer causale operante su una finestra pre-intervento.

• Embedding Temporale: Invece di embedding posizionali interi appresi, il modello utilizza un embedding di Fourier del tempo continuo: $\phi(t) = W_\phi [\sin(2\pi f_k t), \cos(2\pi f_k t)]$.
• Embedding degli Intervalli: Gli intervalli tra le osservazioni ($\Delta t_i$) sono incorporati utilizzando la stessa famiglia dopo una trasformazione $\log(1+\Delta t_i)$.
• Inferenza: Il modello riceve dati osservati, timestamp, specifiche degli interventi e un tempo di query per prevedere la distribuzione dell'esito sotto intervento.

3. Contributi Chiave

1. Criterio di Continuità: Una definizione formale che richiede l'invarianza della legge della traiettoria rispetto ai programmi di osservazione, operazionalizzata tramite una tassonomia a tre livelli.
2. Costruzione del Livello (C): Una realizzazione pratica di prior a tempo continuo utilizzando integrazione su griglia fine, DAG casuali, derive OU/MLP e programmi irregolari.
3. Validazione Empirica: Uno studio di ablazione controllato $2 \times 2$ (Encoder $\times$ Integratore) che dimostra come l'integrazione su griglia fine sia superiore all'integrazione ingenua, in particolare man mano che le griglie di valutazione si affinano.

4. Risultati Sperimentali

4.1. Studio di Ablazione

Gli autori hanno addestrato PFN su due prior (OU Lineare e Deriva Neurale Non Lineare) con due integratori (Ingenuo vs Fine) e due encoder (Solo Posizionale vs Consapevole del Tempo).

• Prestazioni dell'Integratore: L'integrazione su griglia fine ha superato l'integrazione ingenua in 8 casi su 8 nelle celle sperimentali per entrambe le prior e le discretizzazioni di valutazione. Il divario di prestazioni ($\Delta$) è cresciuto monotonicamente man mano che la griglia di valutazione diventava più fine (es. sulla prior Neurale, il divario è aumentato da +0,0048 a +0,0088 mentre i sottopassi di valutazione si raffinavano). Ciò conferma che l'addestramento su griglia fine allinea il modello al vero limite SDE, mentre l'addestramento ingenuo introduce un bias di discretizzazione.
• Prestazioni dell'Encoder: Il beneficio dell'encoder consapevole del tempo (embedding di Fourier degli intervalli) è stato condizionato dall'integratore.
  • Con integrazione ingenua, l'encoder consapevole del tempo ha superato significativamente l'encoder solo posizionale, compensando la dinamica dipendente dal programma.
  • Con integrazione fine, la scelta dell'encoder è risultata empiricamente inerte (differenza nulla), suggerendo che il processo generatore dei dati era diventato sufficientemente invariante rispetto al programma, eliminando la necessità di caratteristiche esplicite degli intervalli.

4.2. Trasferimento Zero-Shot (Preliminare)

Il documento riporta risultati preliminari di trasferimento zero-shot su tre dataset reali senza fine-tuning:

• Farmacocinetica (Teofillina & Warfarina): Il modello ha raggiunto una forte correlazione ($r \approx 0,88$) sulla concentrazione plasmatica di Warfarina, tracciando traiettorie guidate dal dosaggio. Le prestazioni sulla Teofillina sono state moderate ($r \approx 0,53$ per il caso lineare). Gli autori notano che i miglioramenti RMSE rispetto alle baseline ingenui sono stati piccoli a causa del ristretto raggruppamento dei dati di concentrazione, ma la correlazione di Pearson ha confermato il tracciamento dinamico.
• Sistemi Fisici (Camera Causale): Su un banco di prova ad impulso in galleria del vento, il PFN a meccanismi misti ha raggiunto una correlazione di Pearson di $r = 0,95$ sulla dinamica dei giri al minuto (RPM), superando significativamente il modello lineare ($r = 0,39$). Ciò suggerisce che il modello ha catturato con successo dinamiche esponenziali non lineari e saturanti.

5. Significato e Affermazioni

Il documento afferma di fornire un criterio di continuità preciso per i modelli fondamentali causali, andando oltre il "vestito SDE" per i modelli discreti. Il significato principale risiede nel dimostrare che l'integrazione su griglia fine è necessaria per realizzare questo criterio, come evidenziato dal divario di prestazioni crescente su griglie di valutazione più fini.

Gli autori sono modesti nelle loro affermazioni riguardo all'applicazione nel mondo reale:

• I risultati del trasferimento zero-shot sono descritti come "preliminari" e "corroborativi", non ancora competitivi con le baseline specifiche del dominio (es. NONMEM per la farmacocinetica).
• Il successo sulla Camera Causale ha richiesto il passaggio da un benchmark di "rumore bianco" strutturalmente inadatto a un dataset con interventi binari espliciti e dinamiche reali.
• Il documento riconosce le limitazioni, inclusa la necessità di replicazione con multipli semi, l'incapacità delle attuali derive neurali di catturare rumore correlato nel tempo (solo rumore di Markov) e la natura preliminare del trasferimento su dati reali.

Il lavoro si posiziona come un passo fondamentale verso una vera inferenza causale a tempo continuo, offrendo una costruzione che permette ai transformer di ammortizzare l'inferenza causale su una famiglia di TSCM guidati da SDE con programmi di osservazione irregolari.