TTCD:Transformer Integrated Temporal Causal Discovery from Non-Stationary Time Series Data

Sintesi Tecnica: TTCD – Scoperta Causale Temporale Integrata con Transformer

Enunciato del Problema
Il documento affronta la sfida della scoperta causale in dati di serie temporali non stazionari, non lineari e rumorosi, uno scenario comune in ambiti quali scienze ambientali, epidemiologia ed economia. I metodi esistenti presentano limitazioni significative: gli approcci basati su vincoli si affidano a test di indipendenza condizionale (CIT) che peggiorano con campioni limitati e distribuzioni complesse, fornendo spesso classi di equivalenza invece di grafi precisi. I metodi basati su punteggio, pur mitigando la propagazione degli errori, impongono frequentemente forti assunzioni statistiche riguardanti le distribuzioni del rumore o i processi di generazione dei dati e spesso presuppongono la stazionarietà. Inoltre, i metodi recenti che affrontano scenari specifici di non stazionarietà (ad esempio, rilevamento di punti di cambiamento o spostamenti di distribuzione) mancano di una soluzione unificata per dati temporali non stazionari generali senza richiedere conoscenze a priori del rumore o informazioni parametriche.

Metodologia
Gli autori propongono il framework Transformer Integrated Temporal Causal Discovery (TTCD), un approccio end-to-end progettato per apprendere relazioni causali sia contemporanee che con ritardo da serie temporali non stazionarie senza assunzioni restrittive. Il framework è composto da due moduli principali:

1. Apprenditore di Caratteristiche Non Stazionarie:

   • Questo modulo utilizza un'architettura encoder-decoder basata su transformer potenziata da un meccanismo di attenzione specializzato.
   • Integra attenzioni nel dominio temporale e frequenziale per catturare pattern complessi. Una Trasformata di Fourier converte i segnali nel dominio temporale in spettri di frequenza, permettendo alla rete di focalizzarsi su bande spettrali distinte.
   • Per affrontare l'attenuazione delle caratteristiche non stazionarie durante la normalizzazione, il modulo introduce una Rete di Profilazione Non Stazionaria e un Blocco di Apprendimento del Fattore De-Stazionario (DSB). La rete di profilazione estrae statistiche dinamiche e localizzate (ad esempio, variabilità locale) per creare segnali di meta-condizionamento ($\gamma_Q, \gamma_K$) che adattano dinamicamente i pesi dell'attenzione. Il DSB apprende fattori di scala ($\tau$) e vettori di spostamento ($\Delta$) per ripristinare esplicitamente le caratteristiche intrinseche non stazionarie, che vengono poi integrate nel calcolo dell'attenzione.
   • Il decoder ricostruisce il segnale di input da queste rappresentazioni latenti. Crucialmente, il processo di ricostruzione agisce come un filtro per distillare i segnali causali essenziali, mitigando il rumore e le correlazioni spurie mentre preserva le dipendenze significative. L'output viene fornito al modulo successivo nella sua scala non normalizzata.

2. Apprenditore della Struttura Causale:

   • Questo modulo opera sui segnali ricostruiti e distillati per inferire il grafo causale sottostante.
   • Impiega N strati personalizzati non sequenziali Causal Conv2D, uno per ogni variabile target. Ogni strato apprende i collegamenti causali da tutti i possibili genitori (sia con ritardo che contemporanei) a una specifica variabile target.
   • La matrice di adiacenza è derivata dai pesi appresi di questi strati convoluzionali. Un'operazione di soglia pota le dipendenze deboli.
   • Il processo di apprendimento impone un vincolo di aciclicità specificamente sulla parte contemporanea della matrice di adiacenza (poiché gli archi con ritardo sono intrinsecamente aciclici per precedenza temporale) utilizzando un metodo del moltiplicatore di Lagrange aumentato per convertire il vincolo di uguaglianza in un problema di ottimizzazione senza vincoli.

Ottimizzazione
Il framework è addestrato utilizzando una funzione obiettivo che minimizza quattro termini:

• Perdita di Ricostruzione ($L_r$): Errore quadratico medio (MSE) tra input e output ricostruito.
• Perdita di Stima della Variabile Target ($L_{tve}$): MSE tra i valori reali e i valori stimati tramite le connessioni causali apprese.
• Vincolo di Aciclicità: Imposto tramite l'esponenziale della traccia della matrice di adiacenza contemporanea, risolto utilizzando il metodo del moltiplicatore di Lagrange aumentato.
• Perdita di Sparsità ($L_s$): Una penalità di norma $L_1$ per incoraggiare un grafo sparso con meno, ma più forti, collegamenti causali.

Contributi Chiave

1. Transformer Non Stazionario: Un'architettura innovativa che apprende le caratteristiche dominanti dalle serie temporali utilizzando attenzioni nei domini temporale e frequenziale, potenziate da profilazione non stazionaria e apprendimento di caratteristiche de-stazionarie per mantenere le caratteristiche non stazionarie significative.
2. Apprenditore della Struttura Causale Basato su Convoluzione: Un modulo personalizzato che identifica simultaneamente collegamenti causali con ritardo e contemporanei utilizzando segnali distillati, incorporando vincoli di aciclicità e penalità di sparsità direttamente nell'ottimizzazione.
3. Framework Unificato: Un metodo capace di catturare strutture causali da dati non stazionari senza assunzioni riguardanti distribuzioni del rumore, processi di generazione dei dati o indipendenza delle variabili.

Risultati
Gli autori hanno valutato TTCD su dataset sintetici (Dataset-1 con rumore Gaussiano e Dataset-2 con rumore di Poisson) e dataset reali (Energia Cinetica Turbolenta, Ghiaccio Marino Artico e benchmark FMRI). Il metodo è stato confrontato con otto baseline all'avanguardia, tra cui CD-NOD, LIN, PCMCI+ e DAG-GNN.

• Prestazioni: TTCD ha costantemente superato le baseline in Distanza di Hamming Strutturale (SHD), Punteggio F1 e Tasso di Falsi Positivi (FDR) nella maggior parte dei dataset.
• Riscontri Specifici: TTCD ha ottenuto i migliori risultati sul Dataset Sintetico-1, TKE e sui dataset del Ghiaccio Marino Artico. Sul dataset FMRI, ha ottenuto il miglior punteggio FDR con uno SHD comparabile alla baseline migliore (DAG-GNN).
• Studi di Ablazione: La rimozione del Blocco Fattore De-Stazionario (DSB), dell'attenzione nel dominio frequenziale, o la sostituzione del transformer non stazionario con un transformer standard hanno portato a prestazioni degradate su tutti i dataset, confermando la necessità di ogni componente per una scoperta causale robusta in contesti non stazionari.

Significato
Il documento afferma che TTCD offre una soluzione robusta per la scoperta causale in contesti reali complessi dove i dati sono non stazionari, non lineari e rumorosi. Rilassando condizioni specifiche sulle distribuzioni dei dati e sui meccanismi di generazione, il framework evita la necessità di conoscenze a priori del rumore o informazioni parametriche richieste da altri metodi. L'integrazione della distillazione del segnale guidata dalla ricostruzione permette al modello di filtrare efficacemente le correlazioni spurie. Gli autori posizionano TTCD come un forte contendente per la scoperta causale nelle serie temporali, dimostrando accuratezza superiore e coerenza con la conoscenza di dominio rispetto agli approcci all'avanguardia esistenti.