Sintesi Tecnica: Un Prior DAG Causale per Dataset di Classificazione di Serie Temporali Sintetiche

Definizione del Problema

Le attuali pipeline dei modelli foundation per la Classificazione di Serie Temporali (TSC) seguono tipicamente un paradigma a due stadi: un grande transformer viene preaddestrato su corpora di serie temporali non etichettate per fungere da encoder, seguito da un classificatore specifico per il dataset (ad esempio, testa lineare, k-NN o TabPFN) adattato su embedding congelati. Questo approccio soffre di una disconnessione in cui l'encoder non può utilizzare le etichette di addestramento o altri campioni come contesto durante l'estrazione delle rappresentazioni, e i due stadi ottimizzano obiettivi differenti.

Sebbene l'apprendimento in-context (ICL) offra un'alternativa a stadio singolo per i dati tabulari (esemplificata da TabPFN), applicare questo alla TSC richiede un generatore sintetico capace di produrre dataset completi e etichettati con una struttura temporale intrinseca. Gli esistenti prior sintetici per le serie temporali, come KernelSynth e CauKer, generano serie temporali ma non riescono a produrre etichette di classe, risultando in dataset incompleti. Inoltre, il lavoro concorrente come TiCT utilizza prior sintetici che non sono nativamente multivariati, multi-classe o cross-modali. Esiste una critica assenza di un prior che campioni interi dataset etichettati $(X, y)$ modellando esplicitamente le relazioni causali tra due modalità: attributi tabulari e serie temporali.

Metodologia

Il Prior DAG Causale

Gli autori introducono un prior causale sintetico che genera completi dataset TSC multivariati ed etichettati utilizzando un singolo Grafo Aciclico Diretto (DAG) basato su Modelli Causali Strutturali (SCM). A differenza degli approaggi che srotolano SCM dinamici in modo ricorrente (che possono soffrire di instabilità), questo design inietta la struttura temporale in modo non ricorrente all'interno di un grafo aciclico.

Struttura del Grafo e Tipi di Nodi:

• Nodi Tipizzati: Il DAG contiene nodi di due tipi: tabulari (scalari, $\in \mathbb{R}$) e a valore di serie (traiettorie, $\in \mathbb{R}^T$).
• Inizializzazione delle Radici:
  • Radici tabulari: Campionate da distribuzioni normali o uniformi casuali.
  • Radici di serie: Un kernel casuale (una composizione di kernel base Lineare, RBF e Periodico) viene campionato una sola volta per dataset. Le traiettorie per campione sono poi estratte dal Processo Gaussiano a media zero definito da questo kernel.
• Archi Causali e Meccanismi: Gli archi rappresentano mappature computazionali scelte in base al tipo di nodo figlio:
  • Figli tabulari: Mappati tramite piccole reti neurali con non linearità puntuali o funzioni di discretizzazione (che convertono output numerici in categorici).
  • Figli di serie: Mappati tramite singole convoluzioni 1-D casuali (Conv1D) con padding causale, dilatazione casuale e attivazione non lineare. Questa operazione gestisce il mixing cross-channel (concatenazione dei genitori) e la dipendenza temporale.
  • Interazioni cross-modali: Il grafo supporta naturalmente effetti causali tabular $\to$ series, series $\to$ tabular e series $\to$ series.
• Generazione del Dataset: Nuovi dati di inizializzazione vengono propagati attraverso il DAG. I nodi selezionati a valore di serie formano le feature di input $X \in \mathbb{R}^{n \times m \times T}$, mentre un nodo tabulare discretizzato definisce l'etichetta di classe $y \in \{1, \dots, K\}^n$.
• Augmentation: Per simulare le sfide del mondo reale, il generatore applica la troncazione predittiva (osservazioni a lunghezza variabile), la mancanza di valori a livello di singolo valore, la granularità temporale casuale (pooling strided/step-repeat) e deformazioni (warp) dei valori per canale.

Prova: Adattamento di TabPFN v2.5

Per validare il prior, gli autori effettuano il fine-tuning di TabPFN v2.5, un modello basato su transformer preaddestrato su prior causali tabulari. L'obiettivo non è riprogettare l'architettura ma isolare il contributo del prior sintetico. Vengono apportate modifiche minime per preservare la struttura temporale:

1. Tokenizzazione: L'input viene appiattito a $n \times (m \cdot T)$. Per rispettare i confini dei canali, l'asse temporale di ogni canale viene esteso con padding a un multiplo della dimensione del gruppo di token $G$. I token vengono formati raggruppando $G$ passi temporali consecutivi dello stesso canale, evitando il mixing dei canali all'interno di un singolo token.
2. Normalizzazione: La z-scoring per colonna predefinita (che distruggerebbe i pattern temporali all'interno di un patch) viene disabilitata. Inveio, la z-scoring viene applicata per canale prima della tokenizzazione.
3. Inferenza: Il modello esegue l'apprendimento in-context condizionandosi sull'intero dataset di addestramento etichettato in un singolo passaggio forward.

Contributi Chiave

1. Un Prior Causale Cross-Modale: L'introduzione di un prior sintetico che campiona interi dataset etichettati da un DAG contenente sia nodi tabulari che a valore di serie. Ciò consente di modellare regimi causali complessi (ad esempio, tipo di suolo $\to$ traiettoria di umidità $\to$ traiettoria di crescita $\to$ resa) che i prior esistenti non possono generare.
2. Isolamento della Struttura Temporale: Effettuando il fine-tuning di un modello foundation tabulare (TabPFN) con modifiche architettoniche minime, gli autori dimostrano che i guadagni di performance sono guidati specificamente dalla struttura temporale cross-modale del prior, piuttosto che da miglioramenti architettonici o ricette di fine-tuning generiche.
3. Design Scalabile Non Ricorrente: L'uso di un grafo aciclico con iniezione temporale non ricorrente evita l'instabilità dell'addestramento e le difficoltà di scalabilità associate alle dinamiche ricorrenti nei prior non addestrati.

Risultati Sperimentali

Gli autori hanno valutato l'approccio su 75 dataset UCR/UEA che rientrano nel regime operativo di TabPFN ($K \le 10$ classi, $m \cdot T \le 500$).

Configurazioni Comparative:

• (A) Standard TabPFN: Pesi preaddestrati, preprocessing tabulare predefinito.
• (B) Pretrained + Custom Inference: Stessi pesi di (A) ma con il preprocessing che preserva il tempo (tokenizzazione allineata ai patch, z-scoring per canale).
• (C) Finetuned (Nostro): Configurazione (B) sottoposta a fine-tuning sul full causal DAG prior.
• (D) Finetuned, Ablazione Solo-Tabulare: Configurazione (B) sottoposta a fine-tuning su un prior dove tutti i componenti specifici delle serie (radici GP, Conv1D, augmentation delle serie temporali) sono disabilitati ($T=1$).

Risultati:

• Performance: La configurazione (C) ha ottenuto la migliore accuratezza media e ROC–AUC in entrambi i set di ensemble ($e=1$ e $e=8$).
  • A $e=8$, (C) ha raggiunto 0.8575 di accuratezza e 0.9444 di ROC–AUC, superando il modello upstream standard (A) (0.8525 / 0.9405) e l'ablazione solo-tabulare (D) (0.8493 / 0.9393).
• Significatività Statistica:
  • Il fine-tuning sul generatore completo (C) ha superato significativamente l'ablazione solo-tabulare (D) con un p-value di Wilcoxon signed-rank di $3.0 \times 10^{-8}$ su ROC–AUC.
  • L'ablazione solo-tabulare (D) non ha mostrato alcun miglioramento statisticamente significativo rispetto al modello upstream non modificato (A) ($p=0.10$ per AUC), ed è stata persino superata dalla baseline di inferenza custom (B) ($p=1.7 \times 10^{-4}$).
• Conclusione sul Meccanismo: I risultati confermano che i meccanismi specifici delle serie (radici GP e Conv1D) sono necessari per il guadagno di performance; il semplice fine-tuning su un prior DAG con la corretta forma di input ma senza struttura temporale non è sufficiente e può essere addirittura dannoso.

Significato e Rivendicazioni

Il paper sostiene di affrontare una lacuna nella letteratura riguardante i prior sintetici per la TSC. Introducendo un prior che modella nativamente le relazioni causali tra attributi tabulari e serie temporali, gli autori consentono l'addestramento di classificatori in-context che possono sfruttare l'intero spazio delle strutture cross-modali.

La principale significatività risiede nell'isolamento del segnale di apprendimento: gli autori dimostrano che il miglioramento nelle performance TSC è direttamente attribuibile alla struttura temporale cross-modale codificata nel prior sintetico, piuttosto che all'architettura stessa. Ciò valida l'ipotesi che i "prior-fitted networks" possano apprendere utili bias induttivi per le serie temporali se il prior cattura correttamente i meccanismi causali del dominio.

Gli autori rimangono modesti riguardo all'ambito, notando che:

• Il modello risultante è un "probe" e non un modello foundation SOTA per la TSC (poiché il backbone non è stato riprogettato).
• La valutazione è limitata al regime operativo specifico di TabPFN ($m \cdot T \le 500$), escludendo serie lunghe o ad alta dimensionalità.
• Il lavoro prova il valore incrementale dei meccanismi di serie rispetto a un prior tabulare ma non rivendica una superiorità assoluta su tutti i metodi TSC esistenti.
• Il framework è estendibile ad altre strutture dati (ad esempio, immagini, video) cambiando i tipi di nodi e i meccanismi, suggerendo un potenziale più ampio per i prior causali multimodali.