Riepilogo Tecnico: CAST (Trasporto Semplicico Ancorato Causalmente)

1. Enunciato del Problema

Il documento affronta la previsione di serie temporali a valori distributivi, dove le osservazioni non sono traiettorie scalari ma distribuzioni di probabilità che evolvono nel tempo. Queste distribuzioni vivono sul semplice di probabilità $\Delta^{D-1}$ e rappresentano stati aggregati del sistema come occupazioni di code, quote di mobilità, profili di gravità della qualità dell'aria e composizioni ecologiche.

La sfida fondamentale identificata è l'aliasing del kernel di transizione latente. In molti sistemi stocastici, la stessa distribuzione osservata corrente $p_t$ può derivare da diversi regimi latenti (ad esempio, una coda che entra in congestione rispetto a una che si svuota dopo un picco) con successori futuri distinti. I predittori tradizionali che si basano esclusivamente su un riepilogo fisso dello stato corrente (o su input relativi solo al momento corrente) sono costretti a mediare questi successori incompatibili, portando a un errore irriducibile. Inoltre, le architetture standard di deep learning (Transformer, RNN) trattano questi input come vettori non vincolati e impongono la validità del semplice solo tramite un softmax finale, fallendo nel modellare esplicitamente la struttura causale della località del successore, la disambiguazione del regime o il movimento ordinato della massa.

2. Metodologia: Il Modello CAST

Gli autori propongono CAST (Trasporto Semplicico Ancorato Causalmente), un operatore di transizione strutturato progettato specificamente per il semplice. CAST opera come una pipeline causale e localizzata al successore con tre fasi distinte, tutte delle quali preservano il semplice per costruzione:

1. Recupero Causale del Successore:
   CAST codifica la storia causale $p_{1:t}$ in stati nascosti utilizzando un Transformer decoder-only. Successivamente, recupera i successori empirici $r_t$ da una banca di memoria strettamente causale di coppie contesto-successore passate $(p_s, p_{s+1})$ dove $s < t$. Questo meccanismo di recupero permette al modello di disambiguare i regimi: se lo stato corrente $p_t$ è apparso in contesti diversi con futuri differenti, il meccanismo di recupero seleziona il successore corrispondente al contesto causale corrente.

2. Ancoraggio Persistenza-Successore:
   Per stabilizzare il successore recuperato, che può essere rumoroso, CAST forma un'ancora $a_t$ interpolando tra la distribuzione corrente $p_t$ e il successore recuperato $r_t$:
   $$a_t = \lambda_t p_t + (1 - \lambda_t) r_t$$
   Qui, $\lambda_t$ è un gate di persistenza apprendibile. Questo passaggio garantisce che la previsione rimanga vicina allo stato corrente se la storia recuperata è inaffidabile, sfruttando comunque le transizioni storiche quando appropriato.

3. Trasporto Locale Limitato (per Supporti Ordinati):
   Per supporti con un ordine naturale (ad esempio, lunghezze delle code, livelli AQI), CAST applica un operatore di trasporto stocastico locale limitato $T_t$ all'ancora. La previsione finale è:
   $$\hat{p}_{t+1} = (1 - \rho_t) a_t + \rho_t T_t a_t$$
   dove $\rho_t$ è una forza di trasporto limitata. Il kernel di trasporto $T_t$ è vincolato a spostare la massa di probabilità localmente (ad esempio, spostamenti di raggio 1) e include un "budget di spostamento medio" per prevenire derive incontrollate durante le simulazioni autoregressive. Per supporti non ordinati, questa fase è disabilitata ($\rho_t \equiv 0$).

Addestramento: Il modello è addestrato utilizzando una perdita di divergenza KL a un passo con forcing dell'insegnante. Crucialmente, non utilizza perdita di simulazione (rollout), target multi-orizzonte o supervisione oracolare. Viene aggiunto un prior di operatore privo di target ($R_{op}$) per penalizzare trasporti forti, masse fuori identità e kernel irregolari, garantendo stabilità senza supervisione diretta sui passi futuri.

3. Contributi Teorici

Il documento fornisce tre principali risultati teorici riguardanti i limiti dei predittori a riepilogo fisso e l'espressività di CAST:

• Limite Inferiore di Aliasing (Teorema 1): Gli autori dimostrano che, in presenza di aliasing del kernel di transizione latente (dove più regimi condividono lo stesso riepilogo osservato ma hanno successori diversi), qualsiasi predittore a riepilogo fisso incorre in un limite inferiore irriducibile del rischio eccessivo ponderato di Jensen–Shannon (JS). Questo limite è strettamente positivo a meno che tutti i successori specifici del regime non siano identici.
• Rappresentabilità Oracolare (Teorema 2): Dimostrano che la classe di ipotesi CAST contiene il successore Bayesiano consapevole del regime. Se la rappresentazione causale può identificare il regime latente e la memoria contiene l'ancora appropriata, CAST può teoricamente raggiungere un rischio eccessivo nullo.
• Separazione del Supporto Ordinato (Teorema 3): Per supporti ordinati, gli autori mostrano che anche un metodo oracolare limitato alla classe di ancoraggio "no-transport" (combinazioni lineari degli stati corrente e recuperato) incorre in un rischio eccessivo KL condizionato limitato inferiormente da un termine di separazione di Pinsker se il vero successore giace fuori dal guscio dell'ancora. CAST, utilizzando il trasporto locale limitato, può colmare questo divario.

4. Risultati Sperimentali

Gli autori hanno valutato CAST su una suite di 11 benchmark che coprono ecologia, energia, dieta, mortalità, occupazione, qualità dell'aria, eventi meteorologici estremi, mobilità e code (sia G/G/1 che Gt/G/1).

• Prestazioni: CAST ha ottenuto il miglior rango medio sia per la KL a un passo (1.27) che per la JSD di simulazione autoregressiva (1.91) su tutti gli 11 settori.
• Confronti: Ha superato un ampio set di baseline inclusi metodi statistici (persistenza, ETS, ilr-VAR), modelli composizionali e moderne architetture di serie temporali deep (Transformer, iTransformer, N-HiTS, TimeMixer, ecc.). CAST ha vinto 8 su 11 settori su entrambe le metriche ed è stato nei primi due su tutti gli 11 per la KL offline.
• Ablazioni: La rimozione della miscela di persistenza ha causato un calo significativo delle prestazioni (le vittorie KL sono scese da 8/11 a 5/11), mentre la rimozione della regolarizzazione strutturale ha degradato principalmente la stabilità della simulazione a lungo orizzonte.
• Validazione Sintetica: Un esperimento sintetico controllato ha confermato la teoria dell'aliasing. I predittori a riepilogo fisso sono collassati sulla media JS di successori incompatibili, mentre CAST ha recuperato con successo il successore specifico del regime, riducendo il divario di errore a quasi zero.
• Analisi Qualitativa: Le visualizzazioni sui dati delle code hanno mostrato che, mentre le baseline producevano bande statiche o distribuzioni sfocate, CAST ha preservato le modalità in movimento e la forma della distribuzione, coerentemente con il suo meccanismo di trasporto limitato.

5. Significato e Affermazioni

Il documento afferma che CAST offre un'alternativa strutturale ai modelli generici sequenza-a-distribuzione. Il suo significato risiede in:

1. Modellazione Esplicita della Struttura Causale: Recuperando successori empirici e ancorandoli, CAST affronta direttamente il problema dell'aliasing dove gli stati attuali sono insufficienti a determinare i futuri.
2. Design Nativo del Semplice: A differenza dei modelli che mappano su logit non vincolati e proiettano indietro, l'operatore di transizione di CAST è costruito per rimanere all'interno del semplice in ogni fase, garantendo distribuzioni di probabilità valide senza correzione post-hoc.
3. Stabilità nella Simulazione: La combinazione di ancoraggio di persistenza e trasporto locale limitato previene l'accumulo di errori durante la previsione autoregressiva a lungo orizzonte, un comune modo di fallimento per i modelli di serie temporali deep.
4. Disambiguazione del Regime: I risultati suggeriscono che per le serie temporali a valori distributivi, sfruttare la storia causale per distinguere i regimi latenti è più critico del semplice aumento della capacità del modello o della lunghezza della sequenza.

Gli autori rimangono modesti riguardo alla portata, notando che la teoria fornisce un argomento di esistenza per il regime in cui CAST eccelle, piuttosto che una garanzia di addestramento a campione finito. Riconoscono che per dinamiche puramente lisce su supporti non ordinati, altri modelli possono rimanere competitivi, e che l'implementazione attuale si basa su un addestramento a un passo con la simulazione come protocollo di valutazione puro.