Horizon Activation Mapping for Neural Networks in Time Series Forecasting

Titolo: Mappatura dell'Attivazione dell'Orizzonte per le Reti Neurali nella Previsione di Serie Temporali

Enunciato del Problema
I modelli di rete neurale per la previsione di serie temporali hanno ottenuto significativi miglioramenti nelle prestazioni, in particolare nei compiti a lungo orizzonte. Tuttavia, il campo manca di un quadro unificato per la selezione dei modelli e l'interpretabilità che sia agnostico rispetto a specifici tipi di strato o famiglie di modelli. I metodi esistenti di interpretabilità, come Grad-CAM, sono progettati per la visione artificiale e si basano su mappe di attenzione spaziale, che non si traducono in modo banale nella natura spaziotemporale della previsione multivariata. Inoltre, mentre esistono varie famiglie di modelli (ad esempio basate su MLP, auto-attenzione, SSM, diffusione), non esiste un dataset supervisionato su larga scala o un quadro analitico in grado di confrontare le loro dinamiche di apprendimento interne e le attività dei gradienti attraverso diverse architetture. La selezione attuale dei modelli si basa spesso su metriche di errore (MSE, MAE) che possono essere simili tra diverse famiglie, oscurando i paesaggi di ottimizzazione sottostanti e le strategie di apprendimento.

Metodologia: Mappatura dell'Attivazione dell'Orizzonte (HAM)
Gli autori introducono la Mappatura dell'Attivazione dell'Orizzonte (HAM), una tecnica di interpretabilità visiva ispirata a Grad-CAM ma adattata per la previsione di serie temporali. HAM analizza le magnitudini degli aggiornamenti dei gradienti attraverso sottoserie all'interno di un orizzonte di previsione per identificare le proprietà del modello.

• Modalità Causale e Anti-Causale: Per un orizzonte di dimensione $H$, HAM calcola le medie delle norme dei gradienti utilizzando due modalità di mascheramento applicate alla funzione di perdita prima della retropropagazione:
  • Modalità Causale ($c$): Include le sottoserie dall'istante temporale 0 a $h$.
  • Modalità Anti-Causale ($a$): Include le sottoserie dall'istante temporale $h$ a $H$.
• Medie delle Norme dei Gradienti: Il quadro computa la media della norma del gradiente rispetto ai parametri del modello $\theta$ su queste sottoseri mascherate.
• Visualizzazioni:
  • Grafici HAM: Mostrano le medie delle norme dei gradienti in funzione degli istanti temporali, confrontate con una "linea di proporzionalità" che rappresenta una distribuzione uniforme delle norme dei gradienti.
  • Grafici delle Differenze: Mostrano la differenza tra le medie dei gradienti causali e anti-causali, scalata a $[-1, 1]$, per evidenziare le disparità nell'apprendimento lungo l'orizzonte.
  • Grafici ad Area Interpolata: Normalizzano l'area massima per modello all'intervallo $[0, 1]$ per confrontare modelli di diverse dimensioni dell'orizzonte.
• Metriche Chiave: Il quadro identifica il Punto Equivariante del Gradiente, dove la media della norma del gradiente dei primi $h$ istanti temporali è uguale a quella dei restanti $H-h$ istanti temporali. Calcola inoltre l'area con segno tra le curve e la linea di proporzionalità per amplificare le variazioni.

Configurazione Sperimentale
Lo studio valuta HAM attraverso diverse famiglie di modelli addestrati sul dataset ETTm2 (split 60-20-20 per addestramento-validazione-test) utilizzando una GPU NVIDIA A40. I modelli includono:

• Basati su MLP: CycleNet, N-Linear, N-HITS.
• Auto-attenzione: FEDformer, Pyraformer.
• Modelli a Spazio di Stato (SSM): SpaceTime.
• Diffusione: Multi-Resolution DDPM.

Gli esperimenti coprono varie dimensioni dell'orizzonte ($H = \{96, 192, 336, 720\}$) e investigano gli effetti di:

• Tassi di dropout.
• Dimensioni del batch.
• Arresto anticipato (epoche post-arresto).
• Split del dataset (addestramento vs validazione vs test).
• Previsione univariata vs multivariata.
• Iperparametri architetturali (ad esempio, lunghezza della coda del ciclo, strategie di normalizzazione).

Risultati Chiave e Osservazioni

1. Effetti del Dropout: Nei modelli multivariati (in particolare N-HITS), l'aggiunta di dropout (0.2) ha aumentato le magnitudini complessive dei gradienti di oltre 3 volte, in particolare nelle regioni più lunghe dell'orizzonte.
2. Dinamiche della Dimensione del Batch:
   • Le magnitudini dei gradienti e le metriche di errore hanno mostrato relazioni complesse con la dimensione del batch.
   • Nei modelli convergenti (N-HITS, N-Linear, CycleNet), le medie delle norme dei gradienti interpolate attraverso le dimensioni del batch hanno esibito una tendenza di saturazione polinomiale, suggerendo una potenziale approssimazione esponenziale attraverso le dimensioni del batch per epoca.
   • CycleNet ha mostrato differenze di prestazioni sottili basate sulla dimensione del batch, con un aumento dell'attività anti-causale a dimensioni del batch più piccole (50) e una diminuzione dell'attività causale a quelle più grandi (100).
3. Arresto Anticipato: I modelli fermati anticipatamente hanno mostrato magnitudini ridotte dei gradienti, in particolare nella modalità causale. Il punto equivariante del gradiente dei modelli fermati anticipatamente si è spostato più vicino a $H/2$, suggerendo che le attività nelle regioni a orizzonte più lungo non hanno migliorato le prestazioni una volta che il modello ha raggiunto un minimo locale.
4. Split del Dataset: I dati di addestramento hanno spinto le curve più vicino alla linea di proporzionalità. Gli insiemi di validazione in N-HITS hanno mostrato aspetti "fuori distribuzione" in modo più distinto rispetto a CycleNet.
5. Univariata vs Multivariata: La previsione multivariata ha presentato maggiori difficoltà di apprendimento spaziale. La rimozione degli istanti temporali iniziali nelle sottoserie multivariata ha spinto le curve anti-causali al di sotto della linea di proporzionalità, un comportamento non osservato nei casi univariati.
6. Specifiche Architetturali:
   • N-Linear: La normalizzazione (sottraendo il valore dell'ultimo istante temporale) ha ridotto gli errori del 16% e ha alterato le magnitudini dei gradienti, diminuendole causalmente nei primi 23% dell'orizzonte e aumentandole successivamente.
   • CycleNet: La lunghezza della coda del ciclo ha influenzato l'ordinamento dei valori. La lunghezza del ciclo più piccola (64) corrispondeva alle migliori prestazioni e mostrava magnitudini più grandi che interagivano tra le lunghezze delle sottoserie.
   • SpaceTime: Ha esibito attività autoregressive esponenziali. La sua modalità causale è passata da tendenze lineari (a $H=96$) a tendenze esponenziali (a $H=\{192, 336, 720\}$), evidenziando regioni più lunghe dell'orizzonte.
   • N-HITS: Il suo comportamento si è allineato al teorema di approssimazione neurale, con aumenti anti-causali che supportano le ipotesi di orizzonte infinito.
   • Diffusione (Multi-Resolution DDPM): Ha mostrato norme dei gradienti caratteristicamente più grandi per le sottoserie più piccole rispetto alle aspettative proporzionali, suggerendo una proprietà della previsione basata sulla diffusione.

Significato e Affermazioni
Il paper afferma che HAM fornisce un quadro granulare e agnostico rispetto al modello per:

• Selezione del Modello: Confrontare strategie di apprendimento e paesaggi di ottimizzazione tra diverse famiglie di reti neurali (MLP, Attention, SSM, Diffusione) oltre alle semplici metriche di errore.
• Scelta dell'Insieme di Validazione: Utilizzare le variabilità relative nei grafici HAM per selezionare insiemi di validazione appropriati.
• Insight Architetturale: Attribuire tendenze specifiche nei grafici HAM a proprietà teoriche, come il teorema di approssimazione neurale di N-HITS e la natura autoregressiva esponenziale di SpaceTime.
• Generalizzabilità: Il quadro è applicabile indipendentemente dai tipi di strato utilizzati nel modello, affrontando la limitazione dei metodi precedenti che erano specifici per certe architetture.

Gli autori notano che, sebbene HAM utilizzi medie delle norme complessive, i grafici a livello di strato possono chiarire ulteriormente le dinamiche di apprendimento per sottoserie più brevi e più lunghe. Lo studio conclude che HAM funge da strumento per comprendere il "paesaggio di ottimizzazione" della previsione di serie temporali, consentendo cambiamenti architetturali interpretabili e confronti tra famiglie.