Horizon Activation Mapping for Neural Networks in Time Series Forecasting

Titel: Horizon Activatie Mapping voor Neuronale Netwerken in Tijdreeksvoorspelling

Probleemstelling
Neuronale netwerkmodellen voor tijdreeksvoorspelling hebben aanzienlijke prestatieverbeteringen bereikt, met name in taken met een lange horizon. Het vakgebied mist echter een unifyend kader voor modelselectie en interpretatie dat agnostisch is ten opzichte van specifieke laagtypen of modelgezinnen. Bestaande methoden voor interpretatie, zoals Grad-CAM, zijn ontworpen voor computervisie en vertrouwen op ruimtelijke attentiekaarten, die niet triviaal vertaalbaar zijn naar de ruimtelijk-temporele aard van meervariabele voorspelling. Bovendien, hoewel er diverse modelgezinnen bestaan (bijv. MLP-gebaseerd, self-attention, SSM-gebaseerd, diffusie), ontbreekt er een groot gesuperviseerd dataset of analytisch kader dat in staat is hun interne leerdynamiek en gradiëntactiviteiten te vergelijken over verschillende architecturen heen. Huidige modelselectie berust vaak op foutmetrieken (MSE, MAE) die vergelijkbaar kunnen zijn tussen verschillende gezinnen, waardoor de onderliggende optimalisatielandschappen en leerstrategieën worden verduisterd.

Methodologie: Horizon Activatie Mapping (HAM)
De auteurs introduceren Horizon Activatie Mapping (HAM), een visuele interpretatietechniek geinspireerd door Grad-CAM maar aangepast voor tijdreeksvoorspelling. HAM analyseert de grootte van gradiëntupdates over subsreeksen binnen een voorspellingshorizon om model eigenschappen te identificeren.

• Causale en Anti-causale Modi: Voor een horizon van grootte $H$, berekent HAM gemiddelde gradiëntnormen met behulp van twee masking-modi die op de verliesfunctie worden toegepast voordat backpropagation plaatsvindt:
  • Causale Modus ($c$): Omvat subsreeksen van tijdstap 0 tot $h$.
  • Anti-causale Modus ($a$): Omvat subsreeksen van tijdstap $h$ tot $H$.
• Gemiddelde Gradiëntnormen: Het kader berekent de gemiddelde gradiëntnorm met betrekking tot de modelparameters $\theta$ over deze gemaskerde subsreeksen.
• Visualisaties:
  • HAM-plots: Tonen gemiddelde gradiëntnormen tegen tijdstappen, vergeleken met een "lijn van proportionaliteit" die een uniforme verdeling van gradiëntnormen vertegenwoordigt.
  • Verschilplots: Tonen het verschil tussen causale en anti-causale gradiëntgemiddelden, geschaald naar $[-1, 1]$, om discrepanties in leren over de horizon te benadrukken.
  • Geïnterpoleerde Areaalplots: Normaliseren het maximale areaal per model naar het bereik $[0, 1]$ om modellen met verschillende horizongroottes te vergelijken.
• Belangrijke Metrieken: Het kader identificeert het Gradiënt Equivariante Punt, waar de gemiddelde gradiëntnorm van de eerste $h$ tijdstappen gelijk is aan die van de resterende $H-h$ tijdstappen. Het berekent ook het getekende areaal tussen de curves en de lijn van proportionaliteit om variaties te vergroten.

Experimentele Opstelling
De studie evalueert HAM over diverse modelgezinnen die zijn getraind op het ETTm2-dataset (60-20-20 train-val-test splitsing) met behulp van een NVIDIA A40 GPU. De modellen omvatten:

• MLP-gebaseerd: CycleNet, N-Linear, N-HITS.
• Self-Attention: FEDformer, Pyraformer.
• State Space Modellen (SSM): SpaceTime.
• Diffusie: Multi-Resolution DDPM.

Experimenten bestrijken diverse horizongroottes ($H = \{96, 192, 336, 720\}$) en onderzoeken de effecten van:

• Dropout-rates.
• Batchgroottes.
• Vroegtijdig stoppen (epochs na stoppen).
• Dataset splitsingen (train versus validatie versus test).
• Univariate versus meervariabele voorspelling.
• Architecturale hyperparameters (bijv. cycluswachtrijlengte, normalisatiestrategieën).

Belangrijkste Resultaten en Observaties

1. Effecten van Dropout: In meervariabele modellen (specifiek N-HITS) verhoogde het toevoegen van dropout (0.2) de totale gradiëntgroottes met meer dan 3 keer, met name in langere regio's van de horizon.
2. Dynamiek van Batchgrootte:
   • Gradiëntgroottes en foutmetrieken vertoonden complexe relaties met de batchgrootte.
   • In geconvergeerde modellen (N-HITS, N-Linear, CycleNet) vertoonden de geïnterpoleerde gemiddelde gradiëntnormen over batchgroottes een polynomiaal verzadigende trend, wat wijst op een potentiële exponentiële benadering over batchgroottes per epoch.
   • CycleNet toonde subtiele prestatieverschillen gebaseerd op batchgrootte, waarbij anti-causale activiteit toenam bij kleinere batchgroottes (50) en causale activiteit afnam bij grotere batchgroottes (100).
3. Vroegtijdig Stoppen: Modellen die vroegtijdig werden gestopt, vertoonden verminderde gradiëntgroottes, met name in de causale modus. Het gradiënt equivariante punt van vroegtijdig gestopte modellen verschuift dichter naar $H/2$, wat suggereert dat activiteiten in langere horizonregio's de prestaties niet verder verbeterden zodra het model een lokaal minimum had bereikt.
4. Dataset Splitsingen: Trainingsdata duwden de curves dichter naar de lijn van proportionaliteit. Validatiesets in N-HITS toonden "out-of-distribution"-aspecten duidelijker dan in CycleNet.
5. Univariate versus Meervariabele: Meervariabele voorspelling presenteerde grotere ruimtelijke leermoeilijkheden. Het verwijderen van initiële tijdstappen in meervariabele subsreeksen duwde anti-causale curves onder de lijn van proportionaliteit, een gedrag dat niet werd waargenomen in univariate gevallen.
6. Architectuurspecifieke Kenmerken:
   • N-Linear: Normalisatie (aftrekken van de waarde van de laatste tijdstap) verlaagde de fouten met 16% en veranderde de gradiëntgroottes, waardoor deze causaal afnamen in de eerste 23% van de horizon en daarna toenamen.
   • CycleNet: De cycluswachtrijlengte beïnvloedde de volgorde van waarden. De kleinste cycluslengte (64) correspondeerde met de beste prestaties en toonde grotere groottes die interacteren tussen subsreekslengtes.
   • SpaceTime: Vertoonde exponentiële autoregressieve activiteiten. De causale modus ging over van lineair (bij $H=96$) naar exponentiële trends (bij $H=\{192, 336, 720\}$), waardoor langere regio's van de horizon werden benadrukt.
   • N-HITS: Het gedrag stemde overeen met de neurale benaderingsstelling, waarbij anti-causale toenames de veronderstelling van een oneindige horizon ondersteunen.
   • Diffusie (Multi-Resolution DDPM): Toonde karakteristiek grotere gradiëntnormen voor kleinere subsreeksen in vergelijking met proportionele verwachtingen, wat wijst op een eigenschap van diffusie-gebaseerde voorspelling.

Betekenis en Beweringen
Het artikel beweert dat HAM een granulair, model-agnostisch kader biedt voor:

• Modelselectie: Het vergelijken van leerstrategieën en optimalisatielandschappen over verschillende neurale netwerkgezinnen (MLP, Attention, SSM, Diffusie) heen, verder dan simpele foutmetrieken.
• Keuze van Validatieset: Het gebruik van relatieve variabiliteiten in HAM-plots om geschikte validatiesets te selecteren.
• Architecturale Inzicht: Het toewijzen van specifieke trends in HAM-plots aan theoretische eigenschappen, zoals de neurale benaderingsstelling van N-HITS en de exponentiële autoregressieve aard van SpaceTime.
• Generaliseerbaarheid: Het kader is toepasbaar ongeacht de laagtypen die in het model worden gebruikt, waardoor de beperking van eerdere methoden die specifiek waren voor bepaalde architecturen wordt aangepakt.

De auteurs merken op dat hoewel HAM gebruikmaakt van totale normgemiddelden, laag-voor-laag plots de leerdynamiek voor kortere en langere subsreeksen verder kunnen verduidelijken. De studie concludeert dat HAM dient als een hulpmiddel om het "optimalisatielandschap" van tijdreeksvoorspelling te begrijpen, wat interpreteerbare architectuurwijzigingen en vergelijkingen tussen gezinnen mogelijk maakt.