Technische Samenvatting: Cross-Variable Loss voor Multivariate Tijdreeksvoorspelling

1. Probleemdefinitie en Motivatie

Multivariate Tijdreeksvoorspelling (MTSF) heeft als doel de toekomstige waarden van meerdere onderling gerelateerde variabelen te voorspellen. Ho afwijl recente vooruitgang sterk gericht is op het modelleren van input-zijde kanaalafhankelijkheden (het extraheren van representaties uit historische kenmerken), betoogt dit artikel dat output-zijde afhankelijkheden—de intrinsieke correlaties tussen toekomstige voorspellingen—grotendeendeels over het hoofd zijn gezien.

Huidige mainstream benaderingen volgen overwegend het Direct Forecasting (DF) paradigma. In dit paradigma leert een model een mapping $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$ om gelijktijdig $T$-staps voorspellingen te genereren voor $D$ variabelen. Echter, standaard DF-training vertrouwt op punt-gewijze verliesfuncties (bijv. Mean Squared Error, MSE) die elke tijdstap en variabele entry behandelen als een onafhankelijke scalaire voorspelling.

De auteurs identificeren een cruciale beperking in deze aanpak:

1. Fysieke Mismatch: Real-world multivariate systemen (bijv. financiële markten, verkeersnetwerken) vertonen gedeelde systeemdynamiek waarbij variabelen samen evolueren. Het blindelings ontkoppelen van toekomstige voorspellingen schendt deze natuurkundige wetten, wat potentieel kan leiden tot voorspellingen die numeriek accuraat zijn op punt-niveau, maar structureel tegenstrijdig (bijv. het schenden van marktregels of fysieke beperkingen).
2. De Objectieve Kloof: Vanuit een probabilistisch perspectief gaat standaard punt-gewijze MSE-optimalisatie ervan uit dat voorspellingsresiduen een volledig onafhankelijke, isotrope Gaussische distributie volgen (diagonale covariantie matrix). Echter, door cross-variabele en vertraagde afhankelijkheden bevat de werkelijke spatiotemporele covariantie matrix van residuen significante niet-nul off-diagonaal elementen. Dit creëert een theoretische "Objectieve Kloof" ($\Delta \neq 0$) tussen de standaard loss en de werkelijke gezamenlijke distributie van de data. Bijgevolg faalt het minimaliseren van punt-gewijze MSE om de gezamenlijke geometrische topologie van de originele data te vatten.

2. Methodologie: Cross-Variable Loss (CvLoss)

Om de Objectieve Kloof aan te pakken, stellen de auteurs Cross-Variable Loss (CvLoss) voor, een plug-in structurele regularisator die expliciet de consistentie van voorspellingsresiduen over variabelen heen beperkt.

2.1 Theoretische Fundering

De auteurs formaliseren het probleem vanuit een graafgestructureerd perspectief. Ze definiëren de voorspellingsfoutvector $e$ en postuleren dat de ware residuen een multivariate Gaussische distributie volgen met een gestructureerde precisie matrix $\Sigma_{ST}^{-1}$ die niet-nul off-diagonaal elementen bevat.

• Propositie 3.2 stelt vast dat het minimaliseren van de negatieve log-likelihood van een Gaussische distributie met een gestructureerde precisie matrix gelijk is aan het minimaliseren van de standaard MSE plus een gekwadrateerde graph total variation (TV) penalty over een cross-variabele graaf.
• Hoewel de theorie een $\ell_2$ (gekwadrateerde) penalty suggereert, kiezen de auteurs empirisch voor een $\ell_1$-norm voor de penalty term. Deze keuze wordt gemotiveerd door de noodzaak om minder gevoelig te zijn voor gelokaliseerde anomalieën of variabele-specifieke schokken die een gekwadrateerde penalty zouden kunnen domineren, terwijl er toch wordt gestreefd naar graaf-niveau residu-consistentie.

2.2 Loss Formulering

CvLoss opereert op patch nodes. De voorspellingshorizon $T$ wordt verdeeld in $P$ niet-overlappende patches van lengte $L$. Elke node $v$ representeert een patch voor een specifieke variabele.

• Graaf Constructie: Een cross-variabele graaf wordt geconstrueerd waarbij edges variabelen verbinden. De auteurs definiëren drie soorten edges:
  1. Synchrone edges: Verbinden variabelen op hetzelfde tijdstip (vangt gelijktijdige interacties).
  2. Asynchrone edges: Verbinden variabelen over verschillende tijdstappen heen (vangt vertraagde propagatie).
  3. Volledig verbonden edges: De standaardinstelling, inclusief zowel synchrone als asynchrone interacties om de dekking te maximaliseren zonder domein-specifieke priors.
• Loss Berekening: Voor elke edge $(i, j)$ in de graaf, straft de loss de discrepantie tussen de structurele verschillen van de voorspellingen en de grondwaarheid (ground truth).
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$$
  Gebruikmakend van de node-gewijze residuen $e_i = \hat{z}_i - z_i$, vereenvoudigt dit tot de total variation van de residuen over de graaf:
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$$
  waarbij $\tilde{A}$ de lifted incidence matrix van de graaf is.

2.3 Trainingsdoelstelling

De uiteindelijke trainingsdoelstelling combineert de standaard punt-gewijze DF loss ($L_{df}$) met de structurele regularisator ($L_{cv}$):
$$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$$
waarbij $\alpha \in (0, 1)$ een vaste hyperparameter is die op de validatieset is afgestemd. Cruciaal is dat CvLoss model-agnostisch en plug-and-play is, waardoor het naadloos integreert met diverse backbones (Transformers, MLPs, etc.) zonder de inferentieprocedure te wijzigen.

3. Belangrijkste Bijdragen

1. Identificatie van de Objectieve Kloof: Het artikel toont aan dat standaard punt-gewijze leerdoelen de inherente inter-kanaal foutafhankelijkheden tussen toekomstige voorspellingen verwaarlozen, wat een theoretische mismatch creëert met real-world spatiotemporele correlaties.
2. CvLoss Voorstel: Een nieuwe structurele regularisator die expliciet de inter-kanaal relaties beperkt via een residu-consistentie formulering op een cross-variabele graaf. Het stimuleert consistentie in zowel synchrone als asynchrone interacties.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat CvLoss state-of-the-art (SOTA) modellen consistent verbetert over diverse datasets (ETT, ECL, Traffic, Weather, PEMS) en architecturen (iTransformer, TimeFilter, TQNet, etc.), waarbij superieure voorspellende prestaties worden behaald met minimale computationele overhead.

4. Experimentele Resultaten

De auteurs evalueerden CvLoss op 12 standaard benchmarks met verschillende backbones. Belangrijkste bevindingen zijn:

• Prestatiewinst: Het toevoegen van CvLoss verminderde de voorspellingsfouten (MSE en MAE) consequent. Bijvoorbeeld, op de Traffic dataset daalde de MAE met 0,014. Over 114 backbone-gecontroleerde vergelijkingen heen, verbeterde CvLoss de resultaten in 111 gevallen, was gelijk in 2, en verloor in 1 geval, met een gemiddelde relatieve foutreductie van 3,39% in MSE en 3,61% in MAE.
• Structureel Herstel: Visualisaties van cross-variabele correlatiematrices laten zien dat modellen getraind met CvLoss de grondwaarheid van de correlatiestructuur aanzienlijk beter herstellen dan de baselines. Op de ECL dataset verbeterde CvLoss de structurele fout voor 84,83% van de cross-variabele entries vergeleken met een plain iTransformer baseline.
• Vergelijking met Andere Doelstellingen: CvLoss presteerde beter dan 11 andere leerdoelen, inclusclusief shape-alignment losses (Soft-DTW), likelihood maximisatie (QDF, Time-o1) en distributie balanceringsmethoden.
• Ablatie Studies:
  • Topologie: De volledig verbonden graaf (combinatie van synchrone en asynchrone edges) leverde de beste prestaties op, wat de noodzaak bevestigt om beide typen interacties te modelleren.
  • Hyperparameters: De methode is robuust voor de keuze van $\alpha$, waarbij optimale prestaties meestal worden gevonden rond $\alpha \approx 0.5$. Het is ook robuust voor variaties in patch lengte.
• Efficiëntie:
  • Inference: CvLoss brengt nul overhead met zich mee tijdens inference, aangezien het na de training uit de computationele graaf wordt verwijderd.
  • Training: Hoewel de volledige graaf een kwadratische complexiteit $O(P^2D^2)$ introduceert, demonstreren de auteurs dat random edge sampling (het beperken van edges tot 1000 per batch) de trainingstijd effectief naar een constant niveau reduceert zonder de voorspellende nauwkeurigheid op te offeren.

5. Betekenis en Beperkingen

Betekenis:
Het artikel betoogt dat het modelleren van de structurele geometrie van toekomstige variabelen een eenvoudige maar effectieve richting is voor het verbeteren van MTSF. Door de focus te verschuiven van puur input-zijde afhankelijkheden naar output-zijde structurele consistentie, overbrugt CvLoss de kloof tussen de wiskundige aannames van standaard loss functies en de fysieke realiteit van samen evoluerende systemen. Het biedt een universeel, lichtgewicht mechanisme om bestaande voorspellingsmodellen te verbeteren zonder architecturale wijzigingen te vereisen.

Beperkingen:

• Graaf Constructie: De standaardaanpak gebruikt een volledig verbonden graaf, wat in zeer hoog-dimensionale systemen oninformatieve interacties kan bevatten. Hoewel random sampling de schaalbaarheid adresseert, blijft het leren van adaptieve graafstructuren een toekomstige richting.
• Scope: Het werk richt zich op deterministische voorspelling op reguliere benchmark datasets. Uitbreidingen naar probabilistische voorspelling, irreguliere sampling en scenario's met ontbrekende waarden worden niet behandeld.
• Theoretisch vs. Empirisch: De auteurs erkennen dat hoewel de theoretische afleiding (Propositie 3.2) een $\ell_2$ (gekwadrateerde) penalty ondersteunt, de toegepaste methode een $\ell_1$ norm gebruikt op basis van empirisch bewijs. De theorie motiveert de noodzaak van een relatie-bewuste beperking, maar leidt de specifieke $\ell_1$ vorm niet strikt af.

Concluderend biedt CvLoss een gefundeerde manier om multivariate voorspellingen te regulariseren, waardoor wordt gewaarborgd dat de voorspelde toekomstige variabelen evolueren op een wijze die consistent is met hun onderliggende fysieke en statistische afhankelijkheden.