CPiRi: Channel Permutation-Invariant Relational Interaction for Multivariate Time Series Forecasting

Het paper introduceert CPiRi, een nieuw framework voor multivariate tijdsreeksvoorspelling dat door middel van een permutatie-invariante aanpak en spatiotemporele decoupling zowel cross-kanaal afhankelijkheden leert als robuust blijft bij wijzigingen in kanaalvolgorde of -aantal, wat resulteert in state-of-the-art prestaties en sterke generalisatie.

De kern

CPiRi: De "Onverwisselbare" Voorspeller voor Complexe Data

Stel je voor dat je een orkest hebt met 100 muzikanten (de verschillende kanalen, zoals sensoren in een stad of aandelen in een beurs). Je wilt voorspellen hoe het concert over een uur klinkt.

Tot nu toe hadden we twee manieren om dit te doen, en beide hadden een groot probleem:

1. De "Zelfstandige" Muzikanten (Channel-Independent): Iedere muzikant oefent alleen voor zichzelf. Ze zijn heel goed in hun eigen partituur, maar ze luisteren niet naar elkaar. Als de trompettist een fout maakt, weet de fluitist het niet. Het resultaat is vaak saai en niet heel accuraat.
2. De "Strikte Dirigent" (Channel-Dependent): Hier luistert iedereen naar elkaar, maar de dirigent heeft een vaste volgorde in zijn hoofd. Hij denkt: "De trompet is altijd links, de fluit is altijd rechts." Als je de muzikanten van plek verwisselt (bijvoorbeeld omdat er een nieuwe trompettist bij komt of omdat een sensor kapot gaat), raakt de dirigent in paniek. Hij herinnert zich de plek, niet de muziek. Het orkest valt dan volledig uit elkaar.

De Oplossing: CPiRi

De auteurs van dit paper hebben CPiRi bedacht. Het is een slimme nieuwe manier om naar data te kijken die het beste van beide werelden combineert. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Onverwisselbare" Orde (Channel Permutation Invariance)

Het grootste probleem van de oude methoden was dat ze de volgorde van de sensoren uit hun hoofd leerden, in plaats van de betekenis van de data.

CPiRi is als een dirigent die niet kijkt naar waar iemand zit, maar naar wie er speelt.

• Als je de volgorde van de muzikanten verwisselt (A-B-C wordt B-C-A), blijft de muziek hetzelfde.
• CPiRi leert de relaties tussen de sensoren op basis van hun gedrag (inhoud), niet op basis van hun naam of positie.
• De analogie: Stel je voor dat je een team bouwwerkt. Een oude manager zegt: "Jij, de timmerman, staat altijd links." Als je de timmerman naar rechts verplaatst, kan hij niet meer werken. CPiRi zegt: "Jij bent de timmerman, dus je doet de timmerwerkzaamheden, waar je ook staat." Het systeem werkt dus perfect, zelfs als sensoren kapot gaan, nieuwe sensoren worden toegevoegd, of als ze in een andere volgorde worden aangeleverd.

2. De Twee-Stappen Dans (Spatio-Temporal Decoupling)

CPiRi splitst het werk op in twee duidelijke stappen, net als het leren van een dans:

• Stap 1: De Solo (Tijd): Eerst luistert een "frozen" (bevroren) expert naar elke muzikant apart. Deze expert is al jarenlang getraind op duizenden andere concerten (een groot model genaamd Sundial). Hij weet precies hoe een trompet klinkt, hoe een ritme loopt, en hoe een melodie zich ontwikkelt in de tijd. Hij doet dit voor elke speler apart, zonder zich te storen aan de anderen. Dit zorgt voor een sterke basis.
• Stap 2: De Groepsdans (Ruimte): Vervolgens komen alle muzikanten samen in een kleine groep. Hier leert een lichtgewicht module hoe ze op elkaar reageren. "Oh, als de trompet hard speelt, begint de fluit te trillen."
• Het geheim: Tijdens het leren van deze groepsdans, schudt het systeem de volgorde van de muzikanten constant door elkaar (dit heet channel shuffling).
  • Waarom? Om de computer te dwingen om te kijken naar wie er speelt en hoe ze klinken, in plaats van te memoriseren "de derde persoon is altijd de trompet". Het dwingt het systeem om echte relaties te leren, niet alleen posities.

3. Waarom is dit zo belangrijk?

In de echte wereld verandert alles.

• Sensoren vallen uit: In een stad kunnen verkeerscamera's kapot gaan.
• Nieuwe sensoren: Er worden nieuwe meters geplaatst.
• Veranderingen: De volgorde van data kan per ongeluk worden omgedraaid.

Oude modellen (zoals Informer of STID) breken hier volledig op. Als je de volgorde verandert, kan hun voorspelling met wel 400% slechter worden. Ze zijn als een sleutel die alleen in één slot past.

CPiRi is als een meestersleutel. Het maakt niet uit hoe je de tanden van de sleutel draait of welke sensoren je toevoegt; het werkt altijd even goed.

De Resultaten in het Kort

• Beter dan de rest: CPiRi voorspelt verkeer en stroomverbruik nauwkeuriger dan de huidige beste methoden.
• Robuust: Het faalt niet als je sensoren verwisselt.
• Slim leren: Het kan zelfs leren met slechts de helft van de sensoren en werkt dan nog steeds goed voor de sensoren die het nooit heeft gezien (inductieve generalisatie).
• Efficiënt: Het is niet zwaar voor de computer, zelfs niet bij duizenden sensoren tegelijk.

Conclusie:
CPiRi is een revolutionaire manier om naar complexe data te kijken. Het stopt met het memoriseren van vaste regels en leert in plaats daarvan de essentie van de relaties. Het is de eerste methode die echt flexibel is genoeg voor de chaotische, veranderlijke wereld van vandaag, waar sensoren komen en gaan en waar de volgorde van data nooit gegarandeerd is.

Technische samenvatting

Titel: CPiRi: Channel Permutation-Invariant Relational Interaction voor Multivariate Tijdreeksvoorspelling

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Jiyuan Xu, Wenyu Zhang, et al. (Shanghai University of Finance and Economics & Zhejiang University of Finance and Economics)

---

1. Het Probleem

Multivariate tijdreeksvoorspelling (MTSF) is essentieel in domeinen zoals financiën en verkeersmanagement. Bestaande methoden vallen uiteen in twee categorieën, die beide fundamentele beperkingen hebben:

• Kanaal-afhankelijke modellen (Channel-Dependent - CD): Deze modellen (zoals Graph Neural Networks en Transformers) leren expliciet relaties tussen kanalen. Ze presteren vaak goed, maar overfitten op de statische volgorde van de kanalen in de trainingsdata. Ze onthouden de positie van een kanaal in plaats van de semantische relatie. Als de volgorde van de kanalen tijdens inferentie verandert (bijv. door sensoruitval, toevoeging van nieuwe sensoren of willekeurige herschikking), stort de prestatie vaak catastrofaal in.
• Kanaal-onafhankelijke modellen (Channel-Independent - CI): Deze modellen (zoals DLinear, PatchTST) behandelen elk kanaal apart. Ze zijn robuust tegen ruis en volgordeveranderingen, maar negeren inter-kanaal afhankelijkheden, wat de voorspellingsnauwkeurigheid beperkt in scenario's waar kanalen sterk met elkaar verbonden zijn.

Er is een gebrek aan modellen die zowel de nauwkeurigheid van CD-modellen behouden als de robuustheid van CI-modellen, specifiek in dynamische omgevingen waar de structuur van de data (co-drift) verandert.

2. Methodologie: Het CPiRi Framework

CPiRi (Channel Permutation-Invariant Relational Interaction) is een nieuw raamwerk dat de sterke punten van beide paradigma's combineert door ruimtelijk-temporele ontkoppeling en een permutatie-invariante regularisatiestrategie.

A. Architectuur: Ruimtelijk-Temporele Ontkoppeling

Het model bestaat uit drie fasen die de tijds- en ruimtelijke leerprocessen strikt scheiden:

1. Stage 1: Universele tijdskenmerkextractie (Frozen Encoder):
   • Een vooraf getrainde univariate foundation model (specifiek Sundial) fungeert als een bevroren encoder.
   • Elk kanaal wordt onafhankelijk verwerkt om hoogwaardige tijdskenmerken te extraheren.
   • Dit behoudt de robuustheid en ruisimmuniteit van CI-modellen en verplaatst de last van tijdsleren naar een groot, extern dataset.
2. Stage 2: Permutatie-equivariante ruimtelijke interactie (Trainable Spatial Module):
   • De set van tijdskenmerken wordt behandeld als een ongeordende verzameling en ingevoerd in een lichtgewicht, trainbare ruimtelijke module (een Transformer-encoder blok).
   • De multi-head self-attention in deze module is van nature permutatie-equivariant: de output verandert op dezelfde manier als de input wordt herschikt.
   • De module leert uitsluitend op basis van de inhoud van de kenmerken, niet op basis van de index of positie van het kanaal.
3. Stage 3: Onafhankelijke voorspelling (Frozen Decoder):
   • De verrijkte ruimtelijke representaties worden onafhankelijk door de bevroren decoder van Sundial gestuurd om de uiteindelijke voorspelling te genereren.
   • Dit voorkomt structurele verwarring op het moment van generatie.

B. Training: Permutatie-Invariante Regularisatie

Om te garanderen dat de ruimtelijke module echt content-gedreven relaties leert en niet op posities leunt, wordt een specifieke trainingstrategie toegepast:

• Kanaal-shuffling: Tijdens elke trainingsstap worden de kanalen van zowel de input als de target willekeurig herschikt (permutatie $\pi$).
• Meta-Leren: Door het model bloot te stellen aan een distributie van verschillende kanaalordeningen, wordt het gedwongen een "meta-vaardigheid" te ontwikkelen voor relationeel redeneren die onafhankelijk is van de indexering.
• Theoretische Basis: De optimalisatie minimaliseert de verwachte verliezen over alle mogelijke permutaties. Dit dwingt de functie om permutatie-equivariant te zijn, wat wiskundig garandeert dat relaties gebaseerd zijn op semantische inhoud en niet op posities.

3. Belangrijkste Bijdragen

1. Het CPiRi Framework: Een oplossing voor het CI-CD-dilemma door kanaal-permutatie-invariante relationele interactie te modelleren.
2. Gedecoupleerde Architectuur: Een innovatieve opzet met een bevroren tijds-encoder (voor robuustheid) en een trainbare, content-bewuste ruimtelijke module (voor interactie).
3. Regularisatiestrategie: Het gebruik van dynamisch kanaal-shuffling tijdens training om positiesleutels te elimineren en content-gedreven redenering af te dwingen.
4. Theoretische Onderbouwing: Een analyse van permutatie-equivariantie die aantoont waarom de gebruikte architectuur (symmetrische aggregatie via self-attention) noodzakelijk is voor generalisatie.

4. Resultaten

CPiRi is getest op meerdere benchmarks (METR-LA, PEMS-BAY, PEMS-04, PEMS-08, SD, Electricity) en schaalbare datasets (tot 8.600 kanalen).

• State-of-the-Art (SOTA) Prestaties: CPiRi behaalde de beste resultaten op 4 van de 5 benchmarks, vaak met een significante marge (>12% verbetering in WAPE op SD) ten opzichte van grote foundation modellen en geavanceerde CD-modellen.
• Robuustheid tegen Kanaal-Shuffling:
  • Bestaande CD-modellen (zoals Informer, STID) vertoonden een catastrofale daling (>400% fouttoename) wanneer de kanaalvolgorde tijdens testen werd gewijzigd.
  • CPiRi behield zijn prestaties bijna ongewijzigd (<0.25% afwijking) onder willekeurige herschikking, zowel tijdens training als testen.
• Inductieve Generalisatie: Het model kan succesvol voorspellingen doen voor onzichtbare kanalen. Zelfs wanneer getraind op slechts 50% van de kanalen, behield CPiRi sterke prestaties, wat aantoont dat het de onderliggende relaties heeft geleerd in plaats van specifieke kanaalpatronen.
• Efficiëntie: Door de decoupling is de complexiteit $O(T^2 + C^2)$, wat aanzienlijk lager is dan monolithische CD-modellen zoals Timer-XL ($O((T \times C)^2)$). CPiRi werkt stabiel op datasets met duizenden kanalen zonder geheugenproblemen (OOM).

5. Betekenis en Conclusie

CPiRi lost een fundamenteel probleem op in multivariate tijdreeksvoorspelling: de afhankelijkheid van statische kanaalordeningen.

• Praktische Toepasbaarheid: Het maakt modellen inzetbaar in dynamische real-world scenario's (zoals sensornetwerken waar sensoren uitvallen of worden toegevoegd) zonder dat het model opnieuw getraind hoeft te worden.
• Paradigmaverschuiving: Het bewijst dat het mogelijk is om de nauwkeurigheid van relationele modellen te combineren met de robuustheid van onafhankelijke modellen, mits de juiste architectonische en trainingsstrategieën worden toegepast.
• Toekomstperspectief: De methode biedt een solide basis voor het omgaan met structurele en distributieve co-drift, wat essentieel is voor betrouwbare AI-systemen in veranderende omgevingen.

De broncode is beschikbaar onder de naam JasonStraka/CPiRi.