🤖 machine learning

Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

Dit artikel stelt MSC-OT voor, een nieuwe architectuur voor multivariate tijdreeksvoorspelling die multi-schaal convolutie en Sinkhorn optimal transport-regularisatie integreert binnen een geïnverteerd embedding-framework om effectief patronen met meerdere granulariteiten te vangen en ruis te onderdrukken, waardoor superieure prestaties worden behaald in zowel kortetermijn- als langetermijnvoorspellingstaken.

Oorspronkelijke auteurs: HaoChong Fu, Jian Xu

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: HaoChong Fu, Jian Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst van een bruisende stad probeert te voorspellen. Je hebt gegevens van honderden verschillende sensoren: verkeerslichten, weerstations, elektriciteitsnetten en aandelenmarkten. Dit is wat wetenschappers een Multivariate Tijdreeks noemen. Het doel is om naar al deze bewegende delen te kijken en te raden wat er hierna gebeurt.

Een tijdje lang was de slimste manier om dit te doen het gebruik van een "Transformer"-model—een type AI dat werkt als een super-attente bibliothecaris. Maar er was een addertje onder het gras. Traditionele bibliothecarissen pakten één specifiek moment in de tijd (zoals "09:00 uur") en bekeken alle sensoren tegelijkertijd. Ze waren geweldig in het zien hoe het verkeerslicht veranderde van 09:00 naar 09:01, maar ze waren slecht in het begrijpen hoe de volledige geschiedenis van het verkeerslicht (het afgelopen uur) de invloed had op het elektriciteitsnet.

Toen kwam er een nieuw idee genaamd iTransformer aan. Het draaide het scenario om! In plaats van naar één moment in de tijd te kijken over alle sensoren heen, keek het naar de volledige geschiedenis van één sensor als een enkele "token" (een enkele eenheid informatie). Dit was een enorme overwinning voor het begrijpen van hoe verschillende sensoren met elkaar communiceren. De auteurs van dit artikel, HaoChong Fu en Jian Xu, merkten echter een probleem op: door een heel uur aan gegevens samen te persen in één kleine token, verloor het model de kleine, lokale details. Het was alsof je een samenvatting van een roman las en de specifieke, grappige dialogen in hoofdstuk 3 miste.

Het Grote Idee: MSC-OT
Om dit op te lossen, bouwden de auteurs een nieuw systeem genaamd MSC-OT (Multi-Scale Convolution met Optimal Transport). Denk aan het geven van een paar superbrillen aan de bibliothecaris en een zeer strikt regelboek.

1. De Superbrillen (Multi-Scale Convolution)
Het deel "Multi-Scale Convolution" is als het geven van verschillende lenzen aan het model om naar de gegevens te kijken.

Stel je voor dat je naar een menigte kijkt. Eén lens zoomt in op een groepje van drie mensen die praten (een klein patroon). Een andere lens zoomt uit om een hele rij mensen te zien (een groter patroon).
Het artikel gebruikt twee specifieke lenzen: één die kijkt naar 3x3 blokken met gegevens en een andere die kijkt naar 5x5 blokken.
Dit stelt het model in staat om de "lokale structurele patronen" te vangen—de kleine rimpelingen en kortstondige fluctuaties die de vorige "samengeperste" token-methode miste. Het is alsof je beseft dat hoewel de hele stad druk is, een specifieke straathoek een uniek ritme heeft dat ertoe doet voor de voorspelling.

2. Het Strikte Regelboek (Sinkhorn Optimal Transport)
Het tweede deel, Sinkhorn Optimal Transport, is de manier van het model om kalm te blijven wanneer de boel chaotisch wordt.

In de echte wereld zijn gegevens rommelig. Soms krijgt een sensor een storing en stuurt een enorme, valse piek in de cijfers (een uitschieter/outlier). Een normale AI zou in paniek kunnen raken en zeggen: "O nee, die enorme piek moet wel het belangrijkste zijn!" en de rest negeren.
De auteurs gebruiken een wiskundige methode genaamd Optimal Transport (opgelost met het Sinkhorn-algoritme) om te fungeren als een "evenwichtsbalk".
Denk aan een eerlijke docent die een klas beoordeelt. Als één leerling het hardst antwoord roept (de uitschieter), geeft de docent niet zomaar alle punten aan die persoon. In plaats daarvan zorgt de docent ervoor dat de punten eerlijk over de hele klas worden verdeeld.
Het artikel stelt een specifieke "balansknop" (genoemd $\lambda$ ) in op 5.0. Dit getal is afgestemd om zaken net genoeg glad te strijken om de ruis te negeren zonder het echte signaal te verliezen. Het dwingt het model om naar het grotere geheel te kijken in plaats van afgeleid te worden door één vreemd datapunt.

De Magische Mixer (Adaptive Fusion)
Hoe werken deze drie dingen samen? De basis-aandacht (de originele bibliothecaris), de superbrillen (de convolutie) en het regelboek (optimal transport).

Het model kiest niet simpelweg één methode; het mengt ze allemaal.
Het gebruikt een "leerbare" mixer. Stel je een DJ voor met drie schuifregelaars. Aan het begin stelt de DJ de basis-aandacht in op 0.7 (70%), de convolutie op 0.2 (20%) en het regelboek op 0.1 (10%).
Tijdens het trainen leert het model deze schuifregelaars aan te passen. Zo leerde het model bijvoorbeeld op de ECL (Elektriciteit) dataset meer te vertrouwen op de "superbrillen" (convolutie), waarbij het die waarde verhoogde naar meer dan 40%, omdat die dataset meer lokale details nodig had. Op de Traffic dataset hield het de basis-aandacht hoog rond de 63%.
Dit bewijst dat de beste mix niet voor elke stad hetzelfde is; het model leert het juiste recept voor elke specifieke taak.

Werkt het?
De auteurs hebben het getest op vijf real-world datasets: ECL (Elektriciteit), ETT (Energie), Exchange (Valuta), Traffic (Verkeer) en Weather (Weer). Ze vergeleken hun nieuwe model met de beste modellen van de afgelopen jaren, zoals iTransformer, PatchTST en TimesNet.

De resultaten waren veelbelovend. Het artikel rapporteert dat MSC-OT de beste nauwkeurigheid (laagste fout) behaalde op drie van de vijf datasets (ECL, Traffic en Weather) en op de tweede plaats kwam op de Exchange dataset.

Vergeleken met Crossformer verbeterde het de prestaties met 27%.
Vergeleken met TimesNet verbeterde het met 35%.
Vergeleken met Fedformer verbeterde het met 19%.

De auteurs voerden ook "ablatie-experimenten" uit, wat een chique manier is om te zeggen: "Laten we onderdelen weghalen om te zien wat er gebeurt." Wanneer ze de "superbrillen" of het "regelboek" verwijderden, werd het model slechter. Dit bevestigt dat beide onderdelen noodzakelijk zijn en beter samenwerken dan alleen.

Wat het artikel NIET zegt
Het is belangrijk om te vermelden wat dit artikel niet beweert. De auteurs argumenteren expliciet tegen het idee dat de oude manier van gegevens inbedden (kijken naar alle sensoren op één enkel moment in de tijd) de beste aanpak is. Ze suggeren ook dat het simpelweg gebruiken van lineaire lagen (zeer eenvoudige wiskunde) misschien beter is dan complexe Transformers als je geen de geïnverteerde inbeddingsmethode gebruikt, maar ze beargumenteren dat met de juiste verbeteringen (zoals die van hen), de Transformer-aanpak nog steeds superieur is voor complexe, multivariate taken.

Het Oordeel
Het artikel sugggeert dat door een manier te combineren om fijne details te zien (multi-scale convolution) met een manier om ruis te negeren en in balans te blijven (optimal transport), we een veel betere kristallen bol kunnen bouwen voor het voorspellen van de toekomst van complexe systemen. De auteurs zijn zelfverzekerd over hun resultaten, die consistente verbeteringen laten zien over verschillende tijdstappen (van 96 tot 720 stappen in de toekomst), maar ze presenteren dit als een praktische, effectieve oplossing in plaats van een magische oplossing die elk probleem in het universum oplost. Ze hebben zelfs hun code gedeeld op GitHub zodat anderen het kunnen proberen!

Technische Samenvatting: Multi-Scale Convolution met Optimal Transport Attention op Multivariate Tijdreeksen

Probleemstelling
Voorspellen van multivariate tijdreeksen (MTS) staat voor aanzienlijke uitdagingen bij het vastleggen van structurele patronen op meerdere granulatieniveaus en het effectief onderdrukken van ruis. Hoewel Transformer-gebaseerde modellen dominant zijn geworden in sequentiemodellering, leunt hun toepassing op tijdreeksen vaak op het inbedden van meerdere variabelen op hetzelfde tijdstip in kanalen, waarbij de focus primair ligt op temporele afhankelijkheden. Recente ontwikkelingen, zoals iTransformer, introduceerden een "geïnverteerd embedding"-paradigma waarbij de volledige tijdreeks van elke variabele als een enkele token wordt behandeld om cross-variabele afhankelijkheden beter te vangen. De auteurs identificeren echter een kritieke beperking in deze aanpak: door de temporele informatie van een variabele te comprimeren tot een token met een vaste dimensie, gaan fijnmazige lokale temporele patronen (bijv. kortetermijnfluctuaties, periodiciteit) verloren. Bovendien zijn standaard aandachtmechanismen gevoelig voor uitschieters en ruis, wat kan leiden tot scheve aandachtverdelingen en suboptimale voorspellingen.

Methodologie: MSC-OT
Om deze beperkingen aan te pakken, stelt het artikel MSC-OT (Multi-Scale Convolution with Optimal Transport Attention) voor, een nieuwe architectuur die is ontworereerd om het geïnverteerde embedding-framework te verbeteren. De methode bestaat uit drie kerncomponenten:

Multi-Scale Convolution Enhancement:
- Doel: Om lokale structurele patronen binnen de aandachtsscore-matrix te herstellen en te modelleren die verloren zijn gegaan tijdens het proces van de geïnverteerde embedding.
- Mechanisme: Het model past parallelle 2D-convoluties toe met kernelgroottes van $3 \times 3$ en $5 \times 5$ direct op de aandachtsscore-matrix ( $S \in \mathbb{R}^{B \times H \times N \times N}$ ).
- Functie: Deze convoluties leggen lokale structurele patronen op verschillende granulatieniveaus vast binnen de variabele-interactieruimte. De resulterende multi-scale features worden geaggregeerd via eenvoudige middeling om numerieke stabiliteit te garanderen en complementaire informatie te behouden.
Sinkhorn Optimal Transport (OT) Regularisatie:
- Doel: Om de berekening van aandacht te formuleren als een optimaal transportprobleem om een gebalanceerde informatiestroom en robuustheid tegen ruis te waarborgen.
- Mechanisme: De aandachtsscore-matrix wordt behandeld als een kostenmatrix voor een entropie-geregulariseerd optimaal transportprobleem. Het Sinkhorn-algoritme wordt gebruikt om rijen en kolommen iteratief te normaliseren, wat een dubbel-stochastische aandachtverdeling oplevert.
- Functie: De entropie-regularisatieterm ( $\lambda H(P)$ ) vlakt de aandachtsgewichten op natuurlijke wijze af, waardoor wordt voorkomen dat een enkele variabele (zelfs een met een anomalistisch hoge score) de aandachtverdeling domineert. Dit onderdrukt effectief de impact van uitschieters en meetruis die veel voorkomen in real-world MTS-data.
Adaptieve Fusiestrategie:
- Doel: Om de basis-aandachtsscores, de met convolutie verbeterde scores en de OT-geregulariseerde scores dynamisch te combineren.
- Mechanisme: De uiteindelijke aandachtsscore wordt berekend als een gewogen som: $S_{final} = \alpha \cdot S + \beta \cdot S_{conv} + \gamma \cdot P$ .
- Functie: De gewichten ( $\alpha, \beta, \gamma$ ) zijn leerbare parameters geïnitialiseerd op respectievelijk 0,7, 0,2 en 0,1. Ze worden genormaliseerd via softmax om stabiele training te garanderen. Dit stelt het model in staat om adaptief de optimale bijdrage van elk component te bepalen op basis van de specifieke kenmerken van de dataset.

Belangrijkste Bijdragen

Verbeterde Inverted Embedding: Het artikel stelt een methode voor om de voordelen van de cross-variabele modellering van iTransformer te behouden, terwijl het de loss van fijnmazige temporele afhankelijkheden compenseert door middel van multi-scale convolutie op de aandachtsscores.
Ruis-robuuste Aandacht: Door de integratie van Sinkhorn Optimal Transport introduceert het model een mechanisme dat inherent ruis onderdrukt en de dominantie van uitschieters voorkomt, wat een belangrijke zwakte is van standaard softmax-gebaseerde aandacht voor MTS.
Synergetische Architectuur: Het werk toont aan dat multi-scale convolutie (lokale patroonopvang) en OT-regularisatie (globale balans en ruisonderdrukking) complementair zijn. De adaptieve fusiestrategie zorgt ervoor dat deze componenten synergetisch werken in plaats van onafhankelijk.
State-of-the-Art Prestaties: De auteurs bieden uitgebreide empirische validatie die aantoont dat MSC-OT recente state-of-the-art modellen (inclusief iTransformer, PatchTST, Crossformer en TimesNet) verslaat op meerdere benchmark-datasets.

Experimentele Resultaten
De auteurs hebben MSC-OT geëvalueerd op vijf breed gebruikte benchmark-datasets: ECL (Electricity), ETT (Electricity Transformer Temperature), Exchange-Rate, Traffic en Weather.

Prestaties: MSC-OT behaalde de beste Mean Squared Error (MSE) resultaten op ECL, Traffic en Weather, en de beste Mean Absolute Error (MAE) op vier van de vijf datasets.
Vergelijkende Winsten: Het artikel claimt significante verbeteringen ten opzichte van specifieke baselines, waarbij verbeteringen van 27% over Crossformer, 35% over TimesNet en 19% over Fedformer in specifieke contexten worden genoemd.
Ablatie-studies: Experimenten bevestigden dat het verwijderen van ofwel de multi-scale convolutie of de OT-regularisatie leidt tot prestatievermindering. De studies toonden ook aan dat de adaptieve fusiegewichten leren om de componenten effectief in balans te brengen (bijv. in ECL vormden de convolutie- en OT-componenten samen bijna 60% van het gewicht, wat hun cruciale rol aangeeft).
Hyperparameters: De optimale entropie-regularisatiecoëfficiënt werd gevonden te $\lambda=5,0$ , en twee Sinkhorn-iteraties werden als voldoende beschouwd voor convergentie zonder excessieve computationele kosten.

Betekenis en Claims
Het artikel positioneert MSC-OT als een praktische en effectieve oplossing voor multivariate tijdreeksvoorspelling in de echte wereld. De auteurs beweren dat de methode het aandachtmechanisme succesvol optimaliseert door de specifieke afwegingen tussen het vastleggen van lokale temporele structuren en het behouden van robuuste cross-variabele modellering in aanwezigheid van ruis aan te pakken. Door gebruik te maken van optimal transport, vestigt de aanpak een nieuwe methodologische weg voor aandachtoptimalisatie die minder gevoelig is voor uitschieters en beter geschikt is voor de complexe, multi-scale aard van real-world tijdreeksdata. De code is beschikbaar gesteld om verdere research en toepassing te faciliteren.

Technische Samenvatting: Multi-Scale Convolution met Optimal Transport Attention op Multivariate Tijdreeksen

Meer zoals dit