🤖 machine learning

Soft-MSM: Differentiable Context-Aware Elastic Alignment for Time Series

Dit artikel introduceert Soft-MSM, een differentieerbare, contextbewuste elastische uitlijningsverliesfunctie die de Move-Split-Merge-afstand gladstrijkt om op gradiënten gebaseerde optimalisatie mogelijk te maken, en dat superieure prestaties demonstreert in tijdreeksclustering en -classificatie in vergelijking met bestaande methoden zoals Soft-DTW.

Oorspronkelijke auteurs: Christopher Holder, Anthony Bagnall

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Christopher Holder, Anthony Bagnall

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee nummers wilt vergelijken. Het ene wordt iets sneller gespeeld, het andere iets langzamer. Als je ze noot voor noot van begin tot eind probeert op te lijnen (zoals met een stijve liniaal), zien ze er volledig verschillend uit omdat de beats niet overeenkomen.

Dynamic Time Warping (DTW) is als een slimme luisteraar die de tijdlijn van de nummers uitrekt en samendrukt zodat de beats perfect op elkaar aansluiten, waardoor je kunt zien dat het eigenlijk hetzelfde nummer is. Dit is uitstekend voor het vergelijken van tijdgebonden data, zoals hartslagen, aandelenkoersen of bewegingssensoren.

Er is echter een probleem: deze "slimme luisteraar" is een beetje stijf. Hij maakt een plotselinge, scherpe beslissing over hoe de tijd moet worden uitgerekt. In de wereld van moderne AI, die leert door kleine, vloeiende aanpassingen te maken (zoals een beeldhouwer die langzaam steen wegbeitelt), vormt deze plotselinge besluitvorming een struikelblok. De AI raakt in de war omdat hij de "helling" niet kan berekenen die nodig is om te verbeteren.

Dan komt Soft-MSM in beeld, de nieuwe methode die in dit artikel wordt geïntroduceerd.

Het probleem met de oude manier

Het artikel richt zich op een specifieke, zeer slimme manier van tijdvergelijking genaamd MSM (Move-Split-Merge). Denk aan MSM als een supergeavanceerde luisteraar die niet alleen tijd uitrekt, maar ook de context van de muziek begrijpt.

Move: Een noot slechts iets verschuiven.
Split: Als een noot te lang is, kan deze in tweeën worden gesplitst.
Merge: Als twee noten te dicht bij elkaar staan, kunnen ze worden samengevoegd.

MSM is hier uitstekend in en verslaat vaak de standaard "slimme luisteraar" (DTW) bij taken zoals het groeperen van vergelijkbare data. Maar, net als de originele DTW, maakt het "harde" beslissingen. Het zegt: "Deze noot is zeker een split" of "Dit is zeker een merge". Omdat deze beslissingen scherp en plotseling zijn, kunnen ze niet worden gebruikt om moderne AI-modellen te trainen die vloeiende, continue feedback nodig hebben om te leren.

De oplossing: Soft-MSM

De auteurs hebben Soft-MSM ontwikkeld. Stel je voor dat je die super-slimme luisteraar (MSM) een "wazig" zicht geeft. In plaats van een plotselinge, harde beslissing te nemen over het splitsen of samenvoegen van een noot, zegt Soft-MSM: "Er is 60% kans dat dit een split is en 40% kans dat het een merge is."

Deze "wazigheid" is wiskundig vloeiend. Het stelt de AI in staat de helling van de heuvel te zien en precies te weten in welke richting de data moet worden geduwd om de vergelijking te verbeteren. Het verandert een ruige, onbegaanbare berg in een gladde, bewandelbare heuvel.

Hoe ze het deden

Om dit werkend te maken, moesten de auteurs een nieuw "poortwachter"-mechanisme uitvinden.

De oude poort: De originele MSM had een poort die volledig open of volledig gesloten was, gebaseerd op strikte regels.
De nieuwe poort: Ze vervingen dit door een "gladde poort" die geleidelijk opent. Hierdoor kan de wiskunde door het systeem stromen zonder te breken, waardoor de AI gradiënten (de richting van verbetering) kan berekenen door de complexe "split en merge"-logica heen.

Wat ze vonden

De onderzoekers testten deze nieuwe methode op 112 verschillende datasets (een enorme variëteit aan tijdgebonden data). Dit is wat ze ontdekten:

Betere gemiddelden: Bij het proberen om de "gemiddelde" vorm van een groep vergelijkbare tijdreeksen te vinden (zoals het vinden van het gemiddelde signaal van een cricket-umpire), creëerde Soft-MSM een veel schonere, nauwkeurigere gemiddelde dan eerdere methoden. Het raakte niet in de war door ruis.
Betere groepering (clustering): Toen ze Soft-MSM gebruikten om vergelijkbare items samen te groeperen, deed het aanzienlijk beter werk dan de eerdere beste methoden (zoals Soft-DTW). Het was alsof je een beter sorteeralgoritme had voor een rommelige stapel kleding.
Betere classificatie: Toen ze deze gemiddelden gebruikten om te raden tot welke categorie een nieuw stukje data behoorde, was Soft-MSM nauwkeuriger.

De afweging

Het artikel merkt een kleine prijs op die moet worden betaald voor deze vloeiendheid. De originele MSM was een perfecte "metriek" (het volgde strikte wiskundige regels over afstand). Soft-MSM offert die perfecte wiskundige rigiditeit op om het vermogen te krijgen om te worden gebruikt in vloeiende, gradiëntgebaseerde leerprocessen. De auteurs betogen echter dat voor de meeste praktische AI-taken het vermogen om vloeiend te leren veel waardevoller is dan het een perfecte metriek te zijn.

Samenvatting

Het artikel introduceert Soft-MSM, een nieuw hulpmiddel dat een krachtige methode voor tijdreeksvergelijking (MSM) compatibel maakt met moderne, vloeiend lerende AI. Door scherpe, plotselinge beslissingen te vervangen door vloeiende, probabilistische beslissingen, stelt het computers in staat betere patronen in tijdgebonden data te leren, wat resulteert in betere gemiddelden, betere groeperingen en nauwkeurigere voorspellingen. De code is al beschikbaar in een open-source toolkit genaamd aeon voor gebruik door anderen.

1. Probleemstelling

Machine learning voor tijdreeksen (TSML) is sterk afhankelijk van afstandsmaatstaven om temporale misalignments tussen sequenties te verwerken. Elastische afstanden, zoals Dynamic Time Warping (DTW) en Move-Split-Merge (MSM), lossen dit op door optimale aligneringspaden te vinden die tijdsassen rekken of comprimeren.

De beperking van elastische afstanden: Hoewel effectief voor taken zoals clustering en classificatie, zijn traditionele elastische afstanden niet differentieerbaar. Dit verhindert hun directe gebruik als verliesfuncties in gradient-gebaseerde optimalisatie (bijvoorbeeld neurale netwerken, iteratief middelen).
De beperking van bestaande oplossingen: Soft-DTW werd geïntroduceerd om DTW differentieerbaar te maken door het harde minimum in zijn recursie te vervangen door een gladde soft-minimum-operator. Soft-DTW kan echter niet direct worden uitgebreid naar andere elastische afstanden zoals MSM. MSM presteert vaak beter dan DTW omdat het contextbewuste overgangskosten (split/merge-boetes) gebruikt die afhankelijk zijn van de lokale volgorde van drie waarden. Het stuksgewijze karakter van de kostenfunctie van MSM creëert niet-gladde gebieden waar standaard soft-minimum-benaderingen moeilijk doorheen kunnen differentiëren.

2. Methodologie: Soft-MSM

De auteurs stellen Soft-MSM voor, een gladde, differentieerbare relaxatie van de Move-Split-Merge-afstand. De kernuitdaging was om de MSM-overgangskosten differentieerbaar te maken terwijl de contextbewuste structuur behouden bleef.

Belangrijkste technische innovaties:

Gladde gegateerde surrogate voor overgangskosten:
- De oorspronkelijke MSM-kostenfunctie past een vaste boete $c$ toe als een punt $x$ tussen buren $y$ en $z$ ligt, en een extra boete anderszins. Dit is een stuksgewijze functie met niet-differentieerbare grenzen.
- Oplossing: De auteurs introduceren een gladde tussen-gate functie $g(x, y, z)$ met behulp van een hyperbolische tangens-achtige benadering:
  $g(x, y, z) = \frac{1}{2} \left( 1 - \frac{u}{\sqrt{u^2 + \epsilon}} \right), \quad \text{waarbij } u = (x-y)(x-z)$
- Deze gate gaat glad over van 1 (wanneer $x$ tussen $y$ en $z$ ligt) naar 0 (anderszins), waardoor gradiënten door de beslissingsgrens kunnen stromen.
- De overgangskost wordt herdefinieerd als:
  $\text{trans}_\gamma(x, y, z; c) = c + (1 - g(x, y, z)) \cdot \text{softmin}_\gamma((x-y)^2, (x-z)^2)$
- Ze vervangen ook het absolute verschil in de lokale afstand door een gekwadrateerd verschil om differentieerbaarheid bij $x=y$ te garanderen.
Voorwaartse en achterwaartse recursies:
- Voorwaartse pass: Berekent de geaccumuleerde kostenmatrix $C$ met behulp van een soft-minimum-operator ( $\text{softmin}_\gamma$ ) in plaats van het harde minimum, waarbij de nieuwe gladde overgangskosten worden geïntegreerd.
- Achterwaartse pass: Leidt de soft-aligneringsmatrix $A$ en de Jacobian (gradiënt) af met betrekking tot de invoer-tijdreeks. De gradiënt wordt ontbonden in bijdragen van diagonale (match), verticale (split) en horizontale (merge) randen, gewogen door de aligneringskansen.
Theoretische eigenschappen:
- Differentieerbaarheid: Bewezen continu differentieerbaar voor $\gamma > 0$ en $\epsilon > 0$ .
- Grensgedrag: Naarmate $\gamma \to 0$ en $\epsilon \to 0$ , convergeert Soft-MSM puntsgewijs naar de standaard MSM-recursie (met gekwadrateerde afwijkingen).
- Metriciteit: Soft-MSM is geen metriek (het schendt de identiteit van ononderscheidbaren en kan negatief zijn). Om dit op te lossen, stellen de auteurs een divergentie-correcteerde formulering voor (analoog aan Soft-DTW-divergentie) om non-negativiteit en een nul zelf-afstand te garanderen.
- Complexiteit: Behoudt dezelfde $O(m^2)$ tijd- en ruimtecomplexiteit als standaard MSM.

3. Belangrijkste bijdragen

Eerste differentieerbare MSM: De eerste formulering van een differentieerbare versie van de Move-Split-Merge-afstand, waardoor het gebruik mogelijk wordt in gradient-gebaseerd leren.
Nieuwe gladde gate: Een wiskundige afleiding van een gladde gating-functie die de context-afhankelijke split/merge-boetes van MSM afhandelt zonder de structurele voordelen van de oorspronkelijke afstand te verliezen.
Gesloten-vorm gradiënten: Afleiding van de Jacobiaan-transformatie die directe optimalisatie van tijdreekssequenties met Soft-MSM mogelijk maakt.
Implementatie: De methode is geïmplementeerd in de open-source aeon-toolkit, wat reproduceerbaarheid ondersteunt.

4. Experimentele resultaten

De auteurs evalueerden Soft-MSM op 112 UCR-tijdreeksdatasets in drie hoofdsituaties:

A. Gemiddelde van tijdreeksen (Barycentre)

Doel: Een representatieve tijdreeks (barycentre) vinden die de som van afstanden tot een set invoerreeksen minimaliseert.
Vergelijking: Soft-MSM Barycentre (Soft-MBA) versus standaard MSM Barycentre (MBA) en Stochastic Subgradient MBA (SSG-MBA).
Resultaat: Soft-MBA behaalde een lagere MSM Fréchet-verlies dan zowel MBA als SSG-MBA op 97,2% tot 100% van de datasets (afhankelijk van de gladmakende parameter $\gamma$ ). Het presteerde significant beter dan de harde tegenhangers, wat aantoont dat de differentieerbare relaxatie leidt tot betere convergentie en lagere verliezen.

B. Clustering van tijdreeksen

Doel: K-means gebruiken met elastische centroiden.
Vergelijking: Soft-MBA versus Soft-DTW Barycentre (Soft-DBA), k-Shape en Euclidisch k-means.
Resultaat:
- Soft-MBA presteerde significant beter dan Soft-DBA op zowel Clustering-nauwkeurigheid als Adjusted Rand Index (ARI).
- Soft-MBA was concurrerend met k-Shape (een sterke baseline), ondanks het gebruik van een fundamenteel andere similariteitsmaatstaf.
- Soft-MBA toonde grotere robuustheid ten opzichte van de gladmakende parameter $\gamma$ in vergelijking met Soft-DBA.

C. Classificatie op basis van dichtstbijzijnde centroid

Doel: Tijdreeksen classificeren op basis van afstand tot klasse-prototypen (barycentres).
Resultaat: Classificatoren die Soft-MBA-prototypen gebruikten, behaalden significant hogere nauwkeurigheid en gebalanceerde nauwkeurigheid dan die welke Soft-DBA-prototypen gebruikten.
Kwalitatieve analyse: Op de CRICKETX-dataset produceerde Soft-MBA gladdere, meer interpreteerbare klasse-prototypen (die het "six runs"-signaal duidelijk vastlegden) in vergelijking met de ruisige prototypen die door andere methoden werden gegenereerd.

5. Betekenis en impact

Overbrugging van de kloof: Soft-MSM slaagt erin de kloof te overbruggen tussen hoogpresterende elastische afstanden (zoals MSM) en moderne gradient-gebaseerde deep learning-frameworks.
Superioriteit ten opzichte van Soft-DTW: De resultaten suggereren dat voor veel tijdreeks-taken MSM een superieure afstandsmaatstaf is dan DTW, en dat het differentieerbaar maken ervan betere resultaten oplevert dan het simpelweg gebruiken van Soft-DTW.
Brede toepasbaarheid: De methode opent de deur voor het gebruik van op MSM gebaseerde verliezen in:
- Deep forecasting van tijdreeksen.
- Generatieve modellen voor data-augmentatie.
- Weakly supervised alignering en segmentatie.
- Representatieleren (bijvoorbeeld Series2Vec).
Inductieve bias: Het biedt een nieuwe inductieve bias gebaseerd op "move, split en merge"-operaties, wat bijzonder nuttig is voor stuksgewijs constante of gebeurtenisgestuurde tijdreeksdata.

Concluderend is Soft-MSM een significante vooruitgang in machine learning voor tijdreeksen, en biedt het een differentieerbare, contextbewuste elastische afstand die bestaande op Soft-DTW gebaseerde benaderingen overtreft in taken zoals middelen, clustering en classificatie.