WaveSSM: Multiscale State-Space Models for Non-stationary Signal Attention

Dit paper introduceert WaveSSM, een reeks state-space modellen gebaseerd op waveletframes die door hun gelokaliseerde tijdssteun superieur presteren aan bestaande polynoomgebaseerde modellen bij het modelleren van niet-stationaire signalen met transiënte dynamiek.

De kern

Wat is WaveSSM? Een simpele uitleg

Stel je voor dat je een heel lang verhaal moet onthouden, maar er zitten in dat verhaal ook korte, belangrijke momenten: een plotselinge klap, een snelle flits van licht, of een kort schreeuwje.

De meeste slimme computers (AI-modellen) die we vandaag de dag gebruiken om zulke verhalen te begrijpen, werken als een grote, gladde soep. Ze kijken naar het hele verhaal en proberen één groot gemiddelde te maken. Ze zijn goed in het onthouden van de "sfeer" van het verhaal, maar ze zijn vaak een beetje slordig als het gaat om die korte, scherpe momenten. Ze zien die klap of dat schreeuwje niet goed, omdat ze het verwarren met de rest van de soep.

Dit nieuwe onderzoek, genaamd WaveSSM, komt met een heel slim nieuw idee om dit op te lossen.

De Analogie: De Soep versus de Foto's

1. De oude manier (De Soep):
Stel je voor dat je een pot soep hebt gemaakt. Als je er een lepel in doet, krijg je een mix van alles wat erin zit: wortels, aardappels, kruiden. Je proeft "soep", maar je kunt niet precies zeggen waar de wortel zat of wanneer de kruiden erin gingen.

• In de computerwereld: Dit zijn de oude modellen (zoals S4 of HiPPO). Ze gebruiken wiskundige formules (polynomen) die over het hele tijdsverloop verspreid zijn. Ze onthouden alles, maar alles is door elkaar gehusseld. Als er een kort, belangrijk signaal is (zoals een hartklopping in een medische scan), gaat dat vaak verloren in de "soep".

2. De nieuwe manier (De Foto's):
Nu stel je je voor dat je in plaats van soep, een reeks foto's maakt.

• Je hebt een foto van de hele kamer (de lange termijn).
• Maar je hebt ook een close-upfoto van een vlieg die op tafel zit (het korte moment).
• En nog een close-up van een glas dat net valt (het scherpe moment).

Elke foto is gericht op een specifiek moment en een specifieke grootte. Je kunt ze allemaal apart bekijken en onthouden. Je weet precies waar en wanneer die vlieg zat.

WaveSSM werkt precies zo. In plaats van één grote soep, maakt het kleine, lokale foto's van het signaal op verschillende tijdstippen en schalen.

Hoe werkt het precies? (De Magie van de Golven)

De onderzoekers gebruiken iets dat golven (wavelets) worden genoemd.

• Denk aan een golf in een meer. Een grote, lange golf kan de hele kustlijn beschrijven (dat is goed voor de algemene sfeer).
• Maar een kleine, korte golf kan precies laten zien waar een steen in het water is gevallen (dat is goed voor het korte moment).

WaveSSM gebruikt een verzameling van deze golven:

• Sommige golven zijn breed en langzaam (voor het lange verhaal).
• Sommige golven zijn smal en snel (voor de korte, scherpe momenten).

Door het signaal op te splitsen in deze verschillende golven, kan de computer:

1. Precies zien waar iets gebeurt (bijvoorbeeld: "Ah, hier is het hartslagpatroon veranderd!").
2. Onafhankelijk onthouden wat er op dat moment gebeurde, zonder dat het verward wordt met wat er een uur geleden gebeurde.

Waarom is dit zo belangrijk?

De onderzoekers hebben dit getest op echte, moeilijke taken:

• Hartslag (ECG): Een hartslag heeft lange, rustige periodes, maar ook korte, gevaarlijke pieken (aritmie). De oude modellen zagen de rustige periodes goed, maar misten soms de piek. WaveSSM zag de piek perfect, omdat het "zoomde" op dat korte moment.
• Geluid: Als je iemand laat schreeuwen in een stilte, is dat een kort, luid geluid. WaveSSM kon dit veel beter onderscheiden dan de oude modellen.
• Voorspellingen: Als je probeert te voorspellen wat er morgen gebeurt op basis van wat er vandaag gebeurde, helpt het om te weten of er vandaag een plotselinge storm was (een kort moment) of gewoon een zonnige dag (een lange trend).

Samenvatting in één zin

WaveSSM is als het vervangen van een wazige, grote foto van een heel jaar door een album met scherpe close-ups: het laat de computer niet alleen het grote plaatje zien, maar ook precies waar en wanneer de kleine, belangrijke dingen gebeuren.

Dit maakt de AI veel slimmer in het begrijpen van signalen die veranderen, zoals medische data, geluiden of beursgrafieken, waar plotselinge veranderingen vaak het belangrijkst zijn.

Technische samenvatting

1. Het Probleem

Bestaande State-Space Models (SSM's), zoals HiPPO, S4 en Mamba, hebben zich bewezen als krachtige alternatieven voor RNN's en Transformers bij het modelleren van lange reeksen. Deze modellen gebruiken echter doorgaans orthogonale polynomen (zoals Legendre, Laguerre of Chebyshev) als basisfuncties om de overgangsdynamica te construeren.

De kernbeperking van deze polynoom-bases is hun globale tijdssteun: elke basisfunctie beslaat het volledige tijdsdomein van het signaal. Dit leidt tot inductieve biases die slecht aansluiten bij signalen met:

• Niet-stationaire eigenschappen: Signalen waarvan de statistieken in de tijd veranderen.
• Lokale of transient structuren: Plotselinge veranderingen, pieken, of kortdurende gebeurtenissen (bijv. hartslagafwijkingen in ECG's of spraakgeluiden).

Omdat polynomen informatie uit het hele verleden "mixen" in één enkele coëfficiënt, zijn ze inefficiënt in het selectief focussen op specifieke tijdsintervallen of het herkennen van scherpe overgangen zonder het hele signaal te vervormen.

2. Methodologie: WaveSSM

De auteurs introduceren WaveSSM, een nieuw kader voor State-Space Models dat is gebouwd op wavelet-frames in plaats van polynomen.

Kernconcepten:

• Wavelet Frames: In plaats van globale polynomen gebruiken ze wavelets (zoals Morlet, Gaussian-derivative, Mexican Hat, Daubechies en DPSS). Wavelets hebben lokale tijds- en frequentiesteun. Dit betekent dat de latent state van het model bestaat uit coëfficiënten die corresponderen met specifieke tijdsintervallen en schalen.
• Construktie via SaFARi: De auteurs maken gebruik van het recente SaFARi-framework (State-Space Models for Frame-Agnostic Representation). Dit framework generaliseert HiPPO door numerieke methoden te bieden om SSM-matrices ($A$ en $B$) af te leiden uit elk frame, niet alleen orthogonale bases.
• Lokale State Coördinaten: Door de projectie van het invoersignaal op een wavelet-frame, wordt de latent state opgebouwd uit "lokale atomen". Informatie uit verschillende tijdsregio's wordt opgeslagen in verschillende subsets van de state. Dit maakt de state adresbaar voor specifieke tijdsvensters, wat een mechanisme creëert dat lijkt op "attention" zonder de kwadratische complexiteit van Transformers.

Technische Uitdagingen en Oplossingen:

• Stabiliteit: Wavelet-frames zijn vaak redundant en niet-orthogonaal, wat kan leiden tot slecht geconditioneerde matrices en numerieke instabiliteit.
• Frame Tightening: Om dit op te lossen, passen de auteurs een "whitening"-transformatie toe op de rijruimte van het frame ($F \leftarrow S^{-1/2}F$). Dit zorgt ervoor dat het frame-operator $S \approx I$ is, wat de numerieke stabiliteit van de afgeleide dynamica garandeert en ruisamplificatie onderdrukt.
• Integratie met S4: De wavelet-geïnitialiseerde dynamica worden geïmplementeerd binnen de S4-architectuur met Diagonal Plus Low-Rank (DPLR) parameterisatie. Dit behoudt de efficiëntie ($O(N)$ per stap) en stabiliteit van S4, terwijl het de inductieve bias van wavelets behoudt.

3. Belangrijkste Bijdragen

1. Wavelet-geïnduceerde SSM's: Een principiële constructie van SSM-dynamica uit continue en discrete wavelet-frames, wat leidt tot tijdslokaal adresbare state-coördinaten.
2. Stabiliteitsanalyse: Een grondig onderzoek naar de numerieke stabiliteit van wavelet-gedreven SSM's en de introductie van "frame tightening" om dit probleem op te lossen.
3. Theoretisch Voordeel: Een theoretische onderbouwing (gebaseerd op benaderingstheorie) die aantoont dat wavelets niet-lineaire $N$-term benaderingen van functies met sprongdiscontinuïteiten (transienten) veel efficiënter uitvoeren dan globale polynomen (Legendre/HiPPO).
4. Empirische Validatie: Uitgebreide experimenten op diverse benchmarks die aantonen dat WaveSSM superieur presteert bij taken met transient dynamiek.

4. Resultaten

WaveSSM werd getest op real-world datasets en benchmarks, waarbij het vaak de polynoom-gebaseerde tegenhangers (zoals S4-LegS) versloeg:

• ECG Classificatie (PTB-XL): Op dit dataset voor hartslagdiagnose, waar lokale morfologische veranderingen cruciaal zijn, behaalde WaveSSM (vooral de Daubechies-varianten) de beste overall prestaties (AUROC), met name bij het detecteren van vorm- en ritmestoornissen.
• Spraakclassificatie (Speech Commands): WaveSSM behaalde ~96.5% nauwkeurigheid op ruwe audio, wat beter is dan S4-baselines.
• Tijdreeksvoorspelling (Informer Benchmarks): Op datasets zoals ETT en Weather behaalde WaveSSM consistent lage MSE-waarden, vaak beter dan S4, wat aantoont dat het goed is in het modelleren van niet-stationaire trends.
• Long Range Arena (LRA): WaveSSM presteerde sterk op taken zoals tekst- en beeldclassificatie, maar toonde beperkingen bij extreem lange contexten (zoals PathX), wat suggereert dat de sterke lokale bias ten koste gaat van het modelleren van zeer lange, globale afhankelijkheden in sommige scenario's.
• Continuous Window Copying Task: Een specifieke taak waarbij het model meerdere niet-overlappende vensters moet onthouden en manipuleren. WaveSSM presteerde hier een orde van grootte beter dan S4, omdat het vensters kan toewijzen aan disjuncte subsets van de state zonder interferentie.

5. Betekenis en Impact

Dit paper is significant omdat het de inductieve bias van State-Space Models fundamenteel verandert. Het bewijst dat het vervangen van globale polynomen door lokale wavelet-frames een krachtigere representatie biedt voor signalen die niet-stationair zijn of transient gebeurtenissen bevatten.

• Efficiëntie: Het biedt een manier om "attention-achtig" gedrag (selectief focussen op tijdsintervallen) te bereiken binnen een lineaire complexiteit, zonder de hoge rekenkosten van Transformers.
• Toepassingsgebied: Het opent nieuwe deuren voor toepassingen in biomedische signalen (ECG, EEG), audio-verwerking en elke domein waar lokale, scherpe veranderingen in tijdreeksen cruciaal zijn.
• Theoretische Vooruitgang: Het verenigt wavelet-theorie met moderne deep learning architecturen (SSM's), wat een brug slaat tussen klassieke signaalverwerking en state-of-the-art sequentiemodels.

Kortom, WaveSSM biedt een oplossing voor de "blindheid" van bestaande SSM's voor lokale gebeurtenissen, waardoor ze beter geschikt worden voor de complexe, niet-stationaire realiteit van veel praktische data.