ms-Mamba: Multi-scale Mamba for Time-Series Forecasting

Dit paper introduceert ms-Mamba, een nieuw architectuur voor tijdsreeksvoorspelling die meerdere tijdschalen integreert via Mamba-blokken met verschillende samplefrequenties en daardoor de prestaties van bestaande modellen verbetert met minder parameters en rekenkosten.

De kern

Stel je voor dat je een weersvoorspelling moet doen. Je kijkt niet alleen naar de temperatuur van dit moment, maar ook naar wat er gisteren, vorige week en zelfs vorig jaar is gebeurd. Soms is het belangrijk om te weten of het nu net een bui heeft geregend (een kortetermijnverandering), en soms moet je weten of het over het algemeen kouder wordt naarmate de winter nadert (een langetermijntrend).

Dit is precies het probleem waar de auteurs van dit artikel over nadenken: Hoe voorspellen we het beste de toekomst van gegevens die veranderen in de tijd?

Hier is een uitleg van hun nieuwe uitvinding, ms-Mamba, in simpele taal, met een paar leuke vergelijkingen.

Het Probleem: De "Eén-Oog" Kijker

Vroeger gebruikten computers modellen die keken naar de tijd alsof ze door één enkel raamkeekje keken. Of ze keken heel snel (elke seconde), of ze keken heel traag (elke dag).

• Het probleem: Als je alleen door een snel raampje kijkt, zie je de snelle bewegingen, maar mis je het grote plaatje. Kijk je alleen door een traag raampje, zie je de trends, maar mis je de plotselinge stormpjes.
• De meeste bestaande modellen (zoals de populaire Mamba of Transformer) kijken meestal door één raampje tegelijk. Dat werkt vaak goed, maar niet perfect voor alles.

De Oplossing: De "Meer-Oog" Kijker (ms-Mamba)

De auteurs hebben een nieuw model bedacht dat ze ms-Mamba noemen. De 'ms' staat voor 'multi-scale' (meerdere schalen).

Stel je voor dat je een orkest dirigeert.

• Een oud model luistert alleen naar de trompettisten (de snelle, hoge tonen) of alleen naar de contrabassen (de trage, diepe tonen).
• ms-Mamba is als een dirigent die alle instrumenten tegelijk hoort. Het model heeft meerdere 'oren' (of in dit geval: meerdere Mamba-blokken) die allemaal tegelijk naar de data kijken, maar elk met een ander tempo.

Hoe werkt het? (De Vergelijking met een Camera)

Het geheim zit in iets dat ze een sampling rate (afstapelsnelheid) noemen. In het Nederlands kunnen we dit vergelijken met de zoom van een camera of de snelheid van een film.

1. Snel tempo (Kleine stap): Een blok kijkt heel vaak naar de data, alsof je een video in slow-motion bekijkt. Dit is goed om plotselinge pieken te zien (bijvoorbeeld: "Oh, de zon is nu ineens weggegaan!").
2. Traag tempo (Grote stap): Een ander blok kijkt minder vaak, alsof je een samenvatting van de week bekijkt. Dit is goed om de grote lijnen te zien (bijvoorbeeld: "Het wordt over het algemeen warmer in de zomer").

In ms-Mamba draaien deze verschillende 'camera's** tegelijkertijd. Ze kijken allemaal naar hetzelfde signaal, maar met een andere 'zoom'. Aan het einde worden al deze verschillende kijkpunten samengevoegd tot één slimme voorspelling.

Waarom is dit zo slim?

De auteurs hebben dit getest op 13 verschillende datasets, zoals:

• Verkeersdata: Om te zien hoe druk het is op de snelweg.
• Zonne-energie: Om te voorspellen hoeveel stroom zonnepanelen gaan produceren.
• Weerdata: Om temperaturen te voorspellen.

Het resultaat?
ms-Mamba was vaak beter dan de beste modellen die er nu zijn. En het mooiste deel? Het was ook nog eens efficiënter.

• Het gebruikte minder geheugen.
• Het had minder rekenkracht nodig.
• Het was sneller om te trainen.

Dit is alsof je een Ferrari hebt die niet alleen sneller rijdt dan de concurrentie, maar ook nog eens minder benzine verbruikt.

De Conclusie

Kortom: ms-Mamba is een slimme nieuwe manier om naar tijdreeksen te kijken. In plaats van te kiezen tussen "snel kijken" of "traag kijken", doet het model beide tegelijk. Hierdoor begrijpt het de wereld beter, maakt het minder fouten en kost het minder energie.

Het is een bewijs dat je soms beter kunt luisteren naar het hele orkest in plaats van alleen naar de solist.

Technische samenvatting

1. Het Probleem

Tijdreeksvoorspelling (Time-Series Forecasting - TSF) is een fundamenteel probleem waarbij toekomstige waarden van een variabele worden voorspeld op basis van historische data. Hoewel er veel architecturen zijn ontwikkeld, zoals recurrente netwerken (RNNs/LSTMs), Transformers en de recent geïntroduceerde Mamba-architecturen (gebaseerd op State Space Models of SSMs), hebben deze een belangrijke beperking:

• Enkele tijdschaal: Bestaande modellen verwerken invoer doorgaans op één enkele temporale schaal.
• Realiteit: Tijdreeksdata bevat echter vaak informatie op meerdere tijdschalen tegelijkertijd (bijvoorbeeld uurlijkse fluctuaties, dagelijkse patronen, weektrends en seizoensinvloeden).
• Suboptimaliteit: Het negeren van deze multi-schaal aard kan leiden tot suboptimale prestaties, vooral bij complexe datasets met overlappende dynamieken.

2. Methodologie: ms-Mamba

De auteurs introduceren ms-Mamba (Multi-scale Mamba), een nieuwe architectuur die specifiek is ontworpen om deze lacune op te vullen door meerdere tijdschalen gelijktijdig te verwerken.

Kernprincipes:

• Multi-Schaal Verwerking: In plaats van één Mamba-block te gebruiken, gebruikt ms-Mamba meerdere Mamba-blocks die parallel werken.
• Leerbaar Sampling Rate ($\Delta$): De kern van de Mamba-architectuur is de leerbare sampling rate ($\Delta$). In ms-Mamba worden meerdere SSMs (State Space Models) gebruikt met verschillende $\Delta$-waarden.
  • Een kleine $\Delta$ resulteert in een hoge temporale resolutie en een lange geheugenspan, wat geschikt is voor het vangen van snelle, hoge-frequentie veranderingen.
  • Een grote $\Delta$ resulteert in een lagere resolutie en korter geheugen, wat effectief is voor het vangen van langzamere, lage-frequentie trends.
• Architectuur:
  1. Embedding Layer: De invoer wordt eerst omgezet in een vaste lengte token-reeks.
  2. Multi-scale Mamba Layer: De invoer wordt parallel verwerkt door $n$ Mamba-blocks, elk met een eigen sampling rate ($\Delta_1, \Delta_2, ..., \Delta_n$). De uitgangen van deze blocks worden vervolgens gemiddeld (averaging) om een gefuseerde representatie te krijgen.
  3. Normalisatie en Feed-Forward: De gefuseerde output gaat door een Layer Normalization en een MLP (Multi-Layer Perceptron) voordat deze naar de volgende laag of de outputlaag gaat.
  4. Bidirectioneel: Net als bij S-Mamba wordt de verwerking zowel voorwaarts als achterwaarts uitgevoerd om zowel verleden als toekomstige context (binnen de lookback) te benutten.

Strategieën voor Sampling Rates:
De auteurs onderzoeken drie manieren om de $\Delta_i$ waarden te bepalen:

1. Vaste schalen: $\Delta_1$ is leerbaar, de rest zijn veelvouden daarvan (hyperparameters).
2. Leerbare schalen: Alle $\Delta_i$ zijn onafhankelijke leerbare variabelen (dit bleek de beste strategie).
3. Dynamische schalen: De $\Delta_i$ worden geschat via een MLP op basis van de invoer.

3. Belangrijkste Bijdragen

• Nieuwe Architectuur: De eerste toepassing van een multi-scale benadering binnen de Mamba-architectuur voor tijdreeksvoorspelling.
• Efficiëntie: Het model haalt state-of-the-art (SOTA) resultaten met minder parameters, minder geheugengebruik en minder rekenoperaties (MACs) vergeleken met de directe concurrent S-Mamba.
• Strategische Innovatie: Het introduceren en vergelijken van verschillende methoden om sampling rates te bepalen (vast, leerbaar, dynamisch), waarbij "leerbare tijdschalen" als meest effectief wordt aanbevolen.
• Uitgebreide Validatie: Experimenten op 13 verschillende real-world benchmark datasets, waaronder verkeersdata, energieverbruik en weersvoorspelling.

4. Resultaten

De experimenten tonen aan dat ms-Mamba superieur presteert ten opzichte van bestaande SOTA-modellen (zoals S-Mamba, iTransformer, PatchTST, Autoformer, enz.):

• Algemene Prestaties: ms-Mamba behaalt de beste of tweede beste resultaten op bijna alle 13 datasets over verschillende voorspellingshorizons (12 tot 720 tijdstappen).
• Vergelijking met S-Mamba:
  • Op de Solar-Energy dataset overtreft ms-Mamba S-Mamba met een MSE van 0.229 vs. 0.240.
  • Cruciaal: Dit gebeurt met minder parameters (3.53M vs 4.77M), minder geheugen (13.46MB vs 18.18MB) en minder rekenwerk (14.93G vs 20.53G MACs).
  • Op de Traffic dataset (met 862 variabele) is de prestatieverbetering ook significant (0.402 vs 0.414 MSE).
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat S-Mamba neigt om piekwaarden te onderschatten (undershoot) omdat het vastzit aan één tijdschaal. ms-Mamba kan door zijn multi-scale aard zowel scherpe pieken (via kleine $\Delta$) als lange trends (via grote $\Delta$) tegelijkertijd modelleren zonder compromissen.
• Ablatie-studies: De studie bevestigt dat het gebruik van leerbare tijdschalen de beste prestaties levert zonder de noodzaak voor uitgebreide hyperparameter-tuning, in tegenstelling tot vaste schalen.

5. Betekenis en Conclusie

Het artikel is significant omdat het een fundamentele beperking van bestaande Mamba-modellen voor tijdreeksen oplost: het gebrek aan intrinsieke multi-scale verwerking.

• Efficiëntie vs. Prestatie: Het bewijst dat het toevoegen van complexiteit (meerdere schalen) niet noodzakelijkerwijs leidt tot zwaardere modellen. Integendeel, door slim gebruik te maken van de eigenschappen van SSMs, kan ms-Mamba betere resultaten leveren met een lichtere footprint.
• Toekomstperspectief: De auteurs suggereren dat deze multi-scale benadering ook waardevol kan zijn voor andere modaliteiten (zoals tekst en afbeeldingen) en dat verdere onderzoek richt zich op geavanceerdere fusiemechanismen (bijv. attention-based fusion) in plaats van eenvoudige averaging.

Kortom, ms-Mamba stelt een nieuwe standaard voor tijdreeksvoorspelling door de kracht van State Space Models te combineren met een multi-resolutie aanpak, wat leidt tot robuustere en efficiëntere voorspellingen in diverse domeinen.