Aurora: Towards Universal Generative Multimodal Time Series Forecasting

Aurora is een multimodaal foundation model voor tijdsreeksvoorspelling dat, door gebruik te maken van tekst- en beeldinformatie en zero-shot inferentie, superieure prestaties levert in diverse domeinen via een prototype-geleide flow matching-methode.

De kern

Stel je voor dat je een waarzegger bent die probeert het weer, de beurs of het verkeer te voorspellen. In het verleden deden computers dit door alleen naar de cijfers van de afgelopen dagen te kijken. Maar dat werkt niet altijd goed. Waarom? Omdat twee verschillende situaties er op papier hetzelfde kunnen uitzien, maar toch heel anders eindigen.

Het probleem: "Het lijkt hetzelfde, maar is het niet"
Stel je voor dat je twee auto's hebt die allebei hard rijden.

• Auto A rijdt hard omdat er een race gaande is.
• Auto B rijdt hard omdat er een brand op de snelweg is en iedereen probeert te ontsnappen.

Als je alleen naar de snelheid kijkt (de cijfers), zie je geen verschil. Maar als je de tekst leest ("race" vs. "brand") of de foto bekijkt (gladde baan vs. rookwolken), snap je direct wat er gaat gebeuren. Auto A blijft hard rijden, Auto B gaat abrupt remmen.

Oude modellen keken alleen naar de snelheid (de cijfers). Ze misten de context.

De oplossing: Aurora, de slimme multitalent
De auteurs van dit paper hebben Aurora bedacht. Aurora is als een superintelligente waarzegger die niet alleen naar de cijfers kijkt, maar ook luistert naar verhalen (tekst) en kijkt naar foto's (beelden).

Hier is hoe het werkt, in drie simpele stappen:

1. De "Oog- en Oor-oefening" (De Encoder)

Aurora krijgt drie dingen te zien:

1. De cijferlijn: De historische data (bijv. temperaturen van de afgelopen week).
2. Het verhaal: Een tekst die uitlegt wat er gebeurt (bijv. "Er komt een koufront aan").
3. De foto: Een afbeelding die de vorm van de data laat zien (bijv. een grafiek die eruitziet als een berg).

Aurora is getraind op een enorme bibliotheek van duizenden van deze combinaties. Het leert dat een bepaalde vorm in een grafiek, gecombineerd met het woord "kou", iets heel anders betekent dan diezelfde vorm gecombineerd met het woord "hittegolf".

2. De "Gids" (Modality-Guided Attention)

Stel je voor dat Aurora een detective is die een moordzaak oplost. Hij heeft veel getuigen (de cijfers), maar ze vertellen allemaal een verwarrend verhaal.
Dan komt de Gids (de tekst en foto) binnenlopen. De Gids zegt: "Kijk niet naar die getuige die zegt dat het rustig was, want de foto toont juist chaos. Focus op die andere getuige!"

Aurora gebruikt deze Gids om zijn aandacht te verleggen. Het negeert de ruis en concentreert zich op de cijfers die echt belangrijk zijn voor de specifieke situatie. Hierdoor kan het zich aanpassen aan elke nieuwe wereld, zelfs als het die wereld nooit eerder heeft gezien (dit noemen ze zero-shot).

3. De "Toekomst-Prototype" (Flow Matching)

Nu moet Aurora het verleden omzetten in een voorspelling voor de toekomst.
Oude modellen probeerden dit door te gokken vanuit een volledig lege, willekeurige start (alsof je blindelings een tekening maakt).
Aurora doet het slimmer. Het haalt uit zijn geheugen een Prototype (een sjabloon) op.

• Als de tekst zegt "zomer", haalt Aurora een sjabloon op dat eruitziet als een zonnige dag.
• Als de tekst zegt "storm", haalt het een sjabloon op met harde wind.

Aurora begint niet bij nul, maar bij dit slimme sjabloon. Vervolgens verfijnt het dit sjabloon tot een exacte voorspelling. Dit is als het verschil tussen "probeer maar wat te tekenen" en "begin met een schets en maak het dan perfect".

Waarom is dit zo speciaal?

• Alles-in-één: Aurora is de eerste die tekst, beelden én cijfers samen gebruikt om tijdreeksen te voorspellen.
• De "Plug-and-Play" kracht: Je hoeft het model niet opnieuw te trainen voor elke nieuwe taak. Je kunt het direct gebruiken voor nieuwe situaties (bijv. een nieuw type verkeer of een nieuwe beurs) en het werkt al goed.
• Beter dan de rest: In tests op 5 grote benchmarks (waar ze het vergelijken met de slimste andere modellen) won Aurora bijna altijd. Het was beter in het voorspellen van de beurs, het weer, het verkeer en de gezondheid.

Kortom:
Aurora is als een ervaren kapitein die niet alleen naar de dieptemeter kijkt, maar ook naar de radar, het weerbericht en de foto's van de golven om te weten of er een storm komt. Daardoor kan hij de toekomst veel nauwkeuriger voorspellen dan wie ook die alleen naar de dieptemeter kijkt.

Technische samenvatting

Probleemstelling

Tijdreeksvoorspelling (Time Series Forecasting) is cruciaal in domeinen zoals economie, meteorologie en gezondheidszorg. Echter, een groot uitdaging is cross-domein generalisatie. Historische patronen die in één domein leiden tot een bepaalde toekomst, kunnen in een ander domein tot volledig verschillende trends leiden door domeinspecifieke kenmerken.

Bestaande oplossingen hebben twee belangrijke beperkingen:

1. Unimodale Foundation Models: Deze modellen (zoals Sundial of Chronos) zijn getraind op enorme corpus van tijdreeksen en hebben goede generalisatie, maar missen expliciete toegang tot domeinkennis die vaak in tekst of beelden voorkomt. Ze kunnen deze context niet benutten.
2. End-to-End Multimodale Supervised Models: Deze modellen integreren wel tekst of beelden, maar zijn vaak specifiek getraind voor één taak en ondersteunen geen zero-shot inferentie (voorspellen op nieuwe, ongezette domeinen zonder extra training).

Het doel van dit werk is een model te creëren dat zowel multimodale input (tijdreeks, tekst, beeld) kan verwerken als sterke zero-shot generalisatie over verschillende domeinen biedt.

---

Methodologie: Aurora

Aurora is het eerste Multimodale Time Series Foundation Model. Het model is vooraf getraind (pretrained) op een groot corpus van cross-domein multimodale tijdreeksen, inclusief sample-specifieke tekstuele beschrijvingen en gegenereerde endogene beelden van de tijdreeksen.

De architectuur bestaat uit twee hoofdcomponenten:

1. Aurora Encoder (Koppeling van Modaliteiten)

De encoder verwerkt drie modaliteiten: tijdreeks, tekst en beeld.

• Tokenisatie:
  • Tijdreeks: Wordt opgesplitst in patches en geëmbed.
  • Beeld: Endogene beelden worden gegenereerd door de tijdreeks om te zetten in een 2D-structuur (gebaseerd op periodiciteit) en vervolgens te herschalen voor een Vision Transformer (ViT).
  • Tekst: Wordt verwerkt via een BERT-encoder.
• Token Distillatie: Omdat tekst en beeld vaak redundante informatie bevatten, worden "Distillers" gebruikt (gebaseerd op Multi-head Cross-Attention) om de belangrijkste informatie te extraheren en te comprimeren tot een kleiner aantal tokens.
• Modality-Guided Multi-head Self-Attention: Dit is de kerninnovatie. In plaats van modaliteiten simpelweg te fuseren, gebruikt Aurora de tekst- en beeldrepresentaties om de aandacht (attention) binnen de tijdreeks zelf te sturen.
  • Het model berekent correlaties tussen tijdreeks-tokens en de externe domeinkennis (tekst/beeld).
  • Deze correlaties worden gebruikt om de attention-scores aan te passen, zodat het model zich focust op de tijdreeks-tokens die het meest relevant zijn voor de specifieke domeincontext.
  • De gefuseerde representatie bevat zo zowel temporele dynamiek als domeinspecifieke kennis.

2. Aurora Decoder (Generatieve Voorspelling)

De decoder genereert toekomstige tokens met behulp van een nieuwe aanpak: Prototype-Guided Flow Matching.

• Condition Decoder: Genereert multimodale condities voor de toekomstige tokens op basis van de gefuseerde encoder-uitvoer.
• Prototype Bank & Retriever:
  • In plaats van te starten met willekeurige ruis (zoals bij DDPM) of een standaard Gaussische verdeling, gebruikt Aurora een Prototype Bank. Dit is een verzameling van leerbare prototypes die fundamentele patronen vertegenwoordigen (zoals periodieke patronen en trends), geïnitialiseerd met wiskundige basisfuncties (sinus, exponentieel, etc.).
  • Een PrototypeRetriever selecteert adaptief de juiste "toekomst-prototypes" op basis van de domeinkennis uit tekst en beeld.
• Flow Matching:
  • Het model leert een vectorveld (velocity field) dat de overgang beschrijft van het geselecteerde prototype (plus wat ruis voor diversiteit) naar de werkelijke toekomstige waarden.
  • Dit maakt het generatieve proces stabieler en intuïtiever, omdat het startpunt al een ruwe schets van de trend en periodiciteit bevat.
  • Het resultaat is een generatieve probabilistische voorspelling, wat betekent dat het niet alleen een puntvoorspelling geeft, maar een volledige kansverdeling.

---

Belangrijkste Bijdragen

1. Eerste Multimodale Foundation Model: Aurora is het eerste foundation model dat specifiek is ontworpen voor tijdreeksen en zowel tekst als beeld als input accepteert voor zero-shot voorspelling.
2. Modality-Guided Attention: Een nieuw mechanisme dat externe domeinkennis gebruikt om de interne temporele representaties te verfijnen, waardoor cross-domein generalisatie aanzienlijk verbetert.
3. Prototype-Guided Flow Matching: Een innovatieve generatieve decoder die start met domein-specifieke prototypes in plaats van pure ruis, wat leidt tot stabielere en nauwkeurigere probabilistische voorspellingen.
4. Uitgebreide Evaluatie: Het model is getest op vijf verschillende benchmarks (TimeMMD, TSFM-Bench, ProbTS, TFB, EPF) en dekt zowel unimodale als multimodale, deterministische en probabilistische scenario's.

---

Resultaten

Aurora heeft State-of-the-Art (SOTA) prestaties behaald op alle geteste benchmarks:

• Zero-shot Multimodaal: Op de TimeMMD-benchmark overtrof Aurora bestaande foundation models zoals Sundial en VisionTS met een gemiddelde MSE-reductie van respectievelijk 27,0% en 31,2%.
• Few-shot vs. Full-shot: Zelfs wanneer Aurora slechts met 10% van de data wordt gefine-tuned (few-shot), presteert het beter dan volledig getrainde end-to-end multimodale modellen (zoals GPT4MTS en CALF) die op volledige datasets zijn getraind.
• Unimodaal Zero-shot: Zelfs zonder tekst of beeld input (door masking tijdens training), behaalde Aurora de beste resultaten op TSFM-Bench en ProbTS, wat aantoont dat het model robuust is bij modaliteit-afwezigheid.
• Probabilistische Voorspelling: Op ProbTS (een benchmark voor probabilistische voorspelling) behaalde Aurora de beste CRPS (Continuous Ranked Probability Score) en NMAE waarden, wat aangeeft dat het de onzekerheid in voorspellingen beter kan modelleren dan concurrenten zoals MOIRAI en CSDI.

---

Betekenis en Impact

Aurora markeert een paradigmaverschuiving in tijdreeksvoorspelling. Het bewijst dat het integreren van multimodale context (tekst en beeld) in een foundation model niet alleen mogelijk is, maar essentieel is voor het overbruggen van domeinverschillen.

• Decision Intelligence: Het biedt een "out-of-the-box" oplossing voor complexe scenario's waar historische data alleen niet voldoende is om de toekomst te voorspellen, omdat externe factoren (beschreven in tekst of zichtbaar in beelden) de trend bepalen.
• Efficiëntie: Door zero-shot en few-shot capaciteiten te combineren met een generatieve aanpak, vermindert het de behoefte aan kostbare domeinspecifieke training.
• Toekomstgericht: De combinatie van Flow Matching met prototypes opent nieuwe wegen voor generatieve AI in tijdsgebonden data, waarbij de fysieke of logische structuur van de data (periodiciteit, trends) expliciet wordt meegenomen in het generatieproces.

Kortom, Aurora stelt een nieuwe standaard voor universele, generatieve en multimodale tijdreeksvoorspelling.