Technische Samenvatting: Olivia: Het Harmoniseren van Time Series Foundation Models met Power Spectral Density

1. Probleemstelling

Time series foundation models hebben als doel om verenigde, universele representaties te leren uit diverse datasets over meerdere domeinen (bijvoorbeeld energie, verkeer, gezondheid) om effectieve overdracht naar downstream prognose taken mogelijk te maken. De heterogeniteit van temporele patronen over deze domeinen vormt echter een aanzienlijke uitdaging. Datasets afkomstig uit verschillende domeinen vertonen distincte periodieke structuren en langetermijnafhankelijkheden als gevolg van variërende fysieke dynamica, operationele cycli en meetinstellingen.

Vanuit een optimalisatieperspectief leidt gezamenlijke training op datasets met uiteenlopende temporele kenmerken vaak tot langzamere convergentie en suboptimaal gedrag. Vanuit het perspectief van representatieleren worstelt het model met het vormen van verenigde, overdraagbare representaties wanneer het gedwongen wordt om tegelijkertijd incompatibele temporele structuren te accommoderen. Hoewel bestaande benaderingen proberen discrepanties tussen domeinen te mitigeren via architecturale modularisatie of specialisatie op basis van capaciteit, slagen ze er vaak niet in om de fundamentele verschillen in temporele distributies expliciet aan te pakken, met name in het spectrale domein.

2. Methodologie

Het artikel stelt Olivia voor, een nieuw time series foundation model dat heterogeniteit tussen domeinen aanpakt door datasets te harmoniseren via Power Spectral Density (PSD) in het spectrale domein. De kernhypothese is dat het normaliseren van PSD's mismatches tussen datasets kan verminderen en de effectiviteit van pretraining kan verbeteren.

2.1. De Harmonizer: Bidirectionele PSD Reparameterisatie

Het direct minimaliseren van spectrale discrepanties (bijvoorbeeld via Jensen–Shannon divergentie) over datasets is computationeel onuitvoerbaar voor grootschalige pretraining vanwege het verschil tussen doelstellingen op datasetniveau en optimalisatie op instantieniveau. Om dit te overwinnen, stellen de auteurs de Harmonizer voor, een structurele module die PSD's impliciet harmoniseert door tweede-orde temporele correlaties te herschikken.

De Harmonizer bestaat uit twee bidirectionele submodule:

• Aligner: Projecteert ruwe time series data naar een gedeelde, PSD-g harmoniseerde latente deelruimte. Het maakt gebruik van een leerbare orthogonale matrix $Q$, geparametriseerd via een reeks Householder-reflexies ($Q = \prod H_k$), om strikte orthogonaliteit te waarborgen. Deze transformatie herschikt temporele dynamica zodat de resulterende momentenmatrix blokdiagonaal wordt, waardoor gedeelde deelruimtedynamica wordt gescheiden van datasetspecifieke variaties.
• Restorer: Voert de inverse isometrische projectie uit om de verwerkte representaties na decoding terug te projecteren naar de oorspronkelijke datasetspecifieke temporele ruimte, zodat de output de oorspronkelijke temporele structuur behoudt.

Theoretisch komt deze aanpak overeen met een gedeelde reparameterisatie van tweede-orde temporele correlaties, wat een gemeenschappelijke structurele vorm induceert over diverse datasets zonder de instabiliteit van directe divergentie-optimalisatie.

2.2. HarmonicFormer en HarmonicAttention

Op basis van de geharmoniseerde representaties introduceren de auteurs HarmonicFormer, een Transformer-stijl encoder-decoder backbone. De kerninnovatie is HarmonicAttention, die dichte all-to-all token-interacties vervangt door een laagdimensionale interactieruimte die wordt bemiddeld door een compacte set resonators.

• Token-naar-Resonator Aggregatie: Globale informatie wordt geaggregeerd van tokens naar een kleine set van $M$ latente resonators ($M \ll L$, waarbij $L$ het aantal tokens is).
• Cross-Resonator Interactie: Self-attention wordt uitgevoerd binnen de compacte $M \times M$ resonatorruimte in plaats van de volledige $L \times L$ tokenruimte.
• Globale Resonator Projectie: De geïnterageerde resonatorinformatie wordt terugverdeeld naar de tokens.

Dit ontwerp verlaagt de computationele complexiteit van $O(L^2P)$ naar $O(LMP + M^2P)$, waardoor lineaire schaalbaarheid voor lange sequenties mogelijk wordt terwijl globale afhankelijkheden worden gemodelleerd via de geharmoniseerde spectrale deelruimte.

2.3. Trainingspijplijn

Olivia volgt een drie-staps pijplijn:

1. Pretraining: Getraind op grootschalige heterogene datasets (bijvoorbeeld UTSD) met een reconstructiedoelstelling. De Aligner en Restorer worden gezamenlijk geoptimaliseerd om een gedeelde temporele organisatie te leren die spectrale discrepanties tussen domeinen vermindert.
2. Tuning: Het model past zich aan aan specifieke prognose taken. De Aligner van de Harmonizer blijft leerbaar om temporele reparameterisatie te verfijnen, terwijl de encoder- en decodergewichten worden bevroren om de voorgeprogrammeerde representaties te behouden.
3. Inferentie: Het volledig getrainde model voert prognoses uit met alle parameters bevroren.

3. Belangrijkste Bijdragen

1. Principiële Harmonisatiebenadering: Het artikel introduceert een methode om de diversiteit van pretraining datasets aan te pakken door PSD's impliciet te harmoniseren via de herschikking van tweede-orde temporele correlaties, verder gaand dan ongestructureerde behandelingen van domeinkloven.
2. HarmonicAttention Mechanisme: Een nieuw attention-mechanisme dat laagdimensionale token-interacties mogelijk maakt, bemiddeld door een compacte set resonators, wat efficiënte fundamentele modellering faciliteert via de HarmonicFormer-architectuur.
3. Olivia Model: Een nieuw time series foundation model dat deze mechanismen integreert en superieure prestaties demonstreert in zero-shot, few-shot en full-shot scenario's.

4. Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op twee grootschalige benchmarks (TSLib en GIFT-Eval) en zes extra datasets van GluonTS.

• Zero-Shot Prestaties: Olivia presteerde consequent beter dan state-of-the-art foundation models (waaronder SEMPO, Time-MoE, Timer, Moirai, Chronos en TimesFM) en taakspecifieke baselines. Op de TSLib-benchmark behaalde het significante reducties in MSE en MAE in vergelijking met grootschalige modellen zoals Time-MoE (gemiddelde MSE-reductie van 26,3%).
• Few-Shot en Full-Shot: Olivia toonde sterke prestaties in regimes met weinig data (few-shot) en full-shot instellingen, consistent lagere gemiddelde MSE en MAE behalvend dan zowel voorgeprogrammeerde foundation models als gespecialiseerde prognose modellen (bijvoorbeeld iTransformer, DLinear).
• Efficiëntie: Ondanks de extra overhead van de Harmonizer behield Olivia (5,1 miljoen parameters) een compact footprint en inferentiesnelheden die aanzienlijk sneller waren dan grootschalige modellen zoals Time-MoE (113 miljoen–2,4 miljard parameters) en Moirai, terwijl het tegelijkertijd lichtgewicht baselines zoals SEMPO in nauwkeurigheid overtrof.
• Ablatie Studies: Het verwijderen van de Harmonizer of het vervangen van HarmonicAttention door standaard Full Attention, Linear Attention of Nyström Attention resulteerde in consistente prestatiedegradatie, wat de noodzaak van spectrale harmonisatie en laagdimensionale resonator-interacties bevestigt.

5. Betekenis en Claims

Het artikel beweert dat Olivia de waarde aantoont van het structureel harmoniseren van temporele dynamica om schaalbare en generaliseerbare time series foundation models te bouwen. Door uiteenlopende spectrale signatuur te aligneren naar een verenigde deelruimte, leert het model universele temporele primitieven die invariant zijn voor domeinspecifieke verschuivingen.

De auteurs positioneren hun werk als een principiële remedie voor het probleem van de "ongestructureerde domeinkloof" in time series pretraining. Zij betogen dat het expliciet aanpakken van tweede-orde temporele structuren via PSD-gestuurde reparameterisatie effectievere transfer learning mogelijk maakt dan eerdere methoden die uitsluitend leunen op architecturale modularisatie. De resultaten suggereren dat PSD-consistente representaties een gunstige afweging mogelijk maken tussen model-efficiëntie, nauwkeurigheid en generalisatievermogen over heterogene real-world datasets.

Het artikel erkent een beperking met betrekking tot de extra inferentie-overhead die wordt geïntroduceerd door de sequentiële Householder-reflexies in de Harmonizer, en identificeert efficiëntere orthogonalisatiestrategieën als een richting voor toekomstig werk. Het handhaaft echter dat het huidige ontwerp een robuuste balans biedt tussen architecturale strengheid en praktische snelheid.