Technische Samenvatting: OATS (Online Data Augmentation voor Time Series Foundation Models)

Probleemstelling

Time Series Foundation Models (TSFMs) hebben het vakgebied geavanceerd door cross-domein leren en zero-shot generalisatie mogelijk te maken via grootschalige datasets. De effectiviteit ervan wordt echter beperkt door problemen met de datakwaliteit die veel voorkomen bij tijdreeksen, zoals ontbrekende waarden, heterogene bemonsteringsfrequenties, ongebalanceerde domeindistributies en duplicatie van gegevens. Hoewel synthetische data-augmentatie een breed toegepaste strategie is om datascarciteit en robuustheid te mitigeren, lijden bestaande methoden onder twee primaire beperkingen:

1. Heuristische Afhankelijkheid: Huidige benaderingen zijn afhankelijk van handmatig ontworpen patronen (bijv. sinusvormige golven, gedecomposeerde reekjes) of statische transformaties (bijv. jittering, TSMixup). Deze heuristieken zijn vaak taak-agnostisch en kunnen er niet in slagen om te generaliseren naar verschillende tijdreeks-taken.
2. Statisch Paradigma: Bestaande augmentatiestrategieën genereren synthetische data eenmalig en voegen deze uniform toe gedurende het gehele trainingsproces. Dit negeert het dynamische karakter van modeltraining, waarbij de waarde en bruikbaarheid van specifieke datapunten variëren over verschillende trainingsfasen.

Methodologie: OATS

De auteurs stellen OATS (Online Data Augmentation voor Time Series Foundation Models) voor, een gefundeerde strategie die dynamisch synthetische data genereert die is afgestemd op specifieke trainingsstappen. OATS werkt via drie kernmodules:

1. Time-Series Influence Scores (TSIS)

Om het gebrek aan gefundeerde kwaliteitsmetrieken voor synthetische data aan te pakken, maakt OATS gebruik van data-attributie om de invloed van individuele trainingssamples op de modelprestaties te kwantificeren.

• Mechanisme: Voor een gegeven trainingsstap $t$ met modelparameters $w_t$, schat de TSIS-functie $F_{D_{ref}}$ de data-attributiescore van een sample $z_i$ in met betrekking tot een referentiedataset $D_{ref}$.
• Formulering: De score wordt afgeleid van een eerste-orde Taylor-benadering van de verandering in de referentieverliesfunctie. Het combineert de invloedsscore (gradiënt-uitlijning tussen de sample en de referentieset) met tijdreeks-specifieke kwaliteitsindicatoren, specifiek een Signal-to-Noise Ratio (SNR) drempelwaarde.
• Output: Samples met hoge TSIS-scores worden geïdentificeerd als "waardevol" en dienen als sturende signalen voor generatie.

2. High-Quality Guided Data Generation

In plaats van simpelweg hoog scorende instanties over te samplen, gebruikt OATS deze als conditioneringssignalen om diverse, realistische synthetische data te genereren.

• Architectuur: Er wordt een diffusie-gebaseerd model ingezet, geconditioneerd op de geselecteerde hoogwaardige samples ($H_t$).
• Conditionering: Het model incorporeert een Time-Series Semantic Prototype module en class-conditional guidance op basis van subset-metadata (bijv. domein of bron). Het generatieproces modelleert de conditionele distributie $p(\hat{z}|H_t)$, waarbij nieuwe samples worden gesynthetiseerd die diverse temporele patronen vastleggen terwijl ze voldoen aan de kenmerken van de hoogwaardige gidsen.

3. Explore-Exploit Mechanisme

Het berekenen van TSIS voor de gehele dataset bij elke stap is computationeel onhaalbaar. OATS introduceert een Explore-Exploit mechanisme om de computationele efficiëntie te balanceren met de datakwaliteit.

• Explore Steps: Het systeem samplet stochastisch nieuwe batches om verse TSIS-waarden te berekenen, waarbij een dynamische cache ($\Phi_{D_l}$) voor elke datasubset wordt bijgewerkt via een exponentieel voortschrijdend gemiddelde. Dit stelt het systeem in staat zich aan te passen aan veranderende modeldynamiek.
• Exploit Steps: Het systeem maakt gebruik van de gecachte TSIS-waarden om direct hoogwaardige batches te samplen, waardoor de dure herberekening van invloedsscores wordt omzeild.
• Controle: Een $\epsilon$-greedy strategie bepaalt of een stap een "explore" of "exploit" stap is, waarbij een balans wordt gevonden tussen het ontdekken van nieuwe hoogwaardige data en de efficiëntie van het gebruiken van bekende hoogwaardige data.

Belangrijkste Bijdragen

1. Online Data Augmentatie Paradigma: Het artikel stelt een verschuiving voor van statische naar online augmentatie, waarbij synthetische data dynamisch wordt gegenereerd op basis van de huidige staat van het trainingsproces.
2. Gefundeerde Strategie (OATS): Een nieuw framework dat data-attributie (TSIS) integreert met diffusie-gebaseerde generatie. Het gebruikt hoog-invloedrijke samples als sturende signalen om synthetische data te produceren die zowel hoogwaardig als divers is.
3. Efficiëntie-mechanisme: De introductie van een explore-exploit mechanisme dat de computationele overhead aanzienlijk vermindert terwijl het vermogen behouden blijft om zich aan te passen aan trainingsdynamiek.
4. Empirische Validatie: Uitgebreide evaluatie over zes datasets (ETTm1, ETTm2, ETTh1, ETTh2, Weather, Electricity) en twee TSFM-architecturen (Encoder-only en Decoder-only Transformers).

Experimentele Resultaten

De auteurs hebben OATS geëvalueerd tegen reguliere training en twee baseline augmentatiemethoden: TSMixup (gewogen sommatie van bestaande samples) en Jitter (toevoegen van Gaussische ruis).

• Prestaties: OATS presteerde consequent beter dan zowel reguliere training als baseline augmentatiemethoden over bijna alle datasets en metrieken (Normalized Mean Absolute Percentage Error - MAPE, en Negative Log-Likelihood - NLL).
• Robuustheid: OATS behaalde de beste resultaten op vijf van de zes datasets (ETTm1, ETTm2, ETTh2, Weather, Electricity) voor beide modelarchitecturen.
• Convergentie: Testverliescurven gaven aan dat OATS een snellere reductie in NLL bereikte vergeleken met de baselines.
• Hyperparameter Gevoeligheid: Experimenten waarbij de explore-exploit ratio ($\epsilon$) werd gevarieerd, toonden aan dat een instelling van $\epsilon=1$ (pure exploratie) niet altijd optimaal was, wat suggereert dat het benutten van gecachte scores (exploitatie) cruciaal is voor efficiëntie. Desalniettemin presteerde OATS beter dan reguliere training, ongeacht de $\epsilon$-instelling.

Betekenis en Claims

Het artikel beweert dat OATS een gefundeerde benadering biedt voor dynamische data-augmentatie, waarmee het voorbijgaat aan de beperkingen van statische, op heuristieken gebaseerde methoden. Door de datakwaliteit te kwantificeren via invloedsscores en de generatie aan te passen aan de trainingsfase, pakt OATS de kritieke uitdaging van datascarciteit en -kwaliteit in TSFMs aan. De auteurs stellen dat deze methode niet alleen de modelprestaties verbetert, maar ook een schaalbaar framework biedt voor het trainen van foundation models op complexe, real-world tijdreeksen. De code is beschikbaar gesteld om verdere research in dit domein te faciliteren.