Bridging the High-Frequency Data Gap: A Millisecond-Resolution Network Dataset for Advancing Time Series Foundation Models

Deze paper introduceert een nieuw dataset met milliseconden-resolutie voor draadloze en verkeersdata om bestaande tijdreeks-foundationmodellen te testen, waarbij blijkt dat deze modellen slecht presteren op dergelijke hoogfrequente data en dat het integreren van dit type datasets essentieel is voor hun verdere ontwikkeling.

De kern

Stel je voor dat je een superintelligente voorspeller hebt, een soort "tijdsprofeet" voor data. Deze profetieën worden gemaakt door Time Series Foundation Models (TSFMs). Tot nu toe hebben deze modellen geleerd door naar oude, rustige tijdslijnen te kijken: energieverbruik per uur, weersvoorspellingen per dag of verkeersdrukte per week. Het zijn alsof ze hebben gelezen in een dagboek dat elke dag één regel wordt geschreven.

Maar wat gebeurt er als je diezelfde profetie vraagt over een wereld die verandert in milliseconden? Denk aan een 5G-netwerk waar data razendsnel stroomt, net als een drukke snelweg waar auto's met de snelheid van het licht langs elkaar schieten.

Dit paper introduceert precies dat: een nieuw, extreem snel dataset voor deze "tijdsprofeet" en een onderzoek naar of de profetieën nog wel kloppen.

Hier is de samenvatting in gewone taal:

1. Het Probleem: De "Snelheidsbreuk"

De huidige supermodellen zijn getraind op "trage" data. Ze zijn gewend aan een rustig tempo. De auteurs van dit paper zeggen: "Hé, we hebben een gat in onze kennis!"
Ze hebben een dataset gemaakt van een echt werkend 5G-netwerk. In plaats van één meting per uur, doen ze er duizenden per seconde.

• De analogie: Het is alsof je een vis hebt die alleen in een stilstaand meer heeft geleefd (de oude datasets) en je probeert hem nu te laten zwemmen in een woeste, razendsnelle stroomversnelling (het 5G-netwerk). De vis (het model) weet niet hoe hij zich moet gedragen.

2. De Nieuwe Dataset: De "5G-Snelweg"

De auteurs hebben data verzameld van een 5G-netwerk in Ierland. Ze keken naar hoe snel data werd verstuurd (downlink bitrate) terwijl mensen zich bewogen (lopen, in de bus, in de trein) en verschillende apps gebruikten (video kijken, gamen, of zelfs hackers die aanvallen).

• Wat maakt het speciaal? De data is niet netjes en voorspelbaar. Het zit vol met pieken en dalen, net als een onrustige beurs of een drukke feestzaal. Er is geen duidelijk patroon dat je met de hand kunt tekenen. Het is chaotisch, snel en vol verrassingen.

3. De Test: Wie kan het beste mee?

De auteurs hebben een wedstrijd georganiseerd. Ze hebben twee soorten "voorspellers" tegen elkaar op laten treden om te zien wie de snelste 5G-data het beste kan voorspellen:

• De Oude Garde (Shallow Models): Dit zijn slimme, maar simpele modellen (zoals Adaptive Random Forest). Ze zijn als een ervaren racecoureur die zich aanpast aan elke bocht terwijl hij rijdt. Ze kijken naar wat er nu gebeurt en passen zich direct aan.
• De Supermodellen (TSFMs): Dit zijn de grote, complexe AI-modellen (zoals Chronos en TTM) die getraind zijn op de "trage" datasets. Ze zijn als een enorme, zware vrachtwagen die gewend is aan rechte, rustige wegen. Ze proberen hun enorme kennis toe te passen op de snelweg.

Het Resultaat:
De verrassing? De oude garde won.
De simpele, aanpasbare modellen (vooral Adaptive Random Forest) voorspelden de snelheid van de data veel beter dan de grote, complexe supermodellen.

• Waarom? De supermodellen waren te "stijf". Ze waren getraind op rustige patronen en wisten niet hoe ze moesten omgaan met de plotselinge, chaotische pieken van het 5G-netwerk. Zelfs als je ze een beetje "opfriste" (fine-tuning) met de nieuwe data, bleven ze achter. Ze konden de "dans" van de snelle data niet leren.

4. De Les: We moeten opnieuw leren dansen

De belangrijkste conclusie van dit paper is dat we onze "tijdsprofeet" niet kunnen blijven voeden met alleen maar trage data.

• De metafoor: Als je een chef-kok wilt leren koken voor een razendsnelle keuken (zoals een 5G-netwerk), kun je hem niet alleen laten oefenen met het bakken van soep in een rustig restaurant. Je moet hem laten werken in een drukke, chaotische keuken waar alles in seconden verandert.

Wat betekent dit voor de toekomst?
Om deze supermodellen echt slim te maken voor de toekomst (zoals zelfrijdende auto's, realtime gaming of beveiliging tegen hackers), moeten we ze nu al trainen op deze snelle, milliseconden-datasets. Als we dat niet doen, blijven ze "stom" als ze in de echte, snelle wereld terechtkomen.

Kortom:
De auteurs hebben een nieuwe, supersnelle "trainingsbaan" gebouwd voor AI. Ze hebben bewezen dat de huidige AI-modellen daar nog niet goed kunnen racen. Om ze echt goed te maken, moeten we ze laten trainen op deze snelle, chaotische data, zodat ze niet meer schrikken van de snelheid van de moderne wereld.

Technische samenvatting

Probleemstelling

Bestaande Time Series Foundation Models (TSFMs) worden voornamelijk getraind op datasets met een lage frequentie (samplingintervallen van seconden tot jaren), zoals datasets uit de energievoorziening, financiën of weer. Deze modellen missen echter de capaciteit om de nuances van hoge frequentie data (milliseconden) te vangen, die cruciaal zijn voor real-time toepassingen zoals 5G-netwerkbeheer.
De huidige benchmark-datasets vertegenwoordigen geen hoge-frequentie domeinen, wat leidt tot een "data gap". Hierdoor presteren bestaande TSFMs slecht wanneer ze worden toegepast op dynamische, onstabiele en hoogfrequente netwerkomgevingen, zelfs na fine-tuning. Er is een gebrek aan datasets die millisecond-resolutie combineren met realistische netwerkdynamiek.

Methodologie

1. Dataset Creatie (5G O-RAN)
De auteurs hebben een nieuwe dataset ontwikkeld gebaseerd op een echte implementatie van een 5G Open Radio Access Network (O-RAN) in de OpenIreland testomgeving.

• Bron: Software-defined radio's (Ettus USRPs) die fungeren als basisstation en meerdere gebruikersapparaten (UE's).
• Scenario's: De dataset omvat diverse mobiliteitsprofielen (statisch, voetganger, auto, bus, trein) en verkeerstypen (van benign zoals video-streaming tot kwaadaardig zoals DDoS-aanvallen).
• Resolutie: De data is verzameld in milliseconden, maar voor de experimenten is deze omgezet naar intervallen van 100 milliseconden om de overhead in O-RAN-netwerken te simuleren.
• Doelvariabele: Downlink bitrate (mac_dl_brate).
• Kenmerken: De dataset bevat 47 features (in totaal), waaronder Channel Quality Indicator (CQI), Modulation and Coding Scheme (MCS), en pakketstatistieken. Voor de benchmark werden 4 kernfeatures geselecteerd.

2. Data Karakteristieken
In tegenstelling tot traditionele datasets (zoals ETTh1 of Electricity) die stabiele trends en sterke seizoenspatronen vertonen, toont de 5G-dataset:

• Onstabiele trends: Stapsgewijze verschuivingen in plaats van gladde trajecten.
• Zwakke seizoenspatronen: Periodiciteit is nauwelijks zichtbaar en wordt verdoezeld door ruis.
• Residuen: Bevat scherpe pieken en bursts van endogene ruis (heavy-tailed distributie).
• Niet-stationair: De statistische eigenschappen (gemiddelde en variantie) veranderen aanzienlijk over de tijd.

3. Benchmarking Strategie
De auteurs hebben een uitgebreide benchmark uitgevoerd om de prestaties van traditionele modellen te vergelijken met state-of-the-art TSFMs:

• Shallow Models: Random Forest (RF), XGBoost (XGB), Adaptive Random Forest (ARF), Online Linear Regression (OLR) en een Naive forecast.
• TSFMs: TinyTimeMixer (TTM), Chronos (bolt-small variant) en Lag-Llama.
• Experimenten:
  • Vergelijking in univariate en multivariate settings.
  • Zero-shot (geen training op de dataset) vs. Fine-tuning (training op de dataset).
  • Analyse van verschillende temporale resoluties (van 100ms tot 2000ms).
  • Evaluatie van verschillende fine-tuning strategieën voor TTM (Head-only vs. Adapter-based).

Belangrijkste Resultaten

1. Prestaties van TSFMs vs. Shallow Models

• Slechte prestaties van TSFMs: Zowel in zero-shot als in fine-tuned settings presteren de TSFMs (TTM, Chronos, Lag-Llama) over het algemeen slecht op deze dataset. Ze falen om de complexe, niet-lineaire dynamiek en de plotselinge shifts in de data te generaliseren.
• Superioriteit van ARF: De Adaptive Random Forest (ARF) behaalde consistent de beste resultaten (laagste RMSE en MAE) in zowel univariate als multivariate settings.
  • Reden: ARF is ontworpen om concept drift te hanteren door dynamisch zijn ensemble van bomen bij te werken wanneer nieuwe patronen verschijnen. Dit maakt het ideaal voor de onstabiele, burst-achtige aard van 5G-netwerkdata.
• Chronos: Toonde concurrerende prestaties in univariate settings, maar werd in multivariate settings verslagen door ARF.

2. Impact van Temporele Resolutie

• Het verhogen van de temporale resolutie (van 2000ms naar 100ms) verbeterde de prestaties van de TSFMs niet.
• ARF profiteerde juist van hogere resolutie, omdat dit ruis reduceerde en de voorspellingen verbeterde. Dit bevestigt dat het probleem niet alleen de frequentie is, maar de inherente aard van de data (onvoorspelbare pieken) die TSFMs moeilijk te modelleren vinden.

3. Fine-tuning Strategieën

• Specifieke fine-tuning strategieën voor TTM (zoals Head-only fine-tuning of Adapter-based fine-tuning) verbeterden de prestaties niet significant ten opzichte van de standaard fine-tuning; in sommige gevallen waren ze zelfs slechter.
• Hyperparameter-tuning (zoals learning rate) had een beperkt effect; zelfs met geoptimaliseerde parameters konden TSFMs de prestaties van ARF niet evenaren.

Kernbijdragen

1. Nieuwe Dataset: Introductie van een millisecond-resolutie dataset voor 5G-netwerkprestaties, die een kritieke kloof vult in bestaande benchmark-datasets voor TSFMs.
2. Nieuw Domein: Uitbreiding van de TSFM-domeinen met draadloze netwerken, wat een uitdagend testbed biedt voor modellen die eerder voornamelijk op energie- en verkeersdata zijn getraind.
3. Benchmark Studie: Een grondige evaluatie die aantoont dat huidige TSFMs tekortschieten in hoge-frequentie, onstabiele omgevingen, terwijl adaptieve machine learning-modellen (zoals ARF) superieur zijn.
4. Korte-termijn Voorspelling: Definities van use-cases met voorspellingshorizonten van 100ms tot 9,6 seconden, relevant voor real-time netwerkoptimalisatie.

Betekenis en Toekomstperspectief

Dit paper benadrukt dat de huidige generatie Time Series Foundation Models niet "one-size-fits-all" is. Ze zijn sterk afhankelijk van de diversiteit en resolutie van de pre-training data.

• Significantie: Het onderzoek toont aan dat het simpelweg fine-tunen van bestaande TSFMs niet voldoende is om ze geschikt te maken voor kritieke, real-time toepassingen zoals 5G-netwerkbeheer.
• Toekomstig Onderzoek: De auteurs pleiten voor het opnemen van hoge-frequentie datasets in de pre-training fase van TSFMs om hun generalisatievermogen, robuustheid en architectuur te verbeteren.
• Toepassingen: De dataset biedt mogelijkheden voor anomaly detection, transfer learning tussen verschillende mobiliteitsprofielen, en proactief netwerkbeheer (bijv. handover strategieën en QoS-aanpassingen) binnen O-RAN systemen.

Kortom, de paper levert een cruciaal bewijs dat de evolutie van TSFMs naar echt real-time, adaptieve systemen afhankelijk is van het overbruggen van de data-gaat met specifieke, hoogfrequente domeindata.