🤖 machine learning

TailedTS: Benchmark Dataset for Heavy-Tailed Time Series Prediction and Periodicity Quantification

Dit artikel introduceert TailedTS, een grootschalige benchmarkdataset van Wikipedia-pagina-weergaven gekenmerkt door zwaarstaart- en nulverrijkte verdelingen, die is ontworpen om tijdreeksvoorspellingsmodellen te evalueren onder niet-Gaussische omstandigheden en inzichten te verschaffen in de periodiciteit van hoogverkeerde digitale platformen.

Oorspronkelijke auteurs: Xinyu Chen, HanQin Cai, Lijun Ding, Jinhua Zhao

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinyu Chen, HanQin Cai, Lijun Ding, Jinhua Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. Meestal is het weer voorspelpbaar: het is zonnig, dan bewolkt, en misschien een lichte regen. Je kunt een model bouwen op basis van "gemiddelde" dagen, en dat werkt vrij goed. Dit is vergelijkbaar met de oude tijdreeksdatasets die wetenschappers al jaren gebruiken (zoals elektriciteitsverbruik of verkeersstromen), die grotendeels een "klokcurve" volgen waarbij extreme gebeurtenissen zeldzaam zijn.

Maar wat als je iets probeert te voorspellen dat zich gedraagt als een virale internetmeme? Meestal kijkt niemand er naar. Dan tweett plotseling een beroemdheid erover, en stromen miljoenen mensen binnen een uur de pagina binnen. Dan weer stilte. Dit is "heavy-tailed" data: het zit vol met saaie nullen en occasionele, enorme pieken die de regels van het "gemiddelde" doorbreken.

Dit artikel introduceert TailedTS, een enorme nieuwe dataset die specifiek is ontworpen om computermodellen te testen op dit soort chaotische, "piekerige" data. Hieronder volgt een uiteenzetting van wat ze hebben gedaan, met behulp van eenvoudige analogieën:

1. De Dataset: Een Bibliotheek van Virale Momenten

De auteurs bouwden een gigantische dataset met pagina-weergaven van Wikipedia uit 2024.

De Schaal: Ze verzamelden ongeveer 24,7 miljard datapunten (alsof je elke enkele bezoeker van elke enkele pagina, elk uur, een heel jaar lang telt).
De "Heavy Tail": In deze bibliotheek krijgt een klein handjevol pagina's (ongeveer 5%) het overgrote deel van de aandacht (meer dan 70% van alle weergaven). De rest van de miljoenen pagina's krijgt zeer weinig weergaven.
Het Probleem: De meeste computermodellen zijn getraind op "rustige" data. Als je deze "virale" Wikipedia-data op ze gooit, raken ze in de war omdat ze een gestage verkeersstroom verwachten. Ze weten niet hoe ze met de plotselinge, enorme pieken moeten omgaan.

2. De Ontdekking: Populaire Pagina's zijn Chaotisch

De onderzoekers stelden een simpele vraag: "Volgen populaire pagina's een voorspelbaar schema, zoals een treinrooster?"

De Analogie: Denk aan een rustige buurtstraat (minder populaire pagina's). Die heeft een voorspelbaar ritme: kinderen lopen om 8 uur naar school, mensen komen om 5 uur thuis. Het is zeer periodiek.
De Bevinding: Denk nu aan een drukke stads kruising (populaire pagina's). Het is chaotisch. Een beroemdheid kan een foto posten, of er kan een nieuwsgebeurtenis plaatsvinden, wat een enorme, onvoorspelbare menigte veroorzaakt.
Het Resultaat: Het team ontdekte dat populaire Wikipedia-pagina's eigenlijk minder voorspelpbaar zijn dan de rustige. Ze volgen niet zo nauwkeurig een strikte dag- of weekcyclus omdat ze voortdurend reageren op willekeurige, real-world gebeurtenissen. Dit is een groot nieuws voor iedereen die serververkeer voor grote websites probeert te beheren.

3. De Oplossing: Het Veranderen van de "Scorekaart"

Om deze chaotische cijfers te voorspellen, testten de onderzoekers verschillende manieren om "fouten" te meten (hoe fout het model was).

De Oude Manier (Het "Kreunende Wiel"): Traditionele modellen gebruiken een methode genaamd "Kleinste Kwadraten" (ℓ2-norm). Stel je een leraar voor die tentamens nakijkt waarbij één klein foutje prima is, maar als een student één vraag volledig verkeerd beantwoordt, de leraar schreeuwt en het hele tentamen zakt. Deze methode raakt geobsedeerd door de grootste fouten (de virale pieken) en verpest de voorspelling voor iedereen anders.
De Nieuwe Manier (De "Strenge Trainer"): De onderzoekers testten "Robuuste" methoden (zoals Huber-verlies of ℓp-norm). Stel je een trainer voor die zegt: "Oké, je hebt die ene enorme piek gemist, maar laten we de rest van de wedstrijd bekijken." Deze methoden negeren extreme uitschieters of behandelen ze zachtjes, zodat het model het algemene patroon leert zonder gek te worden.
Het Resultaat: Toen ze deze "strenge trainer"-methodes gebruikten, werden de modellen veel beter in het voorspellen van het verkeer, vooral voor de populairste pagina's. De oude methoden faalden erbarmelijk bij de grote pieken; de nieuwe methoden hanteerden ze met gratie.

4. Waarom Dit Belangrijk Is

Het artikel gaat niet alleen over Wikipedia; het gaat over het stress-testen van onze AI.

De Benchmark: Ze creëerden een "stress-test" (een benchmark) om te zien of AI-modellen real-world chaos aankunnen.
De Les: Als je een model bouwt met alleen "rustige" data, zal het breken wanneer het de real-world raakt, waar virale gebeurtenissen en extreme volatiliteit voorkomen.
De Conclusie: Om de toekomst te voorspellen van dingen zoals internetverkeer, aandelenmarkten of noodoproepen, moeten we stoppen met aannemen dat alles een mooie, nette klokcurve volgt. We hebben modellen nodig die klaar zijn voor de "heavy tails" – de zeldzame, enorme gebeurtenissen die alles veranderen.

Kortom: De auteurs gaven ons een gigantische, rommelige dataset van Wikipedia-verkeer om te bewijzen dat onze huidige AI-modellen te fragiel zijn voor de real-world. Ze lieten zien dat door te veranderen hoe we fouten meten (door extreme uitschieters te negeren), we modellen kunnen bouwen die veel veerkrachtiger en accurater zijn wanneer het gek wordt.

Technische Samenvatting: TailedTS Benchmark Dataset voor Voorspelling van Zwaarstaartige Tijdsreeksen

Probleemstelling

Tijdsreeksvoorspelling is een kritisch onderdeel van machine learning-toepassingen in economie, techniek en milieuwetenschappen. Echter, traditionele predictieve modellen vertrouwen voornamelijk op Gaussische aannames voor residuen, die vaak worden geschonden door het zwaarstaartige, nulverrijkte en niet-Gaussische gedrag dat wordt waargenomen in empirische datasets uit de echte wereld. Bestaande benchmarks, zoals de M-Competities (M4, M5) en de UCI-elektriciteitsdatasets, vangen diverse temporele dynamieken op, maar slagen er vaak niet in om de extreme, gebeurtenisgedreven volatiliteit en de hoge-dimensionale spaarsaamheid weer te geven die inherent zijn aan complexe patronen van menselijke interesse. Specifiek vertonen deze datasets niet adequaat de machtswettelijke distributies waarbij een minimaal fractie van gebeurtenissen verantwoordelijk is voor het merendeel van de waarnemingen, wat een kloof creëert in het evalueren van modelrobustheid tegen stochastische uitbarstingen en extreme uitschieters.

Methodologie

Het artikel introduceert TailedTS, een grootschalige benchmarkdataset afgeleid van uurlijkse pagina-bezoekobservaties op Wikipedia gedurende 2024. De methodologie omvat drie hoofdbestanddelen:

1. Datasetconstructie en Uitlijning

De dataset bestaat uit ongeveer 24,69 miljard datapunten die ongeveer 3 miljoen unieke Wikipedia-pagina's per maand bestrijken. Om datakwaliteit te waarborgen en te focussen op veelbekeken content, hebben de auteurs de ruwe data gefilterd om alleen pagina's op te nemen die elke dag van de maand een minimumdrempel van 10 views per dag behielden. Deze filtering resulteert in een dataset waarbij ongeveer 5% van de pagina's goed is voor meer dan 70% van het totale aantal pagina-bezoeken, wat voldoet aan een uitgesproken machtswettelijke distributie. De data wordt opgeslagen in het hoog-efficiënte Apache Parquet-formaat.

2. Kader voor Periodiciteitskwantificering

Om de periodieke structuur van de tijdsreeksen te analyseren, stellen de auteurs een spaars autoregressief kader voor met spaarsaamheids- en niet-negativiteitsbeperkingen. Het optimalisatieprobleem is geformuleerd om dominante autocorrelaties (bijvoorbeeld dagelijkse en wekelijkse cycli) automatisch te identificeren.

Formulering: Het probleem minimaliseert de kwadratische fout onderworpen aan een $\ell_0$ -normbeperking op de coëfficiëntvector $w_\gamma$ en een niet-negativiteitsbeperking ( $w_\gamma \in \mathbb{R}^d_+$ ).
Implementatie: Het probleem wordt herschreven als een Mixed-Integer Quadratic Programming (MIQP)-probleem, opgelost met het CPLEX-algoritme. Het model neemt consistente supportsets aan over verschillende categorieën van pagina-populariteit.

3. Robuuste Predictieve Modellering

Het artikel evalueert autoregressieve predictiemodellen met behulp van een suite van niet-Gaussische verliesfuncties om zwaarstaartige ruis aan te pakken. De optimalisatiedoelstelling minimaliseert de som van een verliesfunctie $\rho(\varepsilon_t)$ over residuen. De studie vergelijkt:

$\ell_2$ -norm verlies: Standaard Kleinste Kwadraten (Gaussische aanname).
$\ell_1$ -norm verlies: Kleinste Absolute Afwijkingen (LAD).
Huber-verlies: Interpoleert tussen $\ell_2$ en $\ell_1$ , en past kwadratische bestraffing toe op kleine residuen en lineaire bestraffing op grote residuen.
Kwantielverlies: Maakt schatting van conditionele kwantielen mogelijk met behulp van asymmetrische lineaire bestraffingen.
$\ell_p$ -norm verlies ( $0 < p < 1$ ): Biedt agressieve robustheid door residuen sublineair te bestraffen, hoewel dit niet-convexe optimalisatie-uitdagingen introduceert.

Belangrijkste Bijdragen

Het artikel schetst een drievoudige bijdrage:

Benchmarkdataset: TailedTS biedt een hoog-dimensionale, zwaarstaartige en nulverrijkte tijdsreeksdataset met miljoenen tijdsreeksen over een lange periode (8.784 uurlijkse tijdstappen in 2024). Het stelt de onderzoeksgemeenschap in staat modellen te evalueren tegen niet-Gaussische residuen en stochastische uitbarstingen, een scenario waarbij standaard Gaussische schatters vaak falen.
Periodiciteitskwantificering: De auteurs gebruiken spaarse autoregressie om aan te tonen dat veelbekeken pagina's een significant zwakkere periodieke structuur vertonen dan minder bekeken tegenhangers. Deze bevinding suggereert dat populaire pagina's vatbaarder zijn voor speciale gebeurtenissen en anomalieën, wat hun voorspelling bemoeilijkt ondanks hun hoge volume.
Robuuste Predictieve Modellering: De studie toont aan dat standaard Gaussische schatters aanzienlijk degraderen bij categorieën met hoog volume pagina's. Daarentegen bieden robuuste alternatieven (Huber, $\ell_p$ -norm en Kwantielverliezen) consistente winsten over alle verkeersschalen door de invloed van extreme uitschieters te mitigeren.

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op de TailedTS-dataset en vier externe benchmarkdatasets (UCI-elektriciteit, SF-verkeer, Luchtkwaliteit en Weergegevens).

Seizoensgebondenheidsanalyse: Bij spaarsaamheidsniveaus $\tau=8$ en $\tau=10$ werden de dominante autocorrelaties voor dagelijkse (24u), tweedaagse (48u) en wekelijkse (168u) cycli geïdentificeerd. De analyse bevestigde dat categorieën met hoog volume pagina's (bijvoorbeeld $O(10^4)$ views) lagere seizoensgebondenheidscoëfficiënten vertoonden dan categorieën met lager volume, wat wijst op hogere volatiliteit.
Voorspellingsprestaties op TailedTS:
- Voor categorieën met hoog volume ( $O(10^4)$ ) leverde het standaard $\ell_2$ -norm verlies een RMSE van 1163,08 op.
- Robuuste schatters presteerden aanzienlijk beter dan de baseline: het $\ell_p$ -norm verlies behaalde een RMSE van 129,28, en het Huber-verlies behaalde 139,87.
- Het $\ell_2$ -norm verlies vertoonde alleen concurrerende resultaten bij categorieën met lagere magnitude ( $O(10^2)$ ), maar de prestaties degradeerden scherp naarmate het volume toenam.
Prestaties op Externe Benchmarks: De studie verifieerde dat residuen in standaard benchmarks (UCI-elektriciteit, SF-verkeer, enz.) ook zwaarstaartig gedrag vertonen via log-log histogrammen. Niet-Gaussische verliesfuncties reduceerden consistent MAPE en RMSE over deze datasets. Bijvoorbeeld, op UCI-elektriciteitsdata reduceerden het $\ell_1$ - en Huber-verlies MAPE van 0,095 ( $\ell_2$ ) naar 0,083, een relatieve reductie van ongeveer 13%.

Betekenis en Claims

Het artikel positioneert TailedTS als een rigoureuze stress-test voor tijdsreeksvoorspellingsmodellen, specifiek gericht op de beperkingen van huidige State-of-the-Art (SOTA)-methoden die vertrouwen op Gaussische aannames. De auteurs beweren dat:

Robustheid Kritiek Is: Standaard schatters zijn ongeschikt voor digitaal verkeer uit de echte wereld dat gekenmerkt wordt door zwaarstaartige ruis en extreme volatiliteit.
Selectie van Verliesfunctie Uitmaakt: De keuze van de verliesfunctie is een primaire determinant van modelresilientie. Robuuste verliezen (Huber, $\ell_p$ , Kwantiel) zijn noodzakelijk om onregelmatige, onderling verbonden patronen van menselijke interesse vast te leggen die afwijken van fysische beperkingen die worden aangetroffen in transportsystemen of klimaatsystemen.
Schaalbaarheid en Generaliseerbaarheid: Door TailedTS te integreren met bestaande meteorologische benchmarks, kunnen onderzoekers de schaalbaarheid van GPU-natieve frameworks en de effectiviteit van robuuste verliesfuncties beter beoordelen.

De auteurs concluderen dat, hoewel robuuste schatters aanzienlijke foutreductie bieden, de uitdagingen die worden gesteld door extreme schaal en alomtegenwoordige nulverrijking een formidable grensgebied blijven. Ze streven ernaar dat deze benchmark de ontwikkeling van generatie-overstijgende, distributie-bewuste modellen stimuleert die de kloof overbruggen tussen theoretische optimalisatie en de zwaarstaartige realiteiten van grootschalige tijdsreeksdata.

Beperkingen: De auteurs merken op dat de benchmark uitsluitend is afgeleid van Wikipedia-data en mogelijk niet alle vormen van real-world non-stationariteit vastlegt, zoals abrupte regimeverschuivingen of adversariële manipulatie. Bijgevolg kunnen conclusies die worden getrokken niet volledig generaliseren naar tijdsreeksen die worden bestuurd door verschillende data-generatiemechanismen.