Stel je voor dat je de toekomst probeet te voorspellen, maar in plaats van een kristallen bol heb je een stroom aan data die eruitziet als een chaotische krabbel. Dit is de wereld van tijdreeksvoorspelling (time series forecasting), een tak van data science die zich bezighoudt met het raden van wat er nu gaat gebeuren op basis van wat er eerder is gebeurd. Denk eraan als het proberen te voorspellen van de volgende noot in een liedje, de volgende golf in de oceaan, of de volgende verkeersdrukte op een snelweg. De data is niet zomaar willekeurige ruis; het heeft vaak een ritme. Soms is het een gestage beat, zoals een hartslag; andere keren is het een complexe melodie met herhalende coupletten en refreinen. Wetenschappers noemen deze herhalende patronen "cycli".

Lama tijd hadden computers die deze patronen probeerden te voorspellen een grote blinde vlek. Ze namen vaak aan dat de "beat" van de data voor iedereen, overal en op elk moment hetzelfde was. Het was alsof je een robot probeert te leren dansen op een nummer door hem te vertellen: "De beat is altijd 120 stappen per minuut," zelfs wanneer de muziek plotseling vertraagt of versnelt. Bovendien behandelden deze computers, bij het bekijken van een lange lijn aan data, elk afzonderlijk stukje informatie op dezelfde manier, of het nu van gisteren was of van vijf minuten geleden. Dit artikel pakt deze rigide aannames aan en suggereert dat een computer, om de toekomst accuraat te voorspellen, meer moet zijn als een flexibele muzikant die luistert naar het specifieke ritme van dit nummer, op dit moment, en weet welke noten het belangrijkst zijn om te onthouden.

Maak kennis met CAMP: De Tijdreizende DJ

Maak kennis met CAMP (Cycle-Aware Multi-Scale Patch Mixer), een nieuw voorspellingsmodel dat fungeert als een superintelligente DJ voor tijdreeksdata. De auteurs, Jung Min Choi en collega's van de Universiteit van Hildesheim, realiseerden zich dat echte werelddata rommelig is. Een dataset kan een dagelijkse cyclus hebben, een wekelijkse cyclus, of zelfs een cyclus die van snelheid verandert afhankelijk van hoe ver je terugkijkt. Oude methoden probeerden al deze data in één enkel, vooraf ingesteld ritme te dwingen, wat vaak leidde tot gemiste beats en slechte voorspellingen. CAMP daarentegen besluit eerst naar de muziek te luisteren voordat het begint te dansen.

De Magie van het Adaptieve Ritme
Stel je voor dat je naar een lange video van een drukke straat kijkt. Sommige auto's bewegen in een gestage stroom (een cyclus), terwijl anderen willekeurig stoppen en weer optrekken (residuele ruis). Oude modellen zouden proberen de snelheid van het verkeer te raden door naar de hele stad te kijken en één gemiddelde snelheid te kiezen. Als het verkeer plotseling vertraagde voor een parade, zou het model in de war raken.

CAMP doet iets anders. Het gebruikt een hulpmiddel genaamd de Fast Fourier Transform (FFT) — denk aan een super snelle frequentie-analyser — om naar elk specifiek venster van data te kijken. Het vraagt: "Wat is de dominante beat in dit specifieke blok tijd?" Vervolgens bouwt het een op maat gemaakt ritme voor dat exacte moment. Het heeft geen vooraf geschreven schema nodig; het ontdekt de beat on the fly. Dit stelt het in staat om een "cyclisch component" (het voorspelbare, herhalende deel) en een "residue" (het rommelige, onvoorspelbare deel) apart te genereren. Het is alsof je het drumspoor scheidt van de gitaarsolo, zodat je ze afzonderlijk kunt aanpassen.

Het "Patch" Puzzelstuk en de Horizon-Gids
Zodra CAMP het voorspelbare ritme heeft weggehaald, houdt het met de rommelige residuele data over. Om dit aan te pakken, hakt het de data in kleine stukjes die "patches" worden genoemd. Stel je voor dat je een lange filmstrook in individuele frames knipt. De meeste modellen behandelen elk frame op dezelfde manier en schudden ze door elkaar om patronen te vinden. Maar CAMP merkte iets slims op: de frames die het dichtst bij de "forecast boundary" (de uiterste rand waar de voorspelling begint) liggen, zijn superbelangrijk en mogen niet te veel worden aangepast. De oudere frames hebben echter een bredere context nodig om betekenis te krijgen.

Om dit op te lossen, gebruikt CAMP een Horizon-Guided Patch Mixer. Denk aan dit als een docent die het essay van een leerling beoordeelt. De docent leest de meest recente zinnen (de zinnen die het dichtst bij het einde staan) heel zorgvuldig en laat ze grotendeels met rust omdat zij de conclusie vormen. Maar voor de eerdere zinnen mengt de docent de ideeën met andere ideeën om de diepere thema's te vinden. CAMP doet hetzelfde: het mengt de oudere patches agressief om langetermijnverbindingen te vinden, maar houdt de nieuwste patches intact zodat het model de meest directe informatie niet verliest.

De Multi-Scale Magie
Ten slotte is de rommelige residuele data vaak complex en bevat het zowel grote, langzame golven als kleine, snelle trillingen. CAMP gebruikt een Stationary Wavelet Transform (SWT) om deze rommel te splitsen in verschillende "schalen" of resoluties. Het is als het gebruik van een set verschillende zeven om zand te sorteren: één zeef vangt de grote stenen op, een andere vangt de kiezelstenen, en een fijne vangt het stof. CAMP verwerkt elke van deze lagen met zijn eigen gespecialiseerde mixer en combineert ze vervolgens allemaal weer. Dit zorgt ervoor dat ongeacht hoe groot of klein de fluctuatie is, deze de aandacht krijgt die het verdient.

Wat de Cijfers Zeggen

De auteurs testten CAMP op zeven verschillende benchmarks voor langetermijnvoorspellingen, waaronder gegevens over het weer, elektriciteitsverbruik en verkeerspatronen. De resultaten waren indrukwekkend. Over deze datasets heen behaalde CAMP de beste gemiddelde Mean Squared Error (MSE) op zes van de zeven datasets en de beste of gedeelde beste Mean Absolute Error (MAE) op zes. In de wereld van verkeersvoorspelling (met behulp van de PEMS-benchmarks) won het de meeste vergelijkingen in 16 verschillende settings.

Bijvoorbeeld, op de ETTh2-dataset (elektriciteitsverbruik), verminderde CAMP de fout naar een MSE van 0,309, waarmee het het op één na beste model (PatchTST) versloeg, dat een fout van 0,331 had. Op de Weather-dataset behaalde het een MSE van 0,219. Dit zijn niet zomaar kleine verbeteringen; ze vertegenwoordigen een significante sprong in nauwkeurigheid, wat suggereert dat het vermogen van het model om zich aan te passen aan veranderende cycli en verschillende schalen van data te verwerken, precies werkt zoals bedoeld.

Waarom Dit Belangrijk Is (en Wat Het Niet Is)

Het artikel suggereert dat de sleutel tot betere voorspellingen niet alleen het hebben van een grotere computer is, maar het hebben van een slimmere manier van luisteren. Door toe te geven dat cycli veranderen en dat recente data speciale behandeling nodig heeft, vermijdt CAMP de valkuilen van rigide, eenheidsmodellen. De auteurs voerden "ablatie-studies" uit (testen waarbij ze onderdelen van het model verwijderden) om te bewijzen dat elk onderdeel van hun puzzel noodzakelijk is. Wanneer ze het adaptieve cyclusleren of de speciale patch-mixing verwijderden, daalde de prestatie, wat bevestigt dat deze specifieke trucs ervoor zorgen dat het model werkt.

De auteurs zijn echter voorzichtig om dit geen wondermiddel te noemen. Ze merken op dat CAMP computationeel zwaarder is dan sommige simpelere modellen en dat de frequentiegebaseerde cyclusinschatting moeite kan hebben als de data te kort is of geen duidelijk ritme heeft. Ze suggereren ook dat voor datasets met honderden variabelen die allemaal nauw met elkaar verbonden zijn, de huidige manier waarop het model kanalen mixt, selectiever moet zijn om verwarring te voorkomen.

Kortom, CAMP suggereert dat als je de toekomst wilt voorspellen, je niet alleen het verleden moet memoriseren; je moet het ritme van het moment begrijpen, het belang van het heden respecteren en tegelijkertijd naar het grote plaatje en de kleine details kijken. Het is een flexibele, meerlagige aanpak die suggereert dat de toekomst minder gaat over rigide formules en meer over adaptief luisteren.