Online time series prediction using feature adjustment

Deze paper introduceert ADAPT-Z, een methode voor online tijdreeksvoorspelling die distributieveranderingen aanpakt door in plaats van modelparameters de representaties van onderliggende latente factoren aan te passen, waardoor robuuste updates mogelijk zijn ondanks vertraagde feedback in meerstapsvoorspelling.

De kern

Stel je voor dat je een zeer ervaren weerman bent die al jaren perfect het weer voorspelt. Je hebt een geweldig model gebouwd dat werkt op basis van de data van de afgelopen jaren. Maar dan gebeurt er iets: de wereld verandert. De mensen beginnen minder auto's te rijden, de zon schijnt vaker dan ooit, of de elektriciteitsnetten worden anders gebruikt.

Je oude model, dat zo goed was in het verleden, begint nu fouten te maken. Het blijft denken dat het "oude" weer of verkeer gaat gebeuren, terwijl de realiteit al is veranderd. Dit noemen wetenschappers een distributieverandering (de data ziet er anders uit dan waar het model voor is getraind).

Deze paper introduceert een slimme nieuwe manier om dit op te lossen, genaamd ADAPT-Z. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: Waarom oude methoden falen

Stel je voor dat je probeert je voorspelling te verbeteren door het hele model opnieuw te leren. Dat is als proberen je auto te repareren door de motor, de wielen en het chassis volledig te vervangen elke keer dat je een nieuwe weg rijdt. Dat kost te veel tijd, energie en het kan zelfs de auto kapot maken.

Bestaande methoden proberen vaak alleen de "laatste schakel" van het model aan te passen (zoals het vervangen van de wielen), of ze gebruiken een "herinneringsbuffer" om oude voorbeelden op te slaan. Maar in de echte wereld, waar data continu binnenkomt, is dit vaak te traag of te onnauwkeurig.

2. Het inzicht: Pas de "bril" aan, niet de ogen

De auteurs van dit paper hebben een briljant inzicht: Het probleem zit niet in de ogen van het model, maar in de bril die het draagt.

In plaats van het hele model (de ogen) te veranderen, kijken ze naar de kenmerken (de bril). Stel je voor dat je model kijkt naar het verkeer. De "bril" vertaalt wat het ziet (auto's) naar een interne taal (bijvoorbeeld: "drukte", "snelheid"). Als de wereld verandert (bijvoorbeeld: minder auto's), hoeft het model niet te stoppen met kijken. Het hoeft alleen maar zijn bril iets te kantelen of te verstellen, zodat het de nieuwe situatie correct interpreteert.

Dit is wat ADAPT-Z doet: het past de interne vertaling van de data aan, in plaats van het hele brein van het model te herschrijven.

3. De uitdaging: De "Laat-Feedback" valkuil

Er is een groot probleem bij het voorspellen van de toekomst: Je weet pas of je gelijk had als de tijd voorbij is.

• Voorbeeld: Je voorspelt het verkeer voor morgen. Je kunt pas zien of je fout zat als morgen voorbij is. Maar dan moet je alweer een voorspelling maken voor overmorgen.
• Dit betekent dat de "feedback" (de correctie) altijd te laat komt. Als je wacht tot je weet dat je fout zat, ben je alweer een stap verder.

4. De oplossing: ADAPT-Z (De slimme bijstuurder)

ADAPT-Z lost dit op met een slimme truc, die we kunnen vergelijken met een navigatiesysteem dat ook naar je geschiedenis kijkt.

1. De Adapter (De slimme bijstuurder): Het model heeft een klein, lichtgewicht hulpmiddel (een "adapter") dat als een tussenpersoon fungeert.
2. Heden + Geschiedenis: Deze adapter kijkt niet alleen naar wat er nu gebeurt (de huidige data), maar combineert dit met de fouten van het verleden (de gradients).
   • Analogie: Stel je voor dat je een boot bestuurt. Je ziet nu dat je een beetje naar rechts afwijkt (huidige data). Maar je weet ook dat je de afgelopen 5 minuten steeds een beetje naar links hebt geduwd om de stroming te compenseren (historische fouten). De adapter gebruikt deze combinatie om te beslissen: "Oké, ik moet nu niet hard naar links, maar een heel klein beetje naar rechts, want de stroming is veranderd."
3. Directe Correctie: Omdat de adapter deze beslissing direct neemt op basis van de huidige situatie en de recente geschiedenis, hoeft het niet te wachten tot de uiteindelijke "uitslag" bekend is. Het corrigeert zich terwijl het voorspelt.

5. Waarom werkt dit zo goed?

De paper toont aan dat deze methode:

• Sneller is: Je hoeft niet het hele zware model opnieuw te trainen.
• Stabiel is: Door de geschiedenis mee te nemen, maakt het geen paniekreacties op één enkele rare data-punt.
• Beter presteert: In tests met 13 verschillende datasets (van verkeer tot zonne-energie en weer) was ADAPT-Z consequent beter dan alle andere methoden. Het kon zich aanpassen aan veranderende omstandigheden waar andere modellen op vastliepen.

Samenvattend

Stel je voor dat je een oude, betrouwbare auto hebt die niet meer past bij de nieuwe wegen.

• Oude methode: De motor vervangen of de auto volledig opnieuw bouwen. (Te duur, te langzaam).
• ADAPT-Z: Je zet een slimme, aanpasbare navigatiebril op de auto. Deze bril kijkt naar waar je nu bent én waar je de afgelopen minuten bent geweest, en stuurt het stuur direct en subtiel bij. Zo blijft je oude auto perfect rijden, zelfs als de wegen veranderen.

Het is een manier om kunstmatige intelligentie "leerzaam" te maken in de echte wereld, zonder dat we constant alles opnieuw hoeven te bouwen.

Technische samenvatting

Probleemstelling

Tijdreeksvoorspelling is cruciaal voor toepassingen zoals verkeersmanagement en ziektebestrijding, maar staat voor een groot uitdaging: distributieveranderingen (distribution shift). In online scenario's arriveert data sequentieel, waardoor de onderliggende patronen in de tijd veranderen. Bestaande methoden voor online leren focussen voornamelijk op het bijwerken van modelparameters (zoals de laatste laag of adapter-modules) met behulp van strategieën zoals Online Gradient Descent (OGD) of replay buffers.

De auteurs identificeren twee fundamentele beperkingen in de huidige aanpak:

1. Onjuiste focus: Distributieveranderingen worden vaak veroorzaakt door veranderingen in onderliggende latente factoren (bijv. economische condities of weersomstandigheden), niet noodzakelijk door de modelparameters zelf. Het bijwerken van de feature-representaties van deze factoren zou effectiever kunnen zijn dan het aanpassen van de hele modelarchitectuur.
2. Vertraagde feedback (Delayed Feedback): Bij meervoudige stap-voorspellingen (multi-step forecasting) is de werkelijke waarde ($y_t$) pas beschikbaar na $k$ tijdstappen. Dit betekent dat de gradiënt die gebruikt wordt voor updates op tijdstip $t$, gebaseerd is op een voorspelling die $k$ stappen geleden is gedaan. Deze vertraging leidt tot onbetrouwbare gradiënten en instabiel leren.

Methodologie: ADAPT-Z

De auteurs stellen ADAPT-Z (Automatic Delta Adjustment via Persistent Tracking in Z-space) voor, een nieuwe paradijm voor online aanpassing die zich richt op de feature-ruimte in plaats van de modelparameters.

Kernconcepten:

• Feature-Space Adaptatie: Het model wordt opgesplitst in een encoder ($f$) en een voorspellingshoofd ($g$). In plaats van $g$ of de encoder zelf te updaten, wordt een correctieterm $\delta_t$ toegevoegd aan de feature-representatie $z_t$ van de encoder. De voorspelling wordt dan $g(z_t + \delta_t)$.
• Adapter Module: Een klein neurale netwerk (een MLP) wordt gebruikt om $\delta_t$ te voorspellen. Deze adapter neemt twee inputs:
  1. De huidige feature-representatie $z_t$.
  2. Historische gradiënten berekend op basis van eerdere batches.
• Dubbel-pad Structuur: Omdat de schaal van gradiënten vaak veel kleiner is dan die van features, gebruikt de adapter twee aparte lineaire lagen om de inputs onafhankelijk te transformeren voordat ze worden samengevoegd.
• Oplossing voor Vertraagde Feedback: Door de adapter te trainen om $\delta_t$ direct te voorspellen op basis van de huidige features $z_t$ (die direct beschikbaar zijn), wordt het probleem van de vertraging omzeild. De adapter leert de relatie tussen de contextuele features en de benodigde correctie, zelfs als de grondwaarheid pas later binnenkomt.
• Online Update: Tijdens de deploy-fase worden de parameters van de adapter continu bijgewerkt via online gradient descent, waarbij gebruik wordt gemaakt van een batch van recente data om de variatie in gradiëntschattingen te verminderen.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Een verschuiving van het bijwerken van modelparameters naar het aanpassen van feature-representaties, gebaseerd op het inzicht dat distributieveranderingen voortkomen uit veranderende latente factoren.
2. Eenvoud en Effectiviteit: Het paper toont aan dat zelfs een eenvoudige online gradient descent op feature-niveau (fOGD) al beter presteert dan complexe parameter-update methoden.
3. ADAPT-Z Architectuur: Een lichtgewicht methode die historische gradiënten en huidige features fuseert om het probleem van vertraagde feedback in multi-step forecasting op te lossen.
4. "Learn-to-Adapt" Fenomeen: De auteurs ontdekten dat het vooraf trainen van de adapter met feature-gradiënten (zonder online updates tijdens deploy) al leidt tot betere prestaties. Dit suggereert dat modellen kunnen leren hoe ze zich moeten aanpassen aan veranderingen, zelfs zonder dynamische parameterupdates.

Resultaten

De methode is getest op 13 diverse datasets (waaronder ETT, PEMS, weer, verkeer, elektriciteit) en drie basismodellen (iTransformer, SOFTS, TimesNet).

• Superieure Prestaties: ADAPT-Z overtreft consistent state-of-the-art online learning methoden (zoals DSOF, SOLID, ADCSD, Proceed) en de oorspronkelijke modellen zonder aanpassing.
• Verbetering: De foutreductie (MSE) varieert van ongeveer 1% tot meer dan 25% afhankelijk van de dataset. Bijvoorbeeld, op de ETTm1 dataset werd een verbetering van 12,42% behaald, en op de solar dataset 12,61%.
• Robuustheid: De methode werkt goed over verschillende voorspellingshorizons (1, 24, 48 stappen) en is compatibel met bestaande normalisatiemethoden (zoals DishTS en FAN), waarbij de combinatie vaak de beste resultaten oplevert.
• Efficiëntie: Hoewel er een kleine overhead is door het berekenen van batch-gradiënten, is ADAPT-Z geheugenefficiënter dan methoden die de volledige modelparameters updaten (zoals OGD), omdat de encoder niet hoeft te worden bijgewerkt.

Betekenis en Impact

Dit paper biedt een fundamenteel nieuw perspectief op online tijdreeksvoorspelling. Het daagt de conventionele wijsheid uit dat complexe aanpassingsmechanismen of het bijwerken van zware modelparameters nodig zijn om met distributieveranderingen om te gaan. Door te focussen op de feature-ruimte en de latente factoren die de data genereren, biedt ADAPT-Z een robuuste, schaalbare en effectieve oplossing voor non-stationaire omgevingen.

De bevindingen hebben belangrijke implicaties voor:

• Real-time systemen: Waar snelle en stabiele aanpassing essentieel is (bijv. verkeerssturing, energienetwerken).
• Onderzoek: Het opent de deur voor verder onderzoek naar het optimaliseren van feature-extractie en het begrijpen van "learn-to-adapt" mechanismen in diepe leermodellen.
• Praktische toepassing: Het biedt een plug-in oplossing die werkt met bestaande state-of-the-art modellen zonder de noodzaak voor ingewikkelde architecturale wijzigingen.