Using dynamic loss weighting to boost improvements in forecast stability

Stel je voor dat je een weervoorspeller bent die de temperatuur voor volgende week probeert te voorspellen. Elke ochtend krijg je een nieuw datapunt — een verse temperatuurmeting van gisteren. Natuurlijk werk je je voorspelling voor aanstaande dinsdag bij. Maar hier komt de adder onder het gras: elke keer dat je een update doet, kan je voorspelling voor volgende dinsdag wild omhoog of omlaag springen. De ene dag zeg je dat het 70°F zal zijn, de volgende dag 65°F, dan weer 72°F. Dit constante gewiebel wordt "voorspellingsinstabiliteit" genoemd. Het is irritant voor iedereen die een picknick of een toeleveringsketen wil plannen, omdat ze de cijfers niet kunnen vertrouwen om op hun plek te blijven.

Wetenschappers proberen computermodellen te bouren die niet alleen accuraat zijn (de temperatuur goed krijgen) maar ook stabiel (hun verhaal vasthouden). Recentelijk ontdekten onderzoekers een manier om deze modellen te leren iets stabieler te zijn door een "stabiliteitsstraf" toe te voegen aan hun training. Denk aan een leraar die tegen een leerling zegt: "Krijg niet alleen het juiste antwoord, maar verander ook niet elke keer je antwoord als je een nieuwe hint krijgt." Echter, de oude methode om dit te onderwijzen was een beetje rigide. Het gebruikte een vast regelboek dat zei: "Geef 10% aandacht aan stabiliteit en 90% aan accuratesse," en die verhouding veranderde nooit tijdens het hele trainingsproces.

Dit artikel stelt een simpele, nieuwsgierige vraag: Wat als we het regelboek dynamisch maken? Wat als de computer kan leren om eerst op accuratesse te focussen, en pas begint te zorgen over stabiliteit zodra hij de basis onder de knie heeft? De auteurs, een team van KU Leuven, testten dit idee met behulp van een krachtig voorspellingsmodel genaamd N-BEATS. Ze probeerden verschillende "dynamische loss-wegingstechnieken" uit — methoden die de computer laten schuiven met de belangrijkheid van accuratesse versus stabiliteit terwijl hij leert. Ze ontdekten dat door het model toe te staan zijn eigen prioriteiten on the fly aan te passen, ze voorspellingen konden krijgen die net zo accuraat waren, maar veel minder wiebelig dan voorheen. Het is alsof je een leerling leert om te stoppen met aan zichzelf te twijfelen zodra hij de les beheerst, wat resulteert in voorspellingen waar mensen daadwerkelijk op kunnen vertrouwen.

Het Verhaal van de Wiebelige Voorspelling

In de wereld van tijdreeksvoorspellingen zijn computers als kristallen bollen die naar het verleden kijken om de toekomst te raden. Maar deze kristallen bollen hebben een slechte gewoonte: ze zijn wispelturig. Wanneer er nieuwe gegevens arriveren, kan het model volledig van gedachten veranderen over wat het voor volgende week voorspelde. Dit staat bekend als rolling origin forecast instability. Stel je voor dat je een feestje plant. Als je vriend zegt: "Ik denk dat er 10 mensen komen," en vijf minuten later zegt: "Eigenlijk, misschien wel 20," en een uur later: "Wacht, misschien wel 5," dan zou je behoorlijk gefrustreerd zijn. Je hebt een voorspelling nodig die betrouwbaar genoeg is om de juiste hoeveelheid pizza te bestellen.

Lange tijd was het doel simpelweg om de voorspelling zo accuraat mogelijk te maken. Maar in de echte wereld is accuratesse niet het enige dat telt. Als een voorspelling te veel rondspringt, stoppen mensen met het vertrouwen ervan. Ze kunnen beginnen met het maken van hun eigen aanpassingen op basis van hun "onderbuikgevoel", wat de voorspelling vaak juist minder accuraat maakt. Daarom wilden onderzoekers modellen leren om "stabiel" te zijn zonder hun "accuratesse" te verliezen.

De Oude Manier: Een Statisch Regelboek

Voorheen werd een methode genaamd N-BEATS-S geïntroduceerd om dit op te lossen. Het werkte door de computer een tweeledige huiswerkopdracht te geven:

1. Deel A: Krijg de cijfers goed (Accuratesse).
2. Deel B: Verander je antwoord niet te veel wanneer je nieuwe gegevens krijgt (Stabiliteit).

De computer moest deze twee taken in balans houden. De oude manier om dit te doen was het gebruik van een statische hyperparameter (laten we het $\lambda$ noemen). Dit is een soort draaiknop die de menselijke trainer instelt voordat de computer begint te leren. Als je de draaiknop op 0,025 zet, krijgt de computer te horen: "Hé, focus je voor 97,5% op nauwkeurigheid en slechts 2,geen 2,5% op stabiliteit." Als je het op 0,275 zet, zeg je: "Oké, besteed meer aandacht aan stabiliteit."

Het probleem met deze statische draaiknop is dat deze de hele trainingsperiode in steen gebeiteld staat. De computer krijgt niet de kans om te beslissen wanneer hij waarop moet focussen. Het is alsof je een leerling vertelt: "Besteed 20% van je tijd aan wiskunde en 80% aan geschiedenis," voor het hele semester, zelfs als ze al een wiskundig genie zijn en alleen nog wat geschiedenis moeten oefenen. De onderzoekers vermoedden dat een rigide regelboek de computer kon tegenhouden.

Het Nieuwe Idee: Een Dynamische Dans

De auteurs van dit artikel vroegen zich af: Wat als de computer de draaiknop kan veranderen terwijl hij leert? Dit wordt Dynamic Loss Weighting (DLW) genoemd. In plaats van een vaste regel, krijgt de computer te beslissen: "Oké, op dit moment ben ik slecht in accuratesse, dus ik negeer stabiliteit even. Maar zodra ik goed ben in accuratesse, ga ik me wel zorgen maken over stabiliteit."

Ze testten verschillende bestaande methoden die dit soort dynamische balans aanbrengen, en ze hebben ook een nieuwe methode uitgevonden genaamd Task-Aware Random Weighting (TARW).

• GradNorm: Deze methode probeert ervoor te zorgen dat de computer beide taken met dezelfde snelheid leert. Als hij te snel leert over accuratesse, vertraagt hij dat om zich op stabiliteit te richten.
• Uncertainty Weighting: Deze methode vraagt: "Hoe onzeker ben ik over deze taak?" Als de computer erg onzeker is over stabiliteit, besteedt hij er minder aandacht aan.
• Random Weighting (RW): Dit is een beetje chaotisch. Het kiest elke keer dat de computer een nieuwe batch gegevens leert, gewoon een willekeurig getal tussen 0 en 1 voor de stabiliteitsdraaiknop. Verrassend genoeg werkt deze willekeur vaak goed.
• TARW (De Nieuwe Gast): De auteurs namen het idee van "Random Weighting" en pasten het aan. In plaats van een getal tussen 0 en 1 te kiezen, kozen ze een getal tussen 0 en een specifieke limiet (laten we het $\kappa$ noemen). Dit zorgt ervoor dat de computer nooit te geobsedeerd raakt door stabiliteit en de accuratesse vergeet. Het is als zeggen: "Je mag willekeurig zijn, maar ga niet te gek."

Wat Ze Vonden: Het Zoete Punt

Het team voerde deze experimenten uit op twee enorme datasets van maandelijkse tijdreeksen (de M3- en M4-datasets), die duizenden verschillende tijdreeksen bevatten zoals verkoopcijfers of weergegevens. Ze vergeleken de nieuwe dynamische methoden met de oude statische methode (N-BEATS-S met een vaste draaiknop).

Hier is wat de cijfers hen vertelden:

1. Stabiliteitsboost: Bijna alle dynamische methoden maakten de voorspellingen veel stabieler. De "wiebelingen" in de voorspellingen gingen aanzienlijk omlaag. Op de M4-dataset verminderden sommige methoden de instabiliteitsmetriek (RMSSC) bijvoorbeeld van ongeveer 0,537 (de oude statische methode) naar 0,146 of 0,224. Dat is een enorme daling in jitterigheid.
2. Accuratesse Bleef Stabiel: De grote angst was dat door op stabiliteit te focussen, de computer minder accuraat zou worden. De resultaten lieten zien dat voor de beste methoden de accuratesse bijna exact hetzelfde bleef. Sterker nog, op de M3-dataset produceerde de nieuwe TARW high-methode zelfs voorspellingen die nauwkeuriger waren dan het oude N-BEATS-model, met een score (RMSSE) van 1,082 vergeleken met 1,088.
3. De Winnaar: De TARW-methode (specifiek de "high"-versie) viel op. Het slaagde erin de stabiliteit aanzienlijk te verbeteren zonder de accuratesse te schaden. Het was alsof ze een manier hadden gevonden om de voorspelling zowel rotsvast als super precies te maken.
4. Het "Waarom": Wanneer ze onder de motorkap keken, zagen ze dat de dynamische methoden precies deden wat de auteurs hoopten. Aan het begin van de training focuste de computer sterk op accuratesse. Pas nadat hij daar goed in was, begon hij aandacht te besteden aan stabiliteit. De statische methode probeerde daarentegen vanaf dag één beide taken tegelijk te doen, wat de computer soms in de war bracht of dwong in een "lokaal optimum" (een plek waar de computer vastzit in een stabiele, maar niet erg accurate staat).

De Conclusie

Het artikel suggereert dat we een computer niet hoeven te dwingen om de balans tussen accuratesse en stabiliteit te vinden met een rigide, vooraf ingestelde regel. In plaats daarvan leidt het toestaan van de computer om zijn prioriteiten dynamisch aan te passen — specifiek door eerst de nadruk op accuratesse te leggen en daarna stabiliteit te introduceren — tot betere resultaten.

De auteurs stellen TARW voor als een eenvoudige, effectieve tool hiervoor. Het is in feite een "slimme randomizer" die de computer ervan weerhoudt te vroeg geobsedeerd te raken door stabiliteit. Hoewel de computationele kosten tijdens de training iets hoger zijn (de computer moet een klein beetje extra rekenen om de gewichten aan te passen), zijn de kosten tijdens daadwerkelijk gebruik (inferentie) exact hetzelfde als de oude methoden.

Uiteindelijk suggereert dit onderzoek dat als je een voorspellingssysteem wilt dat mensen kunnen vertrouwen, je het niet alleen accuraat moet vragen te zijn. Je moet het leren om consistent te zijn, maar je moet het die les op het juiste moment laten leren. Door deze dynamische methoden te gebruiken, kunnen we voorspellingen krijgen die niet alleen juist zijn, maar ook betrouwbaar, wat bedrijven en planners behoedt voor de hoofdpijn van voortdurend veranderende cijfers.