TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity

Tijdreeksvoorspelling is de kunst van het voorspellen wat er volgt in een stroom van gegevens die over de tijd verandert. Het is de motor achter beslissingen in elektriciteitsnetten, fabrieks vloeren en weerstations, waar weten wat de toekomstige waarde van een signaal zal zijn, systemen in staat stelt om zich voor te bereiden, aan te passen of te waarschuwen. Decennialang vereiste de standaardaanpak een uniek model voor elk afzonderlijk signaal, specifief getraind op die ene stroom getallen. Dit werkte, maar het was zwaar en traag, en vereiste een nieuwe trainingscyclus voor elke nieuwe sensor. Recentelijk is er een nieuwe generatie "foundation models" (fundamentele modellen) opgekomen, die in staat zijn om te leren van een enorme bibliotheek van verschillende signalen en vervolgens ongeziene signalen te voorspellen zonder verdere training. Deze modellen zijn krachtig, maar ze zijn ook massief, vaak met miljoens parameters—de interne instellingen die bepalen hoe het model denkt. Deze omvang maakt het onmogelijk om ze te draaien op de kleine, energiezuinige chips die in alledaagse apparaten zitten, waar ingenieurs een voorspelling nodig hebben die zowel accuraat als lichtgewicht genoeg is om in een piepkleine geheugenruimte te passen.

Een onderzoeker bij RAWS Labs heeft een nieuw model geïntroduceerd genaamd TinyCast, ontworpen om dit specifieke probleem op te lossen. Ze stelden een eenvoudige vraag: hoe klein kan een probabilistische voorspeller zijn als het toegestaan wordt om een beetje wiskunde te gebruiken om patronen te vinden in plaats van ze vanaf nul te leren? Het antwoord dat ze vonden, is een model met slechts 146.505 parameters, een omvang die zo klein is dat het de kleinste zero-shot voorspeller ooit geregistreerd op belangrijke benchmarks is. In tegen tegenstelling tot zijn grotere neven, die proberen het ritme van seizoenen en cycli te onthouden door miljarden berekeningen, berekent TinyCast de dominante ritmes direct vanuit de data die het ziet. Het vouwt de data vervolgens rond deze ritmes, waardoor het model zijn kleine hoeveelheid leervermogen kan richten op de rest van het patroon. Het resultaat is een systeem dat volledig op een enkele microcontrollerchip kan draaien, waarbij het een volledig bereik van mogelijke toekomstige uitkomsten produceert in plaats van slechts één enkele gok, en dat alles zonder dat het voor elk nieuw signaal opnieuw getraind hoeft te worden.

Het kernidee achter TinyCast is dat het op een zeer kleine schaal efficiënter is om de periodiciteit van een signaal te meten dan om een neuraal netwerk te leren deze te ontdekken. Periodiciteit is simpelweg de herhalende cyclus in data, zoals de dagelijkse stijging en daling van het elektriciteitsverbruik of het wekelijkse patroon van het verkeer. In grotere modellen moet de computer deze cycli leren door duizenden voorbeelden te zien. TinyCast gebruikt echter een zero-parameter spectrale detector, een wiskundig hulpmiddel dat de datastroom analyseert om de sterkste herhalende frequenties direct te vinden. Dit hulpmiddel vereist geen geheugen om op te sllaan en geen training om te leren; het berekent simpelweg het ritme. Zodra het model de periode kent, vouwt het de context van de data om dat ritme, waardoor de datapunten worden uitgelijnd alsof ze in een cyclus op elkaar gestapeld zijn. Dit proces draagt effectief de belangrijkste structuur van het probleem gratis aan het model over, waardoor de beperkte hoeveelheid leerbare parameters overblijft om de meer complexe, onregelmatige delen van het signaal aan te pakken die de wiskunde niet kan voorspellen.

De architectuur van het model is volledig gebouwd uit operaties die vriendelijk zijn voor de beperkingen van embedded hardware. Het vermijdt de complexe aandachtmechanismen (attention mechanisms) die door grotere modellen worden gebruikt, welke moeilijk uit te voeren zijn op kleine chips. In plaats daarvan gebruikt het een reeks gedilateerde convoluties (dilated convolutions), een type filter dat naar de data kijelt op toenemende afstanden om langetermijnpatronen te vangen zonder dat er een enorme hoeveelheid geheugen nodig is. Het model verwerkt data in blokken en voorspelt een set van negen verschillende mogelijke uitkomsten, bekend als kwantielen, voor de volgende 48 stappen. Deze kwantielen vertegenwoordigen een volledige waarschijnlijkheidsverdeling, die de gebruiker niet alleen vertelt wat de volgende waarde zou kunnen zijn, maar ook hoe zeker het model is over die voorspelling. Dit is een cruciaal onderscheid, aangezien besturingssystemen en alarmdrempels vaak vertrouwen op het begrijpen van de reikwijdte van de onzekerheid, in plaats van slechts een enkel punt van schatting. Het hele systeem is ontworpen om in een vaste geheugenwindow te draaien, wat betekent dat het geheugengebruik niet groeit naarmate de voorspellingshorizon zich uitstrekt, wat het stabiel en voorspelbaar maakt voor real-time toepassingen.

In tests bleek TinyCast opmerkelijk competitief ondanks zijn minuscule voetafdruk. Op de GIFT-Eval benchmark, een standaardtest voor tijdreeksvoorspelling, presteerde het beter dan elk ander zero-shot model dat gemeten kon worden voor grootte, en het was het enige model onder de 1,4 miljoen parameters dat er in staat was om een volledige voorspellende distributie uit te zenden. Hoewel andere modellen met aanzienlijk meer parameters, waarvan sommige tot wel 28 keer zoveel instellingen bevatten, iets betere scores behaalden, definieerde TinyCast een nieuwe grens waar grootte en nauwkeurigheid elkaar ontmoeten. Het bewees dat door de periodieke structuur expliciet te berekenen, het model een hoge nauwkeurigheid kon bereiken zonder het enorme computationele budget dat gewoonlijk vereist is. De onderzoeker toonde ook aan dat het model gecomprimeerd kan worden naar een 8-bit integer formaat, waardoor het op een standaard embedded ontwikkelbord kan draaien zonder externe netwerk of hostcomputer.

De implementatie van dit model op een fysiek apparaat benadrukte het praktische nut ervan. De onderzoeker slaagde erin het model succesvol te draaien op een STM32H753 microcontroller, een veelgebruikte chip in industriële en consumentenelektronica. Het hele systeem, inclus_ief de modelgewichten en de noodzakelijke runtime, paste in het geheugen van het apparaat en verbruikte slechts ongeveer 138 kilobytes aan opslag. Het model kon een volledige context van data verwerken en een voorspelling genereren in net meer dan vier seconden, een snelheid die voldoende is voor veel real-time monitoringtaken. Cruciaal was dat dit gebeurde zonder per-signaal fitting, wat betekent dat hetzelfde firmware-image gedeployed kan worden naar een vloot van apparaten, waarbij elk een ander type sensor monitort, en dat het direct werkt. Dit elimineert de noodzaak om historische data te verzamelen en een aangepast model te trainen voor elk afzonderlijk apparaat, een proces dat vaak te duur en te tijdrovend is voor grootschalige implementaties.

De onderzoeker onderzocht ook wat er gebeurt als het model wordt gestript van zijn periodiciteitsdetector. Toen zij het model hertrainden zonder deze component, daalde de nauwkeurigheid, wat bevestigde dat de expliciete berekening van cycli een essentieel onderdeel van het succes was. Zij ontdekten dat de detector niet alleen een nuttige toevoeging was, maar een noodzakelijke, die een signaal leverde waar het model op vertrouwde om zijn voorspellingen uit te lijnen. Bovendien testte zij het model tegen diverse interventies, zoals het voeden van vooraf berekende voorspellingen in plaats van het model zelf de ritme te laten berekenen, en vond dat deze benaderingen minder goed werkten. De kracht van het model lag in zijn vermogen om het ritme uit de ruwe data te meten en vervolgens zijn geleerde parameters te gebruiken om de voorspelling te verfijnen, in plaats van te proberen het ritme vanaf nul te leren of te vertrouwen op externe berekeningen.

Het succes van TinyCast suggereert een verschuiving in hoe we denken over het bouwen van kleine, efficiënte modellen. Het daagt de opvatting uit dat een model alles uit data moet leren om effectief te zijn. In plaats daarvan laat het zien dat het bij kleine budgetten vaak beter is om de ontdekking van bekende structuren, zoals seasonaliteit, uit te besteden aan vaste wiskundige berekeningen. Dit bevrijdt de beperkte capaciteit van het model om zich te concentreren op de onvoorspelbare elementen van het signaal. De onderzoeker merkte op dat deze aanpak niet beperkt is tot tijdreeksen; elke structuur die gemeten kan worden in plaats van geleerd, kan expliciet berekend worden om capaciteit terug te geven aan de geleerde parameters. In het geval van TinyCast maakte deze afweging het model klein genoeg om op een microcontroller te passen, terwijl het nog steeds de rijke, probabilistische voorspellingen kon bieden die grotere, complexere modellen doorgaans bieden.

De implicaties van dit werk reiken verder dan alleen tijdreeksvoorspelling. Het demonstreert dat het mogelijk is om geavanceerde, foundation-model-achtige capaciteiten naar de rand van het netwerk (the edge) te brengen, waar data wordt gegenereerd en directe actie vereist is. Door een eenvoudige, expliciete berekening van periodiciteit te combineren met een lichtgewicht neuraal netwerk, heeft de onderzoeker een hulpmiddel gecreëerd dat zowel krachtig als praktisch is. Het biedt een pad vooruit voor het implementeren van intelligente voorspelling in omgevingen waar stroom, geheugen en connectiviteit beperkt zijn, waardoor apparaten slimmere beslissingen kunnen nemen zonder data naar de cloud te hoeven sturen of te wachten op een aangepaste trainingscyclus. Het model dient als een bewijs van concept dat met de juiste ontwerpkeuzes de kloof tussen high-performance forecasting en embedded beperkingen overbrugd kan worden.