Stel je voor dat je de toekomst probeert te voorspellen. Niet het lot van het universum, maar iets veel praktischer: hoeveel elektriciteit een stad morgen nodig zal hebben, hoeveel paraplu's een winkel op voorraad moet houden, of hoe het verkeer over een druk kruispunt zal stromen over een uur. Dit is de wereld van tijdreeksvoorspelling (time series forecasting). Decennialang hebben experts wiskundige recepten gebruikt om deze getallen te raden, maar de wereld is rommelig en oude recepten falen vaak wanneer de data vreemd of ingewikkeld wordt.

Onlangs is er een nieuw soort "superleerling" gearriveerd, geïnspireerd door dezelfde technologie die computers in staat stelt om poëzie te schrijven en te chatten als mensen. Dit zijn Foundation Models. Denk aan hen als een meesterkok die elke gerecht ter wereld heeft geproefd. In plaats van te leren om slechts één specifiek gerecht te koken (zoals de soep van één specifiek restaurant), leert deze chef de algemene regels van smaak, hitte en ingrediënten van miljoenen verschillende recepten. Eenmaal getraind, kan deze chef een keuken binnenlopen die hij nog nooit heeft gezien en een degelijk gerecht bereiden zonder een specifiek recept voor dat exacte gerecht nodig te hebben. Dit wordt zero-shot learning genoemd: een voorspelling doen op data die het model nog nooit heeft gezien, simpelweg door gebruik te maken van wat het heeft geleerd tijdens zijn "trainingskamp".

Maar hier is de grote vraag: is het beter om deze meesterkok in een nieuwe keuken te sturen en hem alleen te laten werken, of moeten we hem een korte, specifieke les geven over de specifieke eigenaardigheden van deze keuken voordat hij begint met koken? Dit is de kern van het nieuwe paper van Morad Laglil en zijn team. Ze willen weten of het nemen van deze gigantische, vooraf getrainde tijdreeksmodellen en ze een beetje extra training geven op specifieke data (genaamd fine-tuning) ze daadwerkelijk betere voorspellers maakt, of dat het ze juist in de war brengt.

Het Grote "Fine-Tuning" Experiment

De auteurs van dit paper besloten dit idee op de proef te stellen. Ze namen twee van de krachtigste "meesterchef"-modellen die beschikbaar zijn — Chronos 2 en TTM-R3-PT — en onderwierpen hen aan een rigoureus trainingskamp. Ze lieten ze niet alleen maar gokken; ze probeerden verschillende manieren om hen specifieke taken te leren.

Ze testten drie hoofdaanpakken:

1. Zero-Shot: Het model probeert de toekomst te voorspellen met alleen zijn algemene training, zonder extra hulp.
2. Full Fine-Tuning: Ze namen het volledige model en trainden het vanaf nul opnieuw op de nieuwe data, waarbij elke enkele waarde in de hersenen werd bijgewerkt.
3. Parameter-Efficient Fine-Tuning (LoRA): In plaats van de hele hersenen te herschrijven, voegden ze een kleine, lichtgewicht "adapter"-laag toe. Het is also benadering als het geven van een specifieke spiekbrief voor de nieuwe keuken aan de chef, zonder zijn fundamentele kookvaardigheden te veranderen.

Ze testten deze methoden op een enorme collectie van 15 verschillende datasets, variërend van weerpatronen en elektriciteitsverbruik tot ziekenhuisopnames en verkoopcijfers. Het doel was simpel: zien welke methode de foutmarge daadwerkelijk verlaagde en betere voorspellingen maakte.

De Resultaten: Grootte en Context Doen Er Toe

De resultaten waren verrassend en leerden de onderzoekers een waardevolle les over de grootte van het model en de data waarmee het te maken krijgt.

Voor het gigantische model (Chronos 2):
Dit model is enorm, met 120 miljoen parameters. Toen de onderzoekers probeerden om het te "Full Fine-Tunen" (het herschrijven van de hele hersenen) op kleinere datasets, werkte het averechts. Het model raakte in de war en begon te "overfitten", wat lijkt op een student die de antwoorden op de oefentoets zo perfect uit het hoofd leert dat hij de echte toets niet kan maken omdat hij een iets andere vraag krijgt.

• De Winnaar: De LoRA-methode (de kleine adapter) was de duidelijke kampioen voor Chronos 2 op middelgrote en grote datasets. Door slechts een kleine, flexibele laag toe te voegen, kon het model zich aanpassen aan de nieuwe data zonder de algemene kennis te vergeten. Het verbeterde de nauwkeurigheid, hoewel de winst bescheiden was (rond de 2-3%) op grotere datasets, en het was cruciaal om de prestatievermindering te voorkomen die optrad bij full fine-tuning.
• De Les: Voor massieve modellen hoef je niet het hele boek te herschrijven; je hebt alleen een paar plaknotities nodig. Echter, op zeer kleine datasets presteerde het gigantische model vaak het beste zonder enige fine-tuning.

Voor het kleinere model (TTM-R3-PT):
Dit model is veel compacter, met slechts 1 miljoen tot 36 miljoen parameters. Het was al klein genoeg zodat het geen fancy adapter nodig had.

• De Winnaar: Full Fine-Tuning werkte hier het best. Omdat het model kleiner was, kon het de updates van al zijn eigen gewichten aan zonder in de war te raken. De "adapter"-methode (LoRA) hielp niet veel en maakte het soms zelfs slechter.
• De Les: Voor kleinere modellen is een volledige workout vaak beter dan een snelle stretch.

De "One Size Does Not Fit All"-regel

Het paper ontdekte ook dat de beste strategie sterk afhangt van het type data, hoeveelheid data en het specifieke domein.

• Kleine Datasets: Als je slechts een kleine hoeveelheid data hebt (zoals een paar dagen aan weergegevens), is Zero-Shot (het model op zijn eigen gemak laten gokken) vaak de veiligste keuze. Het proberen te fine-tunen van een gigantisch model op te weinig data is als het proberen te leren aan een PhD-student een nieuw onderwerp door hem slechts drie flashcards te laten zien; hij zal het waarschijnlijk fout doen. Sterker nog, voor Chronos 2 op kleine datasets leidde fine-tuning zelfs tot een verslechtering van de prestaties.
• Grote Datasets: Wanneer er veel data is, verslaat fine-tuning vaak het gokken, maar het is geen gegarandeerde overwinning. Het paper liet zien dat voor het kleinere TTM-model zero-shot inferentie nog steeds beter presteerde dan fine-tuning in verschillende specifieke configuraties, zelfs op grotere datasets.
• Verschillende Domeinen: De modellen gedroegen zich anders afhankelijk van het onderwerp. Bijvoorbeeld in het "Nature"-domein (zoals rivierstanden of het weer) was het gigantische model al zo goed in gokken dat fine-tuning het zelfs slechter maakte. Maar in "Transport" (zoals verkeer) hielp fine-tuning beide modellen aanzienlijk.

De Kern van de Zaak

Het paper concludeert dat hoewel foundation models krachtige instrumenten zijn die de toekomst kunnen voorspellen zonder specifieke training, fine-tuning een krachtig hulpmiddel is om ze nog beter te maken — maar alleen als je het juiste recept kiest voor de juiste situatie.

Als je een gigantisch model hebt, gebruik dan de "adapter" (LoRA) methode om het voorzichtig aan te passen, vooral op grote datasets. Als je een kleiner model hebt, mag je het een volledige trainingsessie geven. En als je helemaal niet veel data hebt, of als de data heel specifiek is (zoals natuurpatronen), dan is het misschien veiliger om het model gewoon zijn best te laten doen met een gewone gok, zonder inmenging.

Dit onderzoek suggereert dat we bewegen naar een nieuwe generatie voorspellingen waarbij we niet voor elk probleem een nieuw model hoeven te bouwen. In plaats daarvan kunnen we één groot, slim model gebruiken en het een korte, op maat gemaakte les geven om bijna elk tijdgebonden puzzelstukje op te lossen, van het voorspellen van de volgende aandelenkoers tot het plannen van de volgende busroute in de stad. De toekomst van voorspelling gaat niet alleen over het hebben van een groter brein; het gaat erom hoe je het de juiste lessen leert.