Stel je voor dat je de toekomst probeert te voorspellen, maar in plaats van het weer of de aandelenmarkt te raden, kijk je naar een lange, kronkelende lijn van getallen die in de loop van de tijd veranderen. Dit wordt tijdreeksvoorspelling (time series forecasting) genoemd. Decennialang hebben wetenschappers wiskundige trucjes en eenvoudige computerprogramma's gebruikt om te raden wat er nu volgt. Maar onlangs is er een nieuw soort superintelligent computerbrein gearriveerd: een foundation model. Denk aan deze modellen als een meesterkok die elke gerecht ter wereld heeft geproefd. In plaats van te leren koken voor slechts één recept (zoals het voorspellen van het elektriciteitsverbruik), leert het de "taal" van álle recepten tegelijkertijd. Dit stelt het in staat om de toekomst van elk nieuw gerecht dat het nog nooit heeft gezien te voorspellen, simpelweg door naar een paar ingrediënten te kijken. Dit wordt zero-shot forecasting genoemd. Maar er is een addertje onder het gras: om deze meesterkok te worden, moeten deze modellen meestal gigantisch zijn, wat enorme computers en enorme hoeveelheden elektriciteit vereist om te draaien. Ze zijn als een enorme, brandstofverslindende vrachtwagen die veel lading kan vervoeren, maar onmogelijk door een smalle stadstraat te rijden is.

Dit artikel introduceert Reverso, een nieuwe familie van tijdreeksmodellen die een simpele vraag stelt: Hebben we echt een enorme vrachtwagen nodig om het pakketje te bezorgen, of kunnen we een gestroomlijnde, efficiënte motorfiets bouwen die net zo snel gaat? De auteurs, een team van onderzoekers, stellen dat de huidige obsessie met het steeds groter maken van modellen misschien de plank misslaat. Ze suggereren dat het geheim van een goed tijdreeksmodel niet alleen de brute grootte is, maar hoe slim het model naar de data kijkt. Ze hebben Reverso gebouwd om klein te zijn — sommige versies hebben slechts een paar honderdduizend parameters (de "hersencellen" van het model) — en toch presteren ze net zo goed als de massieve reuzen met miljarden parameters. Het artikel suggeregt dat we, door een paar slimme trucjes te gebruiken, deze modellen klein genoeg kunnen maken om te draaien op alledaagse apparaten, zoals een laptop of zelfs een telefoon, zonder hun vermogen om de toekomst nauwkeurig te voorspellen te verliezen.

Het probleem met enorme modellen

In de wereld van kunstmatige intelligentie is er een populaire gedachte dat "groter beter is". Als je wilt dat een model slim is, geef je het gewoon meer data en meer hersencellen. Dit heeft wonderen verricht voor taal en visie, wat leidde tot enorme modellen die essays kunnen schrijven of katten kunnen herkennen. Maar voor tijdreeksen heeft deze aanpak geleid tot modellen die honderden miljoenen hersencellen groot zijn. Hoewel ze goed zijn in het voorspellen van de toekomst, zijn ze een drama in gebruik. Ze zijn te zwaar om op kleine apparaten te draaien, te duur om te trainen en te traag om in realtime situaties te gebruiken. Het is alsof je een walsenroller probeert te gebruiken om een fietsband te repareren; het werkt wel, maar het is volkomen inefficiënt.

De auteurs van dit artikel besloten een ander pad in te slaan. In plaats van het model alleen maar groter te maken, vroegen ze: Hoe kunnen we het model slimmer maken in de manier waarop het naar de data kijkt? Ze wilden een model bouwen dat "parameter-efficiënt" is, wat betekent dat het het meeste rendement haalt uit elke parameter. Ze wilden niet alleen een klein model; ze wilden een klein model dat nog steeds kan concurreren met de reuzen.

Het Reverso-recept: Drie magische trucs

Om Reverso te bouwen, hebben de auteurs een eenvoudig recept samengesteld. Denk aan het bereiden van een maaltijd waarbij je niet zoma van alles in een pot gooit, maar het op een manier bereidt die de beste smaken naar boven brengt.

1. De "Zoomlens"-strategie (Multi-scale Input)
Stel je voor dat je naar een lange weg kijkt. Als je alleen van heel dichtbij naar de weg kijkt, zie je de scheuren in het asfalt. Als je van heel ver weg kijkt, zie je de hele snelweg, maar mis je de details. De meeste modellen proberen de weg vanuit slechts één afstand te bekijken. Reverso gebruikt echter een "zoomlens". Het neemt dezelfde tijdreeksdata en bekijkt deze door vier verschillende lenzen tegelijkertijd:

• Eén lens ziet de data zoals ze is (hoge detailgraad).
• Eén lens slaat elke andere waarde over (gemiddelde detailgraad).
• Eén lens slaat elke derde waarde over (lage detailgraad).
• Eén lens slaat nog meer over (zeer lage detailgraad).

Door het model deze vier verschillende "weergaven" van dezelfde data tegelijkertijd te voeden, kan het model patronen leren die snel gebeuren (zoals een plotselinge piek) en patronen die langzaam gebeuren (zoals een seizoensgebonden trend), allemaal tegelijkertijd. Dit is als het hebben van een team van vier detectives, die elk de plaats delict vanuit een andere hoek bekijken, en vervolgens hun aantekeningen combineren. Deze truc stelt het model in staat om langetermijnpatronen te begrijpen zonder dat het tegelijkertijd een enorme hoeveelheid data moet onthouden.

2. De "Hybride Motor" (Sequence Mixing)
Zod Od het model de data heeft, moet het deze verwerken. De meeste modellen gebruiken een methode genaamd "attention" (aandacht), wat een soort spotlight is die de hele geschiedenis van de data scant om te vinden wat belangrijk is. Het is krachtig, maar traag en zwaar. Reverso gebruikt een hybride motor die schakelt tussen twee verschillende soorten verwerking:

• Lange convoluties (Long Convolutions): Dit zijn als een bewegend venster dat de data scant om herhalende patronen te vinden, vergelijkbaar met hoe een ritmesectie in een band de maat aanhoudt.
• DeltaNet-lagen: Dit is een type "lineaire recurrente" laag. Denk aan hen als een geheugenbank die zichzelf constant bijwerkt en de belangrijkste zaken onthoudt zonder de hele geschiedenis opnieuw te hoeven lezen.

De auteurs ontdekten dat het mengen van deze twee — het gebruik van het "bewegende venster" voor sommige delen en de "geheugenbank" voor andere delen — het ideale evenwicht was. Het was sneller en lichter dan alleen de zware spotlight (attention) of alleen de geheugenbank gebruiken. Het is als het rijden in een auto die zowel een turbocharger voor snelheid als een hybride batterij voor efficiëntie heeft.

3. De "Slimme Decoder" (Attention Head)
Ten slotte, nadat het model de data heeft verwerkt, moet het een voorspelling doen. Reverso gebruikt een speciale "decoder" aan het einde die een lichtgewicht vorm van aandacht gebruikt. Dit is het deel dat daadwerkelijk zegt: "Op basis van alles wat ik heb gezien, denk ik dat dit er nu gaat gebeuren." De auteurs ontdekten dat dit specifieke type decoder veel beter in staat was om nauwkeurige voorspellingen te doen dan een simpele, botte berekening.

De resultaten: Klein maar machtig

Het team trainde drie versies van Reverso: een minuscule versie (200.000 parameters), een kleine versie (550.000 parameters) en een standaardversie (2,6 miljoen parameters). Vervolgens testten ze deze modellen tegen de grootste, zwaarste modellen ter wereld, waarvan sommige meer dan een miljard parameters hebben.

De resultaten waren verrassend. Op de Gift-Eval benchmark (een enorme test voor voorspellingsvaardigheden over veel verschillende soorten data) behaalde het standaard Reverso-model een score van 0,706. Dit is ongelooflijk competitief. Het presteerde net zo goed als modellen die 100 tot 1.000 keer groter zijn.

• Het versloeg modellen zoals FlowState (2,6M parameters) en Tiny-Time Mixers (1M parameters).
• Het kwam zeer dicht in de buurt van reuzen zoals TimesFM-2.5 (200M parameters) en Xihe-Max (1,5B parameters).

Maar de echte magie zat niet alleen in de nauwkeurigheid; het was ook de snelheid en het geheugengebruik. Omdat Reverso zo klein is, draait het veel sneller en gebruikt het veel minder geheugen. De auteurs maten de "inference latency" (de tijd die nodig is om een voorspelling te doen) en vonden dat Reverso aanzienlijk sneller was dan de massieve modellen. Het is als het vergelijken van een sportwagen met een goederentrein: de trein kan veel dragen, maar de sportwagen brengt je veel sneller op je bestemming en verbruikt minder brandstof.

Wat Reverso wel (en niet) kan

Het paper laat zien dat Reverso uitstekend is in zero-shot forecasting (het voorspellen van de toekomst zonder voorafgaande training op die specifieke data), classificatie (het sorteren van data in categorieën) en anomaliedetectie (het opsporen van vreemde, onverwachte gebeurtenissen). Bijvoorbeeld, in tests om anomalieën te vinden, detecteerde Reverso meer vreemde gebeurtenissen dan andere modellen, zelfs toen de drempel voor wat "vreemd" is, erg streng was.

De auteurs zijn echter eerlijk over de beperkingen.

• Het is vooral bedoeld voor enkelvoudige datalijnen: Reverso is momenteel getraind als een "univariant" model, wat betekent dat het naar één lijn met getallen tegelijk kijkt. Het kan nog niet zo goed omgaan met meerdere lijnen met data die van elkaar afhankelijk zijn (multivariaat) als de gigantische modellen die complexe aandachtsmecanismen gebruiken.
• Korte sequenties zijn lastig: Hoewel Reverso geweldig is in langetermijnvoorspellingen, loopt het soms achter op de reusachtige modellen wanneer de data erg kort is.
• Het voorspelt getallen, geen waarschijnlijkheden: Reverso geeft één beste gok (een puntvoorspelling). Het vertelt je niet van nature hoe zeker het is (zoals "Ik ben 90% zeker dat het gaat regenen"). De auteurs suggereren dat je deze functie later zou kunnen toevoegen, maar het zit er nog niet in gebouwd.

Waarom dit ertoe doet

De belangrijkste les van Reverso is dat grootte niet alles is. Het paper suggereert dat voor veel real-world taken de flessenhals niet de grootte van het model is, maar hoe goed het is ontworpen. Door een slimme mix van multi-scale inputs en hybride verwerking te gebruiken, kun je een model bouwen dat klein genoeg is om op een laptop of telefoon te draaien, maar slim genoeg om te concurreren met supercomputers.

Dit is een grote zaak, want het betekent dat we misschien niet steeds grotere modellen hoeven te bouwen die enorme datacenters vereisen. In plaats daarvan kunnen we efficiënte, compacte modellen bouwen die overal kunnen worden ingezet — op je smartwatch, in een zelfrijdende auto of in een afgelegen weerstation. De auteurs concluderen dat zorgvuldig ontwerp de "prestatie-efficiëntie-grens" kan verschuiven, waardoor krachtige AI toegankelijk wordt voor iedereen, niet alleen voor degenen met onbeperkte rekenkracht.

Kortom, Reverso bewijst dat je niet een reus hoeft te zijn om de toekomst helder te zien; je moet alleen weten hoe je er vanuit de juiste hoeken naar kijkt.