Het voorspellen hoe complexe fysieke systemen in de loop van de tijd veranderen, is een van de meest uitdagende taken in de wetenschap. Of het nu gaat om het volgen van de beweging van atomen in een materiaal, de stroming van weerpatronen of het gedrag van kwantumdeeltjes, wetenschappers vertrouwen op computermodellen om de toekomst te voorspellen op basis van waarnemingen uit het verleden. Deze modellen zijn in essentie wiskundige motoren die een momentopname van het heden nemen en deze naar de toekomst projecteren. Decennialang heeft de wetenschappelijke gemeenschap de keuze van de motor zelf — de specifieke computerarchitectuur of het algoritme — grotendeels beschouwd als de meest cruciale beslissing. De heersende aanname was dat als je het krachtigste of meest geavanceerde ontwerp vond, dat de beste keuze zou zijn voor elke situatie, ongeacht hoe de data werden verzameld of hoe de voorspelling werd gebruikt.

De realiteit van wetenschappelijke forecasting is echter veel genuanceerder. Een model bestaat niet in een vacuüm; het opereert binnen een specifieke set regels die bepalen welke informatie het kan zien, hoe het nieuwe data ontvangt en welke beperkingen er worden opgelegd aan de berekeningen ervan. In de echte wereld kan een model worden gevoed met een continue stroom van verse metingen van een sensor, of het kan worden gedwongen om te vertrouwen op zijn eigen eerdere gissingen om de volgende stap te zetten. Deze verschillende operationele omstandigheden, of protocollen, veranderen fundamenteel wat een model moet doen om succesvol te zijn. Als een model uitstekend is in het voorspellen van de volgende seconde op basis van perfecte, verse data, kan het volledig falen wanneer het wordt gevraagd om een lange simulatie uit te voeren met alleen zijn eigen imperfecte gissingen. Dit verschil suggereert dat het verklaren van een enkel "beste" model voor alle wetenschappelijke forecasting onmogelijk is zonder eerst de specifieke omstandigheden te definiëren waaronder dat model zal worden gebruikt.

Een team onderzoekers van Stony Brook University en Westlake University zette zich af tegen dit idee door een nieuw kader te bouwen voor het vergelijken van wetenschappelijke modellen. Ze richtten zich op een specifiek type kwantumsysteem: een ketting van minuscule magneten, bekend als spins, die worden voortgestuwd en getrokken door externe krachten. In hun experimenten simuleerden ze deze systemen met twee, vier en zes spins, waardoor ze een gecontroleerde omgeving creëerden waarin ze precies konden observeren hoe de modellen zich gedroegen. De onderzoekers vergeleken vier verschillende soorten voorspellingsmotoren: een recurrent netwerk dat zich vorige toestanden herinnert zoals een mens een verhaal herinnert, een transformer-gebaseerd model dat patronen over de tijd ziet zoals een lezer een pagina scant, een causaal aandachtmodel dat zich concentreert op de meest recente relevante gebeurtenissen, en een simpel lineair voorspeller die ervan uitgaat dat de toekomst een rechtlijnig verlengstuk van het verleden is.

De kern van hun onderzoek was om te zien of de rangschikking van deze modellen veranderde wanneer de regels van het spel veranderden. Ze draaiden de modellen onder twee zeer verschillende protocollen. In het eerste scenario, bekend als observed-history forecasting, kreeg het model telkens wanneer het een nieuwe voorspelling moest doen, de ware, gemeten staat van het systeem van het voorgaande moment. Het was als een student die een toets maakt waarbij de leraar het juiste antwoord op de vorige vraag geeft voordat de volgende vraag wordt gesteld. In het tweede scenario, genaamd closed-loop forecasting, moest het model zijn eigen eerdere voorspellingen gebruiken als de input voor de volgende stap. Dit is de realiteit van autonome inzet, waarbij het model op eigen kracht moet draaien zonder menselijke tussenkomst, en elke kleine fout die het maakt, teruggekoppeld wordt in het systeem om de volgende voorspelling te beïnvloeden.

De resultaten waren opmerkelijk en zetten het idee van een universele winnaar op zijn grondvesten. Wanneer de onderzoekers de modellen een kleine hoeveelheid trainingsdata gaven, presteerde het model dat zich op causale patronen concentreerde het best. Echter, wanneer zij de hoeveelheid trainingsdata aanzienlijk vergrootten, werd het model dat vertrouwde op het onthouden van het verleden plotseling de superieure keuze. De volgorde van prestaties kantelde volledig op basis van hoeveel informatie de modellen hadden gezien tijdens hun training. Bovendien deed het type beschikbare data er evenveel toe. Wanneer de taak het voorspellen van het gedrag van een groter systeem betrof met slechts enkele lokale metingen, presteerde een simpel lineair model beter dan de complexe deep-learning architecturen. De meest geavanceerde instrumenten waren niet altijd het meest accuraat; hun succes hing volledig af van de specifieke beperkingen van de taak.

De studie onthulde ook dat de waarde van het hebben van een lange geschiedenis van het verleden afhing van hoe het model werd gebruikt. Wanneer het model bij elke stap verse, ware metingen kreeg, hielp een langere geschiedenis van het verleden het om betere voorspellingen te doen. Maar wanneer het model werd gedwongen in een closed loop te draaien, waarbij het zijn eigen gissingen terug in het systeem voedde, maakte een langere geschiedenis de zaken juist slechter. De extra informatie leek fouten te versterken, waardoor het model verder van de realiteit afdrift. Deze bevinding suggereert dat in autonome systemen minder informatie soms kan leiden tot stabielere en accuratere langetermijnvoorspellingen.

Een ander cruciaal ontdekking betrof de relatie tussen fysieke nauwkeurigheid en wiskundige precisie. De onderzoekers voegden regels toe aan de modellen die hen dwongen de wetten van de fysica te volgen, zoals het waarborgen dat de totale energie constant bleef of dat kansen positief bleven. Ze vonden dat hoewel deze regels de modellen succesvol consistenter maakten met de fysica, ze de voorspellingen niet noodzakelijkerwijs nauwkeuriger maakten in termen van standaard foutmetingen. Sterker nog, in veel gevallen maakte het dwingen van het model om fysiek correct te zijn, de numerieke voorspellingen zelfs iets slechter. Dit geeft aan dat fysieke validiteit en voorspellingsnauwkeurigheid gescheiden doelen zijn die niet altijd in dezelfde richting bewegen. Een model kan wiskundig precies zijn maar fysiek onmogelijk, of fysiek consistent maar numeriek onnauwkeurig.

Ten slotte testten de onderzoekers hoe goed deze modellen omgingen met veranderingen in de omgeving. Ze trainden de modellen op data gegenereerd met een specifiek ritme van externe krachten en testten ze vervolgens op data met een sneller, ander ritme. De modellen die waren gekalibreerd om zeer zelfverzekerd te zijn in hun voorspellingen onder de oorspronkelijke condities, verloren bijna al die betrouwbaarheid toen het ritme veranderde. De veiligheidsmarges die ze tijdens de training hadden opgebouwd, verdwenen, waardoor ze niet langer in staat waren betrouwbare voorspellingen te doen in de nieuwe situatie. Dit benadrukt een gevaarlijke kloof: een model dat perfect lijkt in een gecontroleerde testomgeving, kan catastrofaal falen wanneer de echte wereld zelfs maar licht verschuift.

De onderzoekers concludeerden dat er geen enkel beste architectuur bestaat voor wetenschappelijke forecasting. In plaats daarvan moet de keuze van het model direct gekoppeld zijn aan het protocol waarin het wordt ingezet. Een model dat uitblinkt in een datarijke omgeving met verse metingen, kan de verkeerde keuze zijn voor een systeem dat autonoom moet draaien met beperkte data. De studie stelt een nieuwe manier voor om wetenschappelijke modellen te evalueren, waarbij de gebruiksomstandigheden vooraf worden verklaard, en het model wordt geselecteerd op basis van zijn prestaties onder die specifieke regels. Door het protocol als een essentieel onderdeel van het modelselectieproces te beschouwen, kunnen wetenschappers de valkuil vermijden om een universele winnaar na te jagen en in plaats daarvan het juiste instrument te kiezen voor de specifieke taak. Deze aanpak zorgt ervoor dat wanneer een model wordt ingezet om de toekomst van een complex fysiek systeem te voorspellen, het niet alleen een krachtige motor is, maar de juiste motor voor de specifieke weg die het moet afleggen.