Uncertainty propagation in auto-regressive random neural network models

In de moderne wereld van wetenschap en techniek zijn computers onmisbare instrumenten geworden voor het voorspellen van hoe complexe systemen zich zullen gedragen. Van het voorspellen van het weer tot het modelleren van de bloedstroom door een slagader: deze digitale modellen vertrouwen op kunstmatige neurale netwerken, die wiskundige structuren zijn die geïnspireerd zijn op het menselijk brein. Deze netwerken leren patronen te herkennen en voorspellingen te doen door miljoenen interne instellingen, bekend als parameters, aan te passen op basis van enorme hoeveelheden gegevens. Er blijft echter een aanzienlijke uitdaging bestaan: deze modellen zijn zelden perfect. De gegevens die erin worden gevoed, bevatten vaak kleine fouten, en de interne instellingen zelf zijn nooit met absolute zekerheid bekend. In veel real-world scenario's kunnen deze kleine onzekerheden worden versterkt terwijl het model draait, wat leidt tot voorspellingen die wild afwijken van de werkelijkheid of volledig instabiel worden. Wetenschappers zoeken al lang naar manieren om te volgen hoe deze onzekerheden in de loop van de tijd groeien, maar traditionele methoden hebben vaak moeite wanneer het systeem dat wordt gemodelleerd chaotisch is en snel verandert.

Een team onderzoekers aan de University of California, Santa Cruz, heeft een nieuwe manier ontwikkeld om deze onzekerheden door neurale netwerken te volgen, specifiek voor systemen die hun eigen toekomstige stappen voorspellen. Hun aanpak behandelt zowel de invoergegevens als de interne instellingen van het netwerk als variabelen die kunnen fluctueren, in plaats van vaste getallen. Door gebruik te maken van een specifiek type wiskundige functie dat in deze netwerken wordt gebruikt, hebben zij een methode gecreëerd die analytisch kan berekenen hoe onzekerheid zich verspreidt zonder dat daar duizenden afzonderlijke simulaties voor nodig zijn. Ze testten deze methode op twee beruchte, moeilijke systemen: het Lorenz-63 model, een klassiek voorbeeld van chaotisch weerachtig gedrag, en de Kuramoto–Sivashinsky vergelijking, die complexe fluïdumdynamica beschrijft. De resultaten laten zien dat hun techniek de groei van onzekerheid nauwkeurig kan volgen zolang het systeem voorspelbaar blijft, wat een efficiënter en stabieler alternatief biedt voor bestaande methoden.

De kern van het probleem ligt in de manier waarop neurale netwerken met onzekerheid omgaan. Wanneer een netwerk een voorspelling doet, neemt het een invoer, verwerkt deze door lagen van wiskundige operaties en produceert een uitvoer. Als de invoer iets afwijkt, of als de interne instellingen iets anders zijn dan ze zouden moeten zijn, verandert de uitvoer. In een eenvoudig systeem kan deze verandering klein en beheersbaar zijn. Maar in een chaotisch systeem, waar kleine verschillen leiden tot totaal verschillende uitkomsten, kunnen deze fouten exploderen. Om dit te begrijpen, stel je voor dat je probeert het pad te voorspellen van een blad dat door een turbulente rivier drijft. Als je er iets naast zit wat betreft de startpositie van het blad, kan je voorspelling van waar het over een minuut zal zijn, compleet fout zijn. De onderzoekers richtten zich op een specifiek type neuraal netwerk waarbij de interne wiskunde is opgebouwd met een functie genaamd Leaky ReLU. Deze functie heeft een unieke eigenschap: deze is opgebouwd uit rechte lijnen. Hoewel het totale netwerk complex is, maakt deze stuksgewijs lineaire structuur het onderzoekers mogelijk om een nauwkeurige lokale kaart te maken van hoe kleine veranderingen in de invoer of instellingen de uitvoer beïnvloeden.

Met dit inzicht hebben de onderzoekers een reeks vergelijkingen afgeleid die beschrijven hoe het gemiddelde voorspelling en de spreiding van mogelijke uitkomsten in de loop van de tijd evolueren. In plaats van te gokken, berekenden zij de exacte wiskundige relatie tussen de onzekerheid in de invoer, de onzekerheid in de instellingen van het netwerk en de resulterende onzekerheid in de voorspelling. Een cruciaal onderdeel van hun ontdekking was het besef dat naarmate het netwerk stap voor stap doorloopt, de onzekerheid in de staat van het systeem en de onzekerheid in de instellingen van het netwerk aan elkaar gekoppeld raken. Ze ontwikkelden een manier om deze verbinding te volgen, wat ze een cross-covariantie noemen, waardoor het model rekening houdt met hoe de twee soorten onzekerheid elkaar beïnvloeden. Dit is essentieel omdat het negeren van deze link leidt tot onnauwkeurige voorspellingen.

De onderzoekers testten hun methode eerst op het Lorenz-63 systeem, een wiskundig model dat het chaotische gedrag van atmosferische convectie nabootst. In dit systeem is de voorspelbaarheidshorizon – de tijdslimiet waarna voorspellingen nutteloos worden – ongeveer 5,11 tijdseenheden. Het team vergeleek hun nieuwe methode met een standaardbenadering die bekend staat als Monte Carlo-simulatie, waarbij het model duizenden keren wordt gedraaid met licht afwijkende inputs om het bereik van de uitkomsten te zien. Hoewel de standaardmethode accuraat is, is deze computationeel duur. De nieuwe methode, die zij Resampled Moment Propagation noemen, bereikte een vergelijkbare nauwkeurigheid maar met veel minder computationele middelen. In hun tests was het gebruik van slechts 100 deeltjes (die verschillende mogelijke scenario's vertegenwoordigen) voldoende om de resultaten van 3.000 monsters van de standaardmethode te evenaren. De nieuwe aanpak volgde de gemiddelde voorspelling en de spreiding van onzekerheid succesvol tot aan de rand van de voorspelbaarheid, terwijl een simpelere versie van hun methode die geen resampling bevatte, instabiel werd en na slechts korte tijd wilde en incorrecte resultaten produceerde.

Geënthousiasmeerd door deze resultaten, pasten de onderzoekers hun methode toe op een veel complexer systeem: de Kuramoto–Sivashinsky vergelijking. Dit model beschrijft het gedrag van een dunne film van een vloeistof die langs een oppervlak stroomt, een proces dat zeer chaotisch is en honderden variabelen omvat. De onderzoekers discretiseerden het systeem in 200 dimensies, wat een enorme computationele uitdaging creëerde. Hier was de voorspelbaarheidshorizon langer, reikend tot ongeveer 41,84 tijdseenheden. Het team draaide hun simulatie voor 500 tijdstappen, wat een aanzienlijk deel van deze horizon besloeg. Zelfs in deze hoog-dimensionale omgeving hield de methode het goed vol. Het legde de groei van onzekerheid en het gemiddelde gedrag van het systeem nauwkeurig vast. De onderzoekers merkten echter een praktische beperking op: de methode vereist een grote hoeveelheid computergeheugen om de verbindingen tussen de staat van het systeem en de parameters van het netwerk op te slaan. Voor het 200-dimensionale systeem was hiervoor ongeveer 48 gigabyte aan opslag nodig voor enkel deze verbindingen. Ondanks deze geheugeneis bewees de methode dat het mogelijk is om onzekerheid door hoog-dimensionale, chaotische systemen te propageren zonder terug te vallen op de brute kracht van het draaien van duizenden volledige simulaties.

Het succes van deze aanpak berust op een techniek genaamd resampling. In hun methode volgen de onderzoekers een collectie mogelijke scenario's, of deeltjes. Naarmate de tijd verstrijkt, groeit de onzekerheid die bij elk deeltje hoort. Als deze groei ongecontroleerd wordt toegelaten, wordt het model instabiel. Om dit te voorkomen, "resetten" de onderzoekers het systeem periodiek. Op specifieke intervallen nemen ze de huidige staat van elk deeltje, die wordt gerepresenteerd door een lokale wolk van mogelijkheden, en trekken ze een nieuwe steekproef uit deze. Dit proces verfrist de collectie deeltjes, waardoor voorkomt dat de onzekerheid de controle overneemt, terwijl het model nog steeds in staat is om de complexe, niet-lineaire manieren waarop onzekerheid evolueert te vangen. Ze ontdekten dat de timing van deze resets cruciaal is. Als ze te vaak plaatsvinden, slaagt het model er niet in genoeg onzekerheid te accumuleren en wordt het risico onderschat. Als ze te zelden plaatsvinden, wordt het model instabiel. Door hun experimenten bepaalden ze dat een specifiek interval, zoals elke 10 tot 20 tijdstappen, de beste balans bood voor de geteste systemen.

Dit werk vormt een belangrijke stap voorwaarts in het betrouwbaarder maken van kunstmatige intelligentie voor wetenschappelijke toepassingen. Door een manier te bieden om onzekerheid wiskundig te volgen door complexe, chaotische systemen, hebben de onderzoekers een instrument ontwikkend dat wetenschappers kan helpen de grenzen van hun voorspellingen te begrijpen. De methode elimineert onzekerheid niet, maar biedt een helder, nauwkeurig beeld van hoe die onzekerheid groeit en evolueert. Dit is bijzonder belangrijk voor velden zoals klimaatmodellering en fluïdumdynamica, waar kleine fouten kunnen leiden tot grootschalige misinterpretaties. De onderzoekers erkennen dat hun methode momenteel beperkt wordt door het geheugen dat vereist is voor zeer grote systemen, maar zij suggereren dat toekomstige verbeteringen deze kosten kunnen verlagen. Hun bevindingen tonen aan dat door de structurele eigenschappen van neurale netwerken te combineren met zorgvuldige wiskundige analyse, het mogelijk is om modellen te bouwen die niet alleen voorspellend zijn, maar ook eerlijk zijn over hun eigen beperkingen. Het vermogen om te voorspellen hoe ver een voorspelling vertrouwd kan worden, is even waardevol als de voorspelling zelf, en dit nieuwe kader biedt een robuuste manier om die grens te bepalen.