An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

In het uitgestrekte landschap van de moderne wetenschap en techniek is het voorspellen van hoe systemen in de loop van de tijd veranderen een fundamentele uitdaging. Of het nu gaat om het volgen van de baan van een satelliet, het modelleren van de verspreiding van een ziekte, of het simuleren van de doorstroming van warmte door een materiaal, wetenschappers vertrouwen op een specifiek type wiskundige regel die bekend staat als een differentiaalvergelijking. Deze vergelijkingen beschrijven hoe een hoeveelheid verandert in relatie tot zichzelf en zijn omgeving. Decennialang was het oplossen van deze vergelijkingen het domein van klassieke numerieke methoden, die problemen opdelen in kleine, beheersbare stappen. Hoewel betrouwbaar, kunnen deze traditionele benaderingen computationeel kostbaar worden en worstelen met complexe, hoogdimensionele problemen. In de afgelopen jaren is er een nieuwe aanpak ontstaan, geleend uit het veld van kunstmatige intelligentie. Onderzoekers zijn begonnen met het gebruik van neurale netwerken — computersystemen geïnspireerd door het menselijk brein — om de oplossingen van deze vergelijkingen te leren en te benaderen. Deze systemen, bekend als Physics-Informed Neural Networks, worden niet alleen getraind op data, maar ook op de natuurkundige wetten zelf, waardoor ze oplossingen vinden die de onderliggende wetenschap respecteren.

Echter, voor deze neurale netwerken om te kunnen functioneren, hebben ze een specifieke interne mechanisme nodig om complexiteit en niet-lineariteit te introduceren, vergelijkbaar met een schakelaar die een circuit in staat stelt om meer te doen dan alleen elektriciteit rechtstreeks door te geven. Dit mechanisme wordt een activatiefunctie genoemd. Het bepaalt hoe het netwerk informatie verwerkt bij elke stap, en vormt het vermogen om het juiste antwoord te leren en te benaderen. Lange tijd was de keuze voor welke activatiefunctie te gebruiken in deze wetenschappelijke oplosser enigszins een gok, waarbij onderzoekers er vaak één kozen op basis van gewoonte in plaats van bewijs. Deze onzekerheid doet er toe, omdat de verkeerde keuze kan leiden tot onnauwkeurige voorspellingen of een systeem dat er niet in slaagt de oplossing te leren. De vraag blijft: welke van de vele beschikbare opties is werkelijk de beste voor het oplossen van de complexe, tijdsafhankelijke vergelijkingen die onze fysieke wereld beheersen?

Een recente studie zette zich in om deze vraag met een systematische en rigoureuze aanpak te beantwoorden. De onderzoekers richtten zich op een specifieke klasse problemen: niet-autonome gewone differentiaalvergelijkingen. In eenvoudige termen zijn dit vergelijkingen waarbij de regels van verandering niet statisch zijn maar evolueren over de tijd, vaak gedreven door externe factoren zoals de tijd zelf of veranderende omgevingscondities. Om hun theorieën te testen, construeerden het team een standaard neurale netwerkarchitectuur en onderwierpen deze aan een batterij van tien verschillende wiskundige uitdagingen. Deze uitdagingen omvatten vergelijkingen gedreven door exponentiële groei, polynoomcurves en trigonometrische golven, wat een breed spectrum aan gedragingen dekt die in de natuur worden gevonden. Cruciaal was dat de onderzoekers elke andere variabele in hun experiment identiek hielden. Ze gebruikten dezelfde netwerkstructuur, hetzelfde aantal trainingscycli en dezelfde datapunten voor elke test. Het enige dat veranderde, was de activatiefunctie. Ze testten negen van de meest gebruikte functies in het vakgebied, variërend van de bekende Sigmoid en ReLU tot modernere varianten zoals GELU, ELU en SiLU.

De resultaten van deze uitgebreide simulatie waren duidelijk en besluitvaardig. De studie vond dat geen enkele functie perfect was voor elk scenario, maar één functie viel eruit als de meest betrouwbare performer over de hele linie. De GELU-activatiefunctie kwam naar voren als de beste keuze, die de meest nauwkeurige oplossingen leverde in zestig procent van de experimenten. Het produceerde consequent de kleinste fouten in vergelijking met de bekende, exacte antwoorden voor deze vergelijkingen. Op de voet gevolgd werden twee andere functies, ELU en SELU, die ook sterke capaciteiten toonden. In contrast hiermee presteerden sommige van de oudere, meer traditionele keuzes, specifiek Sigmoid en Softmax, slecht. De onderzoekers schreven dit falen toe aan een fenomeen dat bekend staat als verzadiging (saturation), waarbij deze functies zo vlak worden in bepaalde regio's dat ze niet meer effectief leren, waardoor het netwerk stilvalt. De studie merkte ook op dat hoewel functies zoals ReLU populair zijn in algemene kunstmatige intelligentie, ze niet de beste fit waren voor deze specifieke wetenschappelijke taken, waarschijnlijk omdat hun scherpe, hoekige natuur moeilijkheden creëert bij het berekenen van de vereiste precieze afgeleiden door natuurkundige oplosser.

Om te verzekeren dat deze bevindingen geen toevalstreffer waren, breidden de onderzoekers hun testen uit met een tweede set van zes aanvullende vergelijkingen. De resultaten bleven standvastig. In deze uitgebreide groep nam GELU opnieuw de eerste plaats in ongeveer twee derde van de gevallen, waarbij ELU de leiding nam in de rest. Geen enkele andere functie slaagde erin de eerste positie te bemachtigen in deze validatiegroep. De studie suggereert dat het succes van GELU en ELU geworteld is in hun wiskundige gladheid. In tegen tegenstelling tot functies met scherpe hoeken of platte plateaus, stellen deze gladde functies het netwerk in staat om veranderingen en gradiënten betrouwbaarder te berekenen, wat essentieel is wanneer het netwerk wordt gevraagd om te voldoen aan de strikte natuurwetten die in de vergelijkingen zijn ingebed. Deze gladheid helpt het trainingsproces stabieler te convergeren, wat leidt tot nauwkeurigere eindresultaten.

De implicaties van dit werk zijn praktisch en onmiddellijk voor wetenschappers en ingenieurs die op deze computationele hulpmiddelen vertrouwen. De studie biedt een duidelijke, op bewijs gebaseerde richtlijn voor het selecteren van het juiste instrument voor de taak. In plaats van de keuze van de activatiefunctie te behandelen als een willekeurige of universele instelling, suggereren de onderzoekers dat de specifieke aard van het probleem de keuze moet dicteren. Voor algemene tijdsafhankelijke problemen lijkt GELU de meest robuuste standaardoptie te zijn. Voor problemen die betrokken zijn bij polynoominteracties biedt ELU een sterk alternatief. Ondertussen adviseert de studie expliciet tegen het gebruik van verzadigende functies zoals Sigmoid voor dit soort residu-gebaseerde oplosser, omdat ze de prestaties waarschijnlijk zullen hinderen. Door de meest effectieve activatiefuncties te identificeren, helpt dit onderzoek bij het verfijnen van de capaciteiten van neurale netwerken, wat de weg vrijmaakt voor efficiëntere en nauwkeurigere methoden voor het oplossen van de differentiaalvergelijkingen die ons universum beschrijven. Het werk beweert niet elk probleem in het veld te hebben opgelost, maar biedt een solide fundament voor toekomstige ontwikkelingen, wijzend naar een meer systematische en geïnformeerde aanpak voor het bouwen van de volgende generatie wetenschappelijke computertools.