A derivative-fidelity failure mode in physics-informed neural networks: strengthened benchmark evidence from function-value training

In de wereld van de moderne informatica richten wetenschappers zich steeds vaker op een type kunstmatige intelligentie dat een physics-informed neural network wordt genoemd, om complexe problemen op te lossen die te maken hebben met hoe dingen bewegen, stromen of in de loop van de tijd veranderen. Deze systemen fungeren als krachtige wiskundige surrogaten; ze leren het gedrag van natuurkundige wetten na te bootsen, niet alleen door datapunten te memoriseren, maar door getraind te worden om te voldoen aan de onderliggende vergelijkingen die de werkelijkheid beheersen. De aantrekkingskracht is groot: als een computer de vorm van een curve kan leren en tegelijkertijd de regels van de natuurkunde kan respecteren, zou dit de manier waarop ingenieurs bruggen ontwerpen, meteorologen stormen voorspellen of artsen bloedstroming modelleren, kunnen revolutioneren. De standaardbenadering gaat ervan uit dat als de computer de algemene vorm van een oplossing goed krijgt, het de natuurkunde succesvol heeft gevangen. Deze aanname rust echter op een verborgen premisse: dat het goed krijgen van de vorm automatisch betekent dat men ook de veranderingssnelheid goed krijgt.

Een recente studie daagt deze premisse uit en onthult een subtiel maar cruciaal gebrek in de manier waarop deze systemen momenteel worden gevalideerd. Het onderzoek richt zich op een specifieke foutmodus waarbij een neuraal netwerk een functie perfect lijkt te hebben geleerd, maar volledig faalt wanneer het wordt gevraagd hoe die functie verandert. In de taal van de natuurkunde kan een netwerk de positie van een object met hoge precisie voorspellen, maar de berekening van de versnelling van dat object — de tweede afgeleide van de positie — zou er volkomen onnauwkeurig uit kunnen zien. Dit onderscheid is belangrijk omdat veel natuurkundige wetten volledig afhankelijk zijn van deze veranderingssnelheden. Als de versnelling onjuist is, zijn de krachten die het systeem aandrijven ook onjuist, zelfs als de positie er correct uitziet. De studie toont aan dat dit geen zeldzame glitch is, maar een fundamentele beperking die onopgemerkt kan blijven, waardoor onderzoekers kunnen geloven dat ze over een werkende simulatie beschikken terwijl de onderliggende natuurkunde eigenlijk defect is.

Om dit te onderzoeken, zetten de onderzoekers een gecontroleerd experiment op met behulp van eenvoudige, eendimensionale wiskundige curven die gemakkelijk te visualiseren zijn. Ze kozen twee specifieke doelwitten: een gladde, herhalende golf en een curve die exponentieel groeit en steeds steiler wordt naarmate deze naar rechts beweegt. Ze trainden een standaard neuraal netwerk om deze curven te matchen met behulp van alleen de waarden van de punten zelf, zonder ooit expliciet aan het netwerk te leren wat de hellingen of krommingen moesten zijn. Dit bootst het standaard trainingsproces voor veel natuurkundige problemen na, waarbij het netwerk wordt beloond voor het raken van de juiste getallen, maar niet direct wordt gecorrigeerd op hoe snel die getallen veranderen. Zodra de training voltooid was, gebruikten de onderzoekers een standaard computertool om automatisch de tweede afgeleide van de output van het netwerk te berekenen en vergeleken zij dit met het ware wiskundige antwoord.

De resultaten waren opmerkelijk. Voor de herhalende golf produceerde het netwerk een lijn die bijna perfect over de ware curve viel, waardoor het een vlekkeloze succes leek. Echter, toen de onderzoekers naar de tweede afgeleide keken, wat de kromming van de lijn vertegenwoordigt, vonden zij significante fouten. In specifieke lokale regio's was de fout in de kromming tien tot honderd keer groter dan de fout in de positie zelf. Het netwerk had geleerd de lijn correct te tekenen, maar had gefaald om te leren hoe die lijn boog. De situatie was nog dramatischer bij de exponentiële curve. Hoewel de voorspelling van het netwerk over de hoogte van de curve visueel accuraat bleef, stortte de berekening van de kromming in nabij de rechtergrens. In deze regio met een hoge kromming groeide de fout in de tweede afgeleide met ordes van grootte en bereikte waarden zo hoog als tien, terwijl de fout in de hoogte minimaal bleef. Dit bewees dat een visueel overtuigende oplossing kan samengaan met een fysiek defecte oplossing.

De onderzoekers testten vervolgens of dit probleem opgelost kon worden door de computer simpelweg meer data te geven of door de interne instellingen van het netwerk te wijzigen. Ze verhoogden het aantal trainingspunten van enkele tientallen naar meer dan vijfhonderd, maar de grote fouten in de kromming nabij de grens bleven bestaan. Ze probeerden verschillende wiskundige functies binnen het netwerk, bekend als activatiefuncties, om te zien of er één beter geschikt was voor deze taak. Hoewel sommige keuzes de fout iets verminderden, elimineerde geen enkele de fundamentele kloof tussen de nauwkeurigheid van de positie en de nauwkeurigheid van de kromming. De studie toonde ook aan dat standaard succesmaten, die vaak kijken naar de gemiddelde fout over het hele domein, de ernst van het probleem verborgen hielden. Wanneer de onderzoekers naar de slechtste fout in specifieke kleine regio's keken, waren de fouten ernstig en gelokaliseerd, met name waar de curve het snelst veranderde.

Dit werk suggereert dat de huidige methode om een simulatie te vertrouwen omdat de output er goed uitziet, onvoldoende is. De studie beweert niet dat deze netwerken nutteloos zijn, maar wel dat ze een blinde vlek hebben. Een netwerk kan uitstekend zijn in interpolatie — het opvullen van de gaten tussen bekende punten — maar kan er toch in falen de hogere-orde dynamica te vatten die vereist is voor natuurkundige wetten. De onderzoekers concluderen dat voor deze systemen betrouwbaar te zijn, wetenschappers moeten stoppen met het behandelen van de berekening van afgeleiden als een secundaire controle. In plaats daarvan moeten zij actief de fouten in deze veranderingssnelheden monitoren, vooral in regio's met een hoge kromming of nabij grenzen. Net zoals een kaart de juiste locatie van een stad kan tonen maar kan falen in het tonen van de steilheid van de wegen die ernaartoe leiden, kan een physics-informed neural network de juiste staat van een systeem kunnen tonen terwijl het de krachten mist die het aandrijven. De weg vooruit vereist een nieuw diagnostisch protocol dat de nauwkeurigheid van de waarde scheidt van de betrouwbaarheid van de natuurkunde, om te garanderen dat de simulatie niet slechts een mooi plaatje is, maar een ware representatie van de werkelijkheid.