When Does AI for PDEs Yield Scientific Evidence?

In het uitgestrekte landschap van de moderne wetenschap is een krachtig nieuw instrument opgekomen om onderzoekers te helpen de fysieke wereld te begrijpen: kunstmatige intelligentie toegepast op de vergelijkingen die de natuur beheersen. Deze vergelijkingen, bekend als partiële differentiaalvergelijkingen, zijn de wiskundige taal die wordt gebruikt om alles te beschrijven, van de stroming van water en de beweging van lucht tot het gedrag van warmte en elektriciteit. Decennialang hebben wetenschappers vertrouwd op traditionele computersimulaties om deze vergelijkingen op te lossen, maar in recente jaren hebben AI-modellen laten zien dat ze fysieke gedragingen met verbazingwekkende snelheid en precisie kunnen leren voorspellen. De standaardmanier om deze AI-modellen te beoordelen was eenvoudig en direct: hoe nauw komt de voorspelling van de AI overeen met het bekende, juiste antwoord? Als de getallen overeenkomen, wordt het model als goed beschouwd. Deze benadering heeft geleid tot snelle vooruitgang en een race naar het bouwen van modellen die het verschil tussen hun output en de waarheid minimaliseren.

Echter, een kritische vraag bleef grotendeels ongesteld: levert een model dat een uiterst nauwkeurig getal produceert daadwerkelijk het soort bewijs dat wetenschappers nodig hebben om een echte ontdekking te doen? In de echte wereld willen onderzoekers niet alleen een getal; ze willen bewijs om een specifieke claim te ondersteunen, zoals "deze ijsplaat smelt sneller dan we dachten" of "deze vloeistof zal onder deze omstandigheden instabiel worden". Een model kan in zijn geheel ongelooflijk nauwkeurig zijn, maar toch een specifiek detail missen dat cruciaal is voor die claim, of het kan net iets afwijken op een manier die de conclusie volledig verandert. Tot nu toe heeft de wetenschappelijke gemeenschap ervan uitgegaan dat hoge nauwkeurigheid automatisch gelijkstaat aan sterk bewijs. Een nieuwe studie daagt deze aanname uit en suggereert dat de instrumenten die we gebruiken om succes te meten, ons naar de verkeerde AI-modellen kunnen leiden voor de taak van wetenschappelijke ontdekking.

De onderzoekers, onder leiding van Wenshuo Wang aan de South China University of Technology, zetten zich in om dit idee te testen door een nieuwe manier te creëren om AI-modellen te evalueren. In plaats van alleen te vragen: "Hoe dicht ligt je antwoord bij het juiste antwoord?", vroegen ze: "Levert jouw antwoord genoeg bewijs om deze specifieke wetenschappelijke claim te ondersteunen?" Om dit te doen, namen ze twee bestaande, veelgebruikte benchmarks voor AI in de fysica — één voor het voorspellen van hoe systemen in de loop van de tijd evolueren en een andere voor het achterhalen van verborgen fysieke eigenschappen uit data — en voegden daar een nieuwe laag van evaluatie aan toe. Ze namen dezelfde AI-modellen, voerden ze dezelfde data en lieten hen dezelfde problemen oplossen. Maar deze keer controleerden ze, naast de traditionele nauwkeurighetsscore, ook of de output van het model een specifieke, vooraf gedefinieerde wetenschappelijke stelling kon ondersteunen.

Stel je een weervoorspeller voor die perfect is in het voorspellen van de temperatuur voor elke stad in een land, maar faalt in het voorspellen dat een specifieke storm een kustplaats zal raken. Als je alleen naar de gemiddelde temperatuurfout kijkt, lijkt de weervoorspeller briljant. Maar als je doel is om de stad over de storm te waarschuwen, dan heeft die weervoorspeller gefaald. De onderzoekers ontdekten dat er met AI-modellen in de fysica iets soortgelijks gebeurt. Ze ontdekten dat de modellen die het hoogst scoorden op pure numerieke nauwkeurigheid, vaak niet dezelfde modellen waren die het hoogst scoorden op het leveren van bewijs om een wetenschappelijke claim te ondersteunen. Sterker nog, de twee doelen wezen regelmatig naar verschillende winnaars.

Om tot deze conclusie te komen, onderzocht het team een grote verscheidenheid aan AI-modellen, inclusief enkele van de meest geavanceerde en populaire modellen die momenteel in gebruik zijn. Ze testten deze modellen op taken variërend van het simuleren van de stroming van water in ondiepe rivieren tot het afleiden van de verborgen eigenschappen van ondergrondse rotslagen. Voor elke taak definieerden ze specifieke wetenschappelijke claims, zoals of het gemiddelde waterniveau in een regio binnen een bepaalde marge zou blijven, of dat een specifiek type gesteente op een bepaalde manier zou reageren onder druk. Vervolgens maten ze twee zaken voor elk model: hoe dicht de voorspelling bij het ware antwoord lag, en of de voorspelling, samen met de geschatte onzekerheid, sterk genoeg was om de claim te bevestigen.

De resultaten waren opmerkelijk. In bijna elke belangrijke vergelijking was het model dat het "beste" was in het minimaliseren van de fout anders dan het model dat het "beste" was in het ondersteunen van de wetenschappelijke claim. Soms was het verschil klein, maar vaak was het significant. De onderzoekers ontdekten dat een model numeriek nauwkeurig kon zijn, maar nog steeds faalde in het ondersteunen van een claim als de fouten in de verkeerde richting vielen of als het model te onzeker was om alternatieve mogelijkheden uit te sluiten. Omgekeerd kon een model met iets grotere algemene fouten nog steeds sterk bewijs leveren voor een claim als die fouten klein genoeg waren in het specifieke gebied dat ertoe deed.

De studie ging verder om uit te leggen waarom deze mismatch optreedt. Het blijkt dat de relatie tussen nauwkeurigheid en bewijs afhangt van drie kernfactoren: hoe dicht de werkelijke waarde bij de grens van de claim ligt, waar de fouten van het model optreden, en hoe groot de onzekerheidsmarge van het model is. Als een werkelijke waarde vlak op de grens van een claim ligt, kan zelfs een minuscule fout de conclusie van "ondersteund" naar "weerlegd" doen omslaan. Als een model fouten in de verkeerde richting maakt, kan het een claim ondermijnen, zelfs als de totale fout klein is. En als een model te onzeker is, kan het niet het definitieve bewijs leveren dat nodig is om een claim te ondersteunen, ongeacht hoe nauwkeurig de gemiddelde voorspelling ook mag zijn.

Deze bevinding heeft diepgaande implicaties voor hoe de wetenschappelijke gemeenschap AI ontwikkelt en gebruikt. Jarenlang hebben onderzoekers hun modellen geoptimaliseerd om zo nauwkeurig mogelijk te zijn, uitgaande van de veronderstelling dat dit vanzelf zou leiden tot betere wetenschappelijke inzichten. Deze studie suggereert dat deze aanname gebrekkig is. Door uitsluitend te focussen op nauwkeurigheid, kan de gemeenschap onbedoeld modellen bevoordelen die goed zijn in het reproduceren van data, maar slecht in het leveren van het specifieke bewijs dat nodig is voor ontdekking. De auteur betoogt dat we de manier waarop we deze instrumenten evalueren moeten veranderen. In plaats van alleen naar een enkele score voor nauwkeurigheid te kijken, moeten we evalueren of een AI-model daadwerkelijk de specifieke claims kan ondersteunen die wetenschappers proberen te maken.

De onderzoekers hebben niet alleen op een probleem gewezen; ze hebben een raamwerk gebouwd om de oplossing te meten. Ze creëerden een nieuw evaluatiesysteem dat de ondersteuning van een wetenschappelijke claim behandelt als een afzonderlijk doel, los van numerieke nauwkeurigheid. Ze testten dit systeem op real-world scenario's, waaronder de stroming van Antarctische ijsplaten en de beweging van vloeistoffen in poreuze gesteenten, en ontdekten dat het werkte zoals bedoeld. Het systeem kon duidelijk onderscheid maken tussen modellen die sterk bewijs leverden en die dat niet deden, zelfs wanneer hun numerieke nauwkeurigheid vergelijkbaar was.

Dit werk dient als een cruciale herinnering dat het in de wetenschap niet alleen gaat om het hebben van gelijk, maar om het hebben van gelijk op een manier die ertoe doet. Een model dat statistisch nauwkeurig is maar wetenschappelijk nutteloos, is een gemiste kans. Naarmate AI meer geïntegreerd raakt in wetenschappelijk onderzoek, moet de manier waarop we deze modellen beoordelen evolueren. We moeten ervoor zorgen dat de instrumenten die we bouwen niet alleen goed zijn in het raden van getallen, maar ook in staat zijn om het solide, betrouwbare bewijs te leveren dat de menselijke kennis vooruit helpt. De studie concludeert dat we moeten stoppen met aannemen dat nauwkeurigheid gelijkstaat aan bewijs en moeten beginnen met het apart meten van de twee, om er zeker van te zijn dat de AI-modellen van de toekomst werkelijk geschikt zijn voor het doel van wetenschappelijke ontdekking.