Certified and accurate computation of function space norms of deep neural networks

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een zeer complexe, kunstmatige hersenen hebt gebouwd: een Deep Neural Network. Deze "hersenen" zijn getraind om een moeilijke wiskundige puzzel op te lossen, bijvoorbeeld het voorspellen van hoe warmte zich verspreidt in een machine of hoe luchtstromen rond een vliegtuigvleugel bewegen.

In de wereld van kunstmatige intelligentie (AI) werken deze netwerken vaak als een zwarte doos. Je kunt er vragen aan stellen ("Wat is de uitkomst op punt A?"), en het geeft een antwoord. Maar als je vraagt: "Hoe foutloos is dit antwoord over het hele gebied, en hoeveel energie kost het om dit patroon te volgen?", dan krijgen we vaak geen zeker antwoord. We doen dan vaak een gok op basis van een paar steekproeven, wat betekent dat we maar met een bepaalde kans zeker zijn, niet met 100% zekerheid.

Dit artikel van Gründler, Maibaum en Petersen introduceert een manier om die 100% zekerheid te krijgen. Ze noemen dit "gecertificeerde berekening".

Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. Het Probleem: Het Gokken op Steekproeven

Stel je voor dat je de oppervlakte van een vreemd gevormd meer wilt berekenen.

De oude manier (zwarte doos): Je gooit 100 steentjes willekeurig in het meer. Je telt hoeveel er in het water vallen en schat de oppervlakte. Je zegt dan: "Ik ben 95% zeker dat de oppervlakte tussen X en Y ligt." Maar wat als je net die ene steen hebt gemist die in een diepe, verborgen baai viel? Dan is je schatting fout.
Het risico: In de natuurkunde (waar deze netwerken voor worden gebruikt) kan een kleine fout leiden tot een instortende brug of een mislukte raket. Je wilt geen "waarschijnlijk", je wilt "zeker".

2. De Oplossing: De "Intelligente Kaart"

De auteurs ontwikkelen een methode om de hele "kaart" van het meer (het domein) in detail te bekijken, zonder blind te gokken. Ze gebruiken een slimme combinatie van drie gereedschappen:

A. De "Veiligheidsnetjes" (Interval Arithmetic)

In plaats van te vragen naar één punt, vragen ze naar een vakje (een klein vierkantje op de kaart).
Stel je voor dat je een doosje hebt met daarin een onbekend object. Je weet niet precies waar het zit, maar je weet dat het ergens in dat doosje is.

De auteurs gebruiken wiskunde om te zeggen: "In dit specifieke vierkantje ligt de uitkomst van het neurale netwerk zeker tussen waarde A en waarde B."
Ze doen dit niet alleen voor de uitkomst, maar ook voor de snelheid (hoe snel verandert het?) en de versnelling (verandert de snelheid zelf?). Dit zijn de wiskundige termen afgeleiden en Hessians.

B. De "Slimme Zoektocht" (Adaptive Refinement)

Nu hebben ze duizenden vakjes, maar ze hoeven niet allemaal even groot te zijn.

Stel je voor dat je een landschap hebt. In het vlakke grasland (waar het netwerk makkelijk werkt) zijn de vakjes groot. Maar bij een steile berg of een scherpe bocht (waar het netwerk moeite heeft en de fouten groot kunnen zijn), verkleinen ze de vakjes tot heel kleine blokjes.
Dit is hun Adaptive Refinement: ze focussen hun rekenkracht alleen op de lastige plekken. Dit bespaart tijd en zorgt voor extreme nauwkeurigheid waar het nodig is.

C. De "Totaalrekening" (Quadrature)

Uiteindelijk hebben ze duizenden kleine vakjes, elk met een ondergrens en een bovengrens voor de fout.

Ze tellen deze allemaal bij elkaar op.
Het resultaat is geen enkel getal, maar een garantie-interval. Ze kunnen zeggen: "De totale fout ligt zeker tussen 0.001 en 0.002."
Als ze dit doen, kunnen ze ook berekenen hoeveel "energie" het netwerk verbruikt (de Sobolev-norm), wat cruciaal is om te weten of de oplossing fysiek realistisch is.

3. Waarom is dit zo belangrijk?

Voor de meeste AI-toepassingen is een gok goed genoeg. Maar voor fysica-informeerde neurale netwerken (PINNs) – die worden gebruikt om echte natuurwetten te simuleren – is zekerheid alles.

Vroeger: "Deze AI denkt dat de brug veilig is, op basis van 1000 metingen."
Nu (met deze methode): "Deze AI heeft de hele brug gecontroleerd, vakje voor vakje. We weten wiskundig bewezen dat de fout kleiner is dan een haarbreedte."

De Analogie van de Schilder

Stel je voor dat een neurale netwerk een schilder is die een landschap moet nabootsen.

De oude methode kijkt naar een paar plekken op het schilderij en zegt: "Het lijkt wel goed."
De nieuwe methode neemt een vergrootglas en bekijkt het schilderij in kleine vierkante stukjes. Waar het schilderij glad is, kijken ze snel voorbij. Waar de verf dik en onregelmatig is (de moeilijke plekken), kijken ze heel nauwkeurig en meten ze precies hoe dik de verf is. Aan het einde kunnen ze zeggen: "We weten precies hoeveel verf er is gebruikt en waar de onvolkomenheden zitten, met 100% zekerheid."

Conclusie

Dit artikel geeft ons de tools om neurale netwerken niet langer als mysterieuze zwarte dozen te behandelen, maar als betrouwbare, meetbare instrumenten. Het combineert slimme wiskunde (intervalrekenen) met een slimme zoekstrategie (adaptieve verdeling) om voor het eerst wiskundig gegarandeerde antwoorden te geven over hoe goed een AI een natuurkundig probleem oplost.

Het is alsof we van "ik denk dat het wel goed komt" zijn gegaan naar "we hebben het bewijs dat het goed komt".

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "Certified and accurate computation of function space norms of deep neural networks" in het Nederlands.

Titel: Gecertificeerde en nauwkeurige berekening van functieruimtenormen van diepe neurale netwerken

Auteurs: Johannes Gründler, Moritz Maibaum, Philipp Petersen
Datum: 9 maart 2026

1. Het Probleem

Diepe neurale netwerken (DNN's) worden steeds vaker gebruikt voor de numerieke oplossing van partiële differentiaalvergelijkingen (PDE's), bijvoorbeeld via Physics-Informed Neural Networks (PINNs). Een cruciaal aspect bij deze toepassing is betrouwbare foutcontrole in functieruimtenormen (zoals $L^p$ en Sobolev-normen $W^{k,p}$ ).

De huidige uitdagingen zijn:

Black-box aard: Na training zijn neurale netwerken vaak alleen beschikbaar als "query-objects". Men kan waarden en afgeleiden evalueren op specifieke punten, maar globale informatie over de functie (zoals integralen of normen) is niet direct toegankelijk.
Onvoldoende informatie: Puntnauwkeurigheid alleen (pointwise evaluations) is fundamenteel ontoereikend om gegarandeerde, deterministische bovengrenzen voor functieruimtenormen te verkrijgen. Neurale netwerken kunnen namelijk sterk gelokaliseerde functies vertegenwoordigen die tussen steekproefpunten door vallen.
Probabilistische garanties: Bestaande methoden vertrouwen vaak op statistische leertheorie (bijv. Rademacher-complexiteit), wat slechts garanties "met hoge waarschijnlijkheid" biedt, in plaats van strikte, deterministische foutgrenzen.

2. Methodologie

De auteurs stellen een raamwerk voor dat de "black-box" aard doorbreekt door de structuur van het neurale netwerk direct te benutten. De kern van de methode is een gecertificeerde adaptieve kwadratuur die lokale interval-aritmetische grenzen combineert met verfining.

De methode bestaat uit drie hoofdcomponenten:

Interval-aritmetische omsluitingen (Enclosures):
- Voor een gegeven domein (een "box" of hyperkubus) worden onder- en bovengrenzen berekend voor de functiewaarden en hun afgeleiden (Jacobians en Hessians).
- Dit wordt gedaan door de rekenkundige bewerkingen in het netwerk te vervangen door interval-operaties.
- Voor ReLU-netwerken wordt een specifieke optimalisatie toegepast: als een box volledig binnen een lineair stuk van het netwerk ligt (geen activeringsgrenzen overschrijdt), kan de integraal exact worden berekend.
Adaptieve verfining (Refinement):
- Het domein wordt opgesplitst in een partitie van boxes.
- Een markeringstrategie (zoals de Dörfler-strategie) selecteert de boxes met de grootste onzekerheid (grootste verschil tussen onder- en bovengrens).
- Deze geselecteerde boxes worden verder opgesplitst (verfijnd) om de lokale fout te verkleinen.
Kwadratuur en aggregatie:
- Op elke box wordt een kwadratuurregel toegepast om de bijdrage aan de integraal te schatten.
- De lokale onder- en bovengrenzen worden opgeteld om een gegarandeerd interval voor de totale integraal (en dus de norm) te vormen.

Theoretische basis:

De auteurs bewijzen een algemeen convergentiestelling voor dit type adaptieve kwadratuur.
Ze tonen aan dat als de interval-omsluitingen Hölder-continu zijn, de totale foutgrens lineair convergeert naar nul naarmate het aantal iteraties toeneemt.
Specifieke algoritmen worden ontwikkeld voor het berekenen van grenzen voor functiewaarden ( $L^p$ ), Jacobians ( $W^{1,p}$ ) en Hessians ( $W^{2,p}$ ).

3. Belangrijkste Bijdragen

AdaQuad Algoritme: Een adaptief algoritme voor het benaderen van integralen met strikte foutgrenzen. Het accepteert een probleeminstantie (functie, domein, interval-omsluiting) en een algoritme-instantie (kwadratuur, markering, verfining).
Gecertificeerde Sobolev-normen: De eerste methode die strikte, deterministische onder- en bovengrenzen biedt voor $L^p$ , $W^{1,p}$ en $W^{2,p}$ normen van getrainde neurale netwerken.
Exacte integratie voor ReLU: Een efficiënte procedure om te controleren of een ReLU-netwerk lineair is op een specifieke box. Als dit het geval is, wordt de integraal exact berekend, wat de fout op die box elimineert.
Toepassing op PINN-residuen: Het toepassen van de methode om gegarandeerde grenzen te berekenen voor de residuen van PDE's (interne fouten) die door PINNs worden opgelost, in plaats van alleen te vertrouwen op Monte Carlo-schattingen.
Convergentiebewijs: Een wiskundig bewijs dat de adaptieve procedure convergeert onder algemene voorwaarden (Hölder-continuïteit van de interval-omsluitingen).

4. Resultaten

Numerieke experimenten bevestigen de theorie:

1D Experimenten: Voor zowel ongetrainde (willekeurige) als getrainde netwerken (die een Gaussische piek benaderen), neemt de genormaliseerde globale foutgrootte (het verschil tussen boven- en ondergrens) geometrisch af bij adaptieve verfining.
2D Experimenten (Smooth Disk): Bij het benaderen van een gladde schijffunctie in 2D toont de adaptieve methode aan dat verfining zich concentreert op de randen waar de kromming hoog is, terwijl het binnenste en buitenste (waar de functie vlak is) niet onnodig worden verrijnd.
PINN Residuen: Voor een elliptische PDE (Poisson-vergelijking met een tanh-oplossing) toont de methode aan dat de globale foutgrens convergeert naar nul, wat aantoont dat de PINN een geldige oplossing benadert met een bekende, gegarandeerde nauwkeurigheid.
Architectuurverschillen: Diepe netwerken vertonen meer lokale variatie (kromming) dan brede netwerken, wat leidt tot een meer gefocuste adaptieve verfining in de diepe netwerken.

5. Betekenis en Impact

Deze studie is van groot belang voor de toepassing van neurale netwerken in wetenschappelijk rekenen (Scientific Machine Learning):

Vertrouwen in PDE-oplossingen: Het biedt een manier om de kwaliteit van een PINN-oplossing te valideren met wiskundig gegarandeerde foutgrenzen, wat essentieel is voor veiligheidskritische toepassingen in de engineering en natuurkunde.
Overbrugging van theorie en praktijk: Het vult de kloof tussen de theoretische analyse van PDE's (waar normen centraal staan) en de praktische implementatie van neurale netwerken (die vaak als black-box worden behandeld).
Efficiëntie: Door adaptief te verfinen in plaats van uniform, wordt rekenkracht gericht op de gebieden waar de fout het grootst is, wat leidt tot efficiëntere berekeningen.
Nieuwe standaard: Het stelt een nieuwe standaard voor voor foutcontrole in DNN-gedreven simulaties, verschuivend van probabilistische garanties naar deterministische, gecertificeerde bounds.

Kortom, dit werk transformeert neurale netwerken van puur query-able objecten naar systemen waarvoor strikte, wiskundig onderbouwde kwaliteitsmetingen in functieruimten kunnen worden berekend.