Bayesian neural networks with interpretable priors from Mercer kernels

Deze paper introduceert 'Mercer-priors', een nieuwe klasse van priors voor Bayesiaanse neurale netwerken die, via de Mercer-representatie van covariantiekernen, interpreteerbare priors mogelijk maken die samples genereren die een gespecificeerd Gaussisch proces benaderen en zo de schaalbaarheid van neurale netwerken combineren met de interpretatie van GPs.

De kern

Stel je voor dat je een zeer slimme voorspeller hebt, een Neuraal Netwerk. Dit is een soort computerhersenen die heel goed is in het vinden van patronen in data, zoals het voorspellen van de weersvoorspelling of het diagnosticeren van een ziekte. Maar er is een groot probleem: deze computerhersenen zijn vaak te zeker van zichzelf. Ze geven je één antwoord, maar ze vertellen je niet hoe waarschijnlijk dat antwoord is. In de echte wereld, waar data vaak rommelig of onvolledig is, wil je niet alleen een antwoord, maar ook een waarschuwing: "Ik denk dat het gaat regenen, maar ik ben niet 100% zeker."

Om dit op te lossen, gebruiken wetenschappers Bayesiaanse Neuronale Netwerken (BNN's). In plaats van één vast antwoord te geven, laten ze het netwerk een beetje "twijfelen" door te werken met waarschijnlijkheidsverdelingen. Het is alsof je niet vraagt: "Hoeveel kost dit?", maar "Wat is de kans dat het tussen de 10 en 20 euro kost?".

Het Probleem: De "Doe-het-zelf" Prior

In de wereld van deze waarschuwingsnetwerken is er een belangrijk concept genaamd een Prior (een voorafgaande veronderstelling). Dit is als het startpunt van je reis. Je moet het netwerk een idee geven van hoe de wereld eruit zou kunnen zien voordat het de data ziet.

Het probleem is dat de standaard manier om dit te doen heel saai en willekeurig is. Het is alsof je een schilderij maakt en zegt: "Elk penseelstreekje is volledig willekeurig." Het resultaat is vaak een rommelig schilderij dat geen enkele echte structuur heeft. Het is moeilijk om te zeggen: "Hé, dit netwerk moet eruitzien als een rustige rivier, niet als een explosie van confetti."

Aan de andere kant bestaat er een andere methode, Gaussian Processes (GP's), die heel goed is in het maken van deze "ruime" voorspellingen. Ze zijn als een meester-schilder die precies weet hoe een rivier stroomt. Maar ze hebben een groot nadeel: ze zijn extreem traag en traag. Als je te veel data hebt (zoals een heel groot schilderij), wordt het berekenen van een GP zo zwaar dat je computer er van vastloopt. Het is alsof je een hele bibliotheek wilt lezen om één zin te vinden.

De Oplossing: De "Mercer Prior"

De auteurs van dit papier, Alex Alberts en Ilias Bilionis, hebben een slimme oplossing bedacht. Ze noemen het de Mercer Prior.

Stel je voor dat je een Gaussian Process (GP) hebt, die een perfecte, maar trage, voorspeller is. Je wilt de snelheid en kracht van een Neuraal Netwerk, maar met de slimme, begrijpelijke regels van de GP.

Hoe doen ze dit?

1. De Blauwdruk: Ze kijken naar de "blauwdruk" van de trage GP. Deze blauwdruk is gemaakt van wiskundige bouwstenen (eigenwaarden en eigenfuncties).
2. De Vertaling: In plaats van het netwerk te laten kiezen wat het wil, geven ze het netwerk een specifiek startpakket (de Mercer Prior). Dit pakket is zo ontworpen dat het netwerk, als het begint te "dromen" (zichzelf trainen), automatisch begint te lijken op de trage GP.
3. Het Resultaat: Je krijgt een super-snel neuraal netwerk dat zich gedraagt alsof het een slimme, trage GP is. Het heeft de snelheid van een raceauto, maar rijdt op de veilige, voorspelbare weg van de GP.

Hoe werkt het in de praktijk? (De Analogie van de Muziek)

Stel je voor dat je een symfonie wilt componeren (de voorspelling).

• Standaard BNN: Je laat elke muzikant een willekeurig instrument spelen. Het klinkt als ruis.
• Gaussian Process: Je schrijft elke noot exact op papier. Het klinkt perfect, maar het duurt eeuwen om het te noteren.
• Mercer Prior: Je geeft de muzikanten een specifiek partituur (de Mercer Prior) dat is gebaseerd op de wiskunde van de perfecte symfonie. Ze spelen nog steeds hun eigen instrumenten (het neuraal netwerk), maar omdat ze naar dit specifieke partituur kijken, klinkt de hele orkestplaat plotseling als die perfecte symfonie. En het mooie is: je kunt dit partituur kopiëren en spelen op duizenden instrumenten tegelijk (schaalbaarheid), zonder dat het eeuwen duurt.

Waarom is dit geweldig?

De auteurs tonen in hun paper drie voorbeelden waar dit werkt:

1. Onzekerheid bij onzekerheid: Ze kunnen modellen maken die niet alleen de gemiddelde snelheid van een motorfiets voorspellen, maar ook hoe onzeker die meting is (bijvoorbeeld bij een crash).
2. Seizoenen en Patronen: Ze kunnen voorspellen hoe CO2-niveaus in de lucht veranderen, waarbij ze het netwerk dwingen om te weten dat er een jaarlijkse cyclus is (zoals de seizoenen), zonder dat ze het netwerk handmatig moeten programmeren.
3. Ruimtevaart: Ze kunnen helpen bij het ontwerpen van hittebescherming voor ruimteschepen. Dit is een heel complex wiskundig probleem. Met de Mercer Prior kunnen ze dit oplossen op een manier die voor de oude, trage methoden onmogelijk was.

Conclusie

Kortom: Dit papier introduceert een nieuwe manier om "slimme twijfel" in te bouwen in snelle computermodellen. Ze nemen de beste eigenschappen van een trage, maar zeer betrouwbare methode (GP's) en verpakken die in een snel, flexibel pakket (Neuraal Netwerk).

Het is alsof je een F1-auto bouwt die rijdt op de veilige, voorspelbare weg van een ouderwetse trein. Je krijgt de snelheid van vandaag, met de betrouwbaarheid van gisteren. Dit maakt het mogelijk om complexe wetenschappelijke problemen op te lossen die tot nu toe te moeilijk of te traag waren om aan te pakken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Bayesian neural networks with interpretable priors from Mercer kernels" van Alex Alberts en Ilias Bilionis, weergegeven in het Nederlands.

Titel

Bayesiaanse neurale netwerken met interpreteerbare priors afgeleid van Mercer-kernen.

1. Het Probleem

In wetenschappelijke en technische toepassingen (zoals complexe engineeringssystemen of gezondheidszorg) is het cruciaal om de onzekerheid in de voorspellingen van neurale netwerken te kwantificeren. Bayesiaanse neurale netwerken (BNN's) bieden hiervoor een raamwerk door een posterior-verdeling over de netwerkparameters te construeren.

Er zijn echter twee fundamentele beperkingen in de huidige praktijk:

• BNN's: De standaardprior (onafhankelijke, identiek verdeelde Gaussische verdelingen voor gewichten en biases) is willekeurig en heeft geen betekenisvolle interpretatie in de functie-ruimte. Het is moeilijk om te begrijpen hoe deze prior beperkingen oplegt aan de output van het netwerk (bijv. gladheid of periodiciteit).
• Gaussische Processen (GP's): Deze zijn zeer interpreteerbaar en populair voor onzekerheidskwantificatie omdat hun covariantiekern de gedrag van steekproefpaden volledig bepaalt. Echter, GP's schalen slecht naar grote datasets (rekenkosten van $O(N^3)$) en vereisen vaak complexe implementaties (zoals sparse GPs) die beperkingen opleggen aan de datastructuur.

Hoewel er een theoretisch verband bestaat tussen BNN's en GP's (een oneindig breed BNN convergeert naar een GP), is het in de praktijk moeilijk om een specifieke GP-prior te "forceren" door alleen de activatiefunctie aan te passen. Er is behoefte aan een methode die de schaalbaarheid van BNN's combineert met de interpreteerbaarheid van GP-priors.

2. Methodologie: Mercer Priors

De auteurs introduceren een nieuwe klasse van priors voor BNN's, genaamd Mercer priors. Het kernidee is om de prior direct over de netwerkparameters $\theta$ te definiëren, gebaseerd op de Mercer-representatie van een gewenste covariantiekern van een Gaussisch proces.

De theoretische basis:

1. Gaussische Maat: Een GP $u \sim \mathcal{GP}(0, k)$ kan worden gezien als een steekproef uit een Gaussische maat $\mathcal{N}(0, S)$ op de ruimte $L^2(\Omega)$, waarbij $S$ de covariantie-operator is.
2. Prior Definitie: In plaats van de gewichten onafhankelijk te kiezen, wordt de prior $p(\theta)$ zo ontworpen dat de gegenereerde functie $u_\theta$ de statistieken van deze Gaussische maat nabootst. De prior wordt gedefinieerd via de dichtheid:
   $$p(\theta) \propto \exp\left(-\frac{1}{2} \langle u_\theta, S^{-1} u_\theta \rangle\right)$$
   Hierbij is $\langle \cdot, \cdot \rangle$ het inproduct in $L^2(\Omega)$ en $S^{-1}$ de precisie-operator (inverse van de covariantie-operator).
3. Mercer's Theorema: Om de inverse operator $S^{-1}$ hanteerbaar te maken, gebruiken de auteurs Mercer's theorema. Dit stelt dat de kern $k$ (en dus ook $S^{-1}$) kan worden uitgedrukt als een som over eigenwaarden $\lambda_n$ en eigenfuncties $\phi_n$:
   $$k^{-1}(s, t) = \sum_{n=1}^{\infty} \lambda_n^{-1} \phi_n(s) \phi_n(t)$$
4. Sampling (SGLD): Het berekenen van de exacte prior is computatievriendelijk onmogelijk vanwege de integralen. De auteurs gebruiken Stochastic Gradient Langevin Dynamics (SGLD) om monsters te trekken. Ze ontwikkelen een onbevooroordeelde schatter voor de log-prior door:
   • De integralen te benaderen met Monte Carlo-sampling over het domein.
   • De oneindige som over eigenwaarden te benaderen door een subset van eigenwaarden/eigenfuncties te selecteren (via importance sampling).
   • Dit maakt het mogelijk om de prior te evalueren zonder grote matrices om te keren, zelfs bij grote datasets.

3. Belangrijkste Bijdragen

• Nieuwe Prior Klasse: Introductie van Mercer priors die BNN's in staat stellen om te convergeren naar een specifieke, vooraf gedefinieerde GP in de oneindig-brede limiet, zonder de netwerkarchitectuur te hoeven veranderen.
• Schaalbaar Sampling: Ontwikkeling van een sampling-scheme (Algorithm 1) dat gebruikmaakt van SGLD en Monte Carlo-schattingen. Dit omzeilt de "curse of dimensionality" en de kubische schaling van traditionele GP's.
• Flexibiliteit in Kernel Ontwerp: De methode maakt het mogelijk om priors te ontwerpen op basis van eigenwaarden en eigenfuncties, zelfs als de analytische vorm van de kern niet bekend is (bijv. door het combineren van orthonormale functies).
• Toepasbaarheid op PDE's: De methode is specifiek ontworpen voor inverse problemen waarbij de forward-operator een niet-lineaire partiële differentiaalvergelijking (PDE) is, wat traditionele GP-methoden vaak onhandelbaar maakt.

4. Resultaten

De auteurs valideren de methode via drie hoofdcategorieën:

A. Kwaliteit van de Benadering (Brownse Beweging):

• Ze testen de prior op het simuleren van Brownse beweging (Wiener-maat).
• Statistische Tests: Door het aantal eigenwaarden ($K$) en de breedte van het netwerk ($N$) te variëren, tonen ze aan dat de empirische covariantie van de BNN-sample's convergeert naar de ware covariantie van Brownse beweging.
• Kolmogorov-Smirnov Test: De verdeling van de BNN-outputs op tijdschijven komt overeen met de theoretische verdeling van Brownse beweging wanneer $K \approx 1000$ en de netwerkbreedte voldoende groot is.
• Observatie: Net als bij echte Brownse beweging zijn de sample's niet-differentieerbaar, maar omdat BNN's met gladde activatiefuncties altijd differentieerbaar zijn, benaderen ze de "ruwe" paden. Dit is een inherent compromis, maar de statistische eigenschappen worden correct vastgelegd.

B. Toepassingen:

1. Heteroscedastische Regressie: Een hiërarchisch model voor motorfiets-crashdata. De Mercer prior stelt het BNN in staat om zowel de gemiddelde trend als de variabele ruis (variance) te modelleren, met de schaalbaarheid van mini-batching die GP's niet bieden.
2. Periodieke Data (CO2): Voorspelling van atmosferische CO2-concentraties. De auteurs ontwerpen een aangepaste kern met periodieke eigenfuncties. Het BNN met Mercer prior behoudt de periodieke structuur in de voorspellingen, terwijl een standaard BNN met i.i.d. prior dit verliest.
3. Niet-lineair PDE Invers Probleem: Bepaling van thermische geleidbaarheid van isolatiemateriaal (OFI) uit temperatuurmetingen. Dit is een invers probleem met een niet-lineaire warmtevergelijking. De Mercer prior vervangt de traditionele Gaussische prior, waardoor het mogelijk wordt om de posterior te bemonsteren zonder de enorme rekenkosten van het inverteren van covariantiematrices bij elke stap.

5. Betekenis en Conclusie

Deze studie toont aan dat het mogelijk is om betekenisvolle priors voor neurale netwerken te creëren door de verdeling van de parameters aan te passen in plaats van de netwerkstructuur te veranderen.

• Interpreteerbaarheid: BNN's erven de fysieke of wiskundige eigenschappen van de gekozen GP-prior over (zoals gladheid, periodiciteit of randvoorwaarden).
• Schaalbaarheid: De methode behoudt de schaalbaarheid van neurale netwerken, waardoor ze toepasbaar zijn op grote datasets en complexe inverse problemen die voor GP's onbereikbaar zijn.
• Toekomst: Hoewel de convergentie empirisch is aangetoond, blijft een strikt wiskundig bewijs van convergentie naar de Gaussische maat een theoretische uitdaging. Ook de behandeling van hyperparameters in de kern blijft een aandachtspunt.

Kortom, Mercer priors bieden een brug tussen de wenselijke eigenschappen van Gaussische Processen en de praktische schaalbaarheid van diepe neurale netwerken, wat nieuwe mogelijkheden opent voor onzekerheidskwantificering in wetenschappelijk machine learning.