Technische Samenvatting: Zelftoezichthoudende Laplace-benadering voor Bayesiaanse onzekerheidskwantificering

Probleemstelling

Benaderende Bayesiaanse inferentie (ABI) richt zich traditioneel op het berekenen van de posteriorverdeling van modelparameters, $p(\theta | D)$. In praktische toepassingen is het primaire object van belang echter vaak de posterior predictieve verdeling, $p(\hat{y}_{n+1} | x_{n+1}, D)$, die de onzekerheid van voorspellingen kwantificeert in plaats van die van de parameters zelf.

Standaardmethoden voor het benaderen van de posterior predictieve verdeling, zoals Variatie-inferentie (VI), Markov Chain Monte Carlo (MCMC) of klassieke Laplace-benaderingen toegepast op de parameterposterior gevolgd door Monte Carlo (MC)-sampling, brengen vaak aanzienlijke rekenkosten met zich mee. Specifiek bij Bayesiaanse Neurale Netwerken (BNN's) leidt de noodzaak van MC-sampling om te integreren over de parameterposterior tot een drastische toename van de inferentiekosten. Bovendien vertrouwen bestaande deterministische alternatieven vaak op sterke distributie-aannames of beperken ze de onzekerheidsmodellering tot de laatste laag, wat hun toepasbaarheid op algemene diepe regressiemodellen beperkt.

Methodologie

De auteurs stellen Zelftoezichthoudende Laplace-benadering (SSLA) voor, een techniek die de expliciete berekening van de parameterposterior omzeilt om direct de posterior predictieve verdeling te benaderen. De methode is geïnspireerd op concepten van zelftraining en semi-supervised learning, specifiek het idee om te leren van zelfvoorspelde data.

Kernmechanisme

Het fundamentele inzicht van SSLA is het kwantificeren van predictieve onzekerheid door te observeren hoe de fit van een model verandert wanneer het opnieuw wordt getraind op zijn eigen zelfvoorspelde data.

1. Augmenteerde Dataset: Gegeven een trainingsdataset $D$ en een nieuwe invoer $x_{n+1}$, genereert het model een puntvoorspelling $\hat{y}_{n+1}$ (bijvoorbeeld de MAP-voorspelling). Er wordt een augmenteerde dataset geconstrueerd: $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
2. Opnieuw trainen: Het model wordt opnieuw getraind op $D_{n+1}$ om een nieuw optimum $\tilde{\theta}$ te vinden.
3. Onzekerheidskwantificering: De predictieve onzekerheid wordt afgeleid uit de verandering in de waarschijnlijkheid (likelihood), prior en kromming (Fisher-informatie) van het model, veroorzaakt door de opname van de zelfvoorspelling.
   • Als het model een hoge waarschijnlijkheid toekent aan zijn eigen voorspelling (d.w.z. $\tilde{\theta} \approx \hat{\theta}$), wordt de voorspelling beschouwd als van lage onzekerheid.
   • Als de zelfvoorspelling een significante verschuiving in de modelfit veroorzaakt (grote verandering in waarschijnlijkheid of kromming), wordt de voorspelling toegewezen een hoge onzekerheid.

Wiskundige Formulering

De auteurs leiden een hanteerbare benadering af voor de log-posterior predictieve dichtheid, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$, die ontbindt in drie interpreteerbare incrementen die worden geëvalueerd bij de modelfits:
$$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Likelihood-increment}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Prior-increment}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Kromming-increment}}$$
Waarbij:

• $\hat{\theta}$ de MAP-schatting is op $D$.
• $\tilde{\theta}$ de MAP-schatting is op $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
• $\ell$ en $\tilde{\ell}$ log-waarschijnlijkheden zijn.
• $J$ en $\tilde{J}$ waargenomen Fisher-informatiematrices zijn (negatieve Hessians).

Benaderende Variant (ASSLA)

Om de rekenkosten van het opnieuw trainen van het model (oplossen voor $\tilde{\theta}$) te elimineren, introduceren de auteurs Benaderende SSLA (ASSLA).

• Asymptotische expansie: Theoretische resultaten (Lemma 1, Stelling 1) tonen aan dat voor grote $n$, het verschil tussen het augmenteerde optimum $\tilde{\theta}$ en het oorspronkelijke optimum $\hat{\theta}$ van de orde $O(n^{-1})$ is.
• Vereenvoudiging: ASSLA benadert $\tilde{\theta} \approx \hat{\theta}$ en behoudt alleen termen van de leidende orde. Dit stelt de methode in staat om de predictieve onzekerheid te evalueren met uitsluitend de oorspronkelijke fit $\hat{\theta}$ en de lokale krommingsbijdragen van de nieuwe pseudo-observatie, waardoor de noodzaak voor een tweede optimalisatiestap wordt vermeden.
• Prior-modulariteit: In de ASSLA-benadering wordt het prior-increment weggelaten als een term van hogere orde, waardoor de methode rekenkundig efficiënt blijft terwijl de gevoeligheid voor veranderingen in waarschijnlijkheid en kromming behouden blijft.

Belangrijkste Bijdragen

1. Directe predictieve benadering: Een nieuw kader dat de posterior predictieve verdeling direct benadert, waarbij de parameterposterior en de noodzaak van Monte Carlo-sampling worden omzeild.
2. Zelftoezichthoudend mechanisme: De introductie van een op zelftraining gebaseerde Laplace-benadering waarbij onzekerheid wordt gekwantificeerd via de gevoeligheid van de modelfit voor zelfvoorspelde data.
3. Modulariteit: De SSLA-formulering staat het inpluggen van verschillende prior-specificaties toe zonder opnieuw te trainen, wat Bayesiaanse sensitiviteitsanalyse met betrekking tot priorkeuze faciliteert.
4. Rekenkundige efficiëntie: De afleiding van ASSLA, die de vereiste voor opnieuw trainen verwijdert, waardoor de methode schaalbaar wordt voor grote modellen en datasets terwijl het concurrerende kalibratie behoudt.
5. Theoretische rechtvaardiging: Rigoureuze bewijzen die de benaderingsfout van ASSLA karakteriseren, waarbij wordt aangetoond dat de fout lineair afneemt met de steekproefgrootte $n$ onder standaard regulariteitsvoorwaarden.

Experimentele Resultaten

De auteurs evalueerden (A)SSLA op regressietaken variërend van geconjugeerde analytische modellen tot complexe heteroscedastische regressie met neurale netwerken.

• Geconjugeerde modellen: In Normal-Normaal en Poisson-Gamma-settings kwamen SSLA en ASSLA nauwkeurig overeen met de analytisch berekende posterior predictieve verdelingen over steekproefgroottes van $n=20$ tot $n=1.000.000$. Numerieke instabiliteiten in ASSLA werden alleen waargenomen bij zeer grote $n$ ($>10^6$) als gevolg van zwevendekommacancellatie, wat werd opgelost met dubbele precisie.
• Heteroscedastische regressie (Synthetisch): Op synthetische data met invoerafhankelijk ruis produceerde ASSLA soepelere en strakkere betrouwbaarheidsintervallen dan klassieke Laplace-benaderingen (die te conservatief waren) en was het concurrerend met Variatie-inferentie (VI) en Hamiltonian Monte Carlo (HMC). ASSLA toonde echter de neiging om onzekerheid in brede intervallen iets te onderschatten in vergelijking met HMC.
• Real-world benchmarks: Geëvalueerd op diverse UCI-datasets (bijv. Concrete, Wine Quality, Bike Sharing):
  • Kalibratie: ASSLA bereikte over het algemeen een betere Negative Log-Likelihood (NLL) en Continuous Ranked Probability Score (CRPS) dan klassieke Laplace, wat wijst op scherpere en beter gekalibreerde voorspellingen.
  • Dekking: Hoewel ASSLA soms onderdekking vertoonde in moeilijke regimes (bijv. Liver Disorders-dataset met een slecht signaal-ruisverhouding), presteerde het vaak beter dan de conservatieve Laplace-basislijn die te brede intervallen produceerde.
  • Efficiëntie: ASSLA bood een gunstige afweging tussen rekenkosten en predictieve kwaliteit, waarbij de hoge overhead van MC-sampling werd vermeden.

Betekenis en Claims

Het artikel stelt dat (A)SSLA een deterministisch, sampling-vrij alternatief biedt voor standaard Bayesiaanse inferentiemethoden voor predictieve onzekerheidskwantificering. De betekenis ligt in:

• Het omzeilen van onberekenbaarheid: Het vermijdt de rekenkundige bottleneck van het integreren over de parameterruimte via MC-sampling, wat een grote beperking is in Bayesiaans Deep Learning.
• Praktische toepasbaarheid: De methode is toepasbaar op generieke diepe regressiemodellen en ondersteunt modulaire prior-specificatie, wat bijzonder relevant is voor opkomende velden zoals Credal Bayesiaans Deep Learning.
• Beheer van afwegingen: De auteurs positioneren ASSLA als een methode die rekenkundige hanteerbaarheid balanceert met concurrerende probabilistische kalibratie, en een praktische oplossing biedt voor real-world regressietaken waar volledige Bayesiaanse inferentie te duur is.

De auteurs blijven bescheiden met betrekking tot beperkingen, en erkennen dat SSLA instabiel kan worden op zeer grote datasets of bij prior-data conflicten, en dat ASSLA onzekerheid kan onderschatten in gebieden met hoge variantie. Zij suggereren dat deze methoden moeten worden gebruikt in combinatie met drift/OOD-detectie en robuuste likelihood-modellering.