Technische Samenvatting: Gekalibreerde Sampling-vrije Onzekerheidsschatting in Bayesiaans Deep Learning

1. Probleemstelling

Moderne deep learning-modellen, met name die gebaseerd op transformer-architecturen, zijn berucht overmoedig (overconfident), wat hun betrouwbaarheid in kritieke toepassingen zoals ziektedetectie, juridische redenering en visuele ondersteuning voor blinden beperkt. Hoewel Bayesiaanse Neurale Netwerken (BNN's) een fundamentele route bieden voor onzekerheidskwantificatie door een distributie over modelparameters te leren, blijft er een significante flessenhals bij de testfase.

Standaard Bayesiaanse inferentie vereist het middelen van voorspellingen over vele forward passes met gewichten gesampled uit de posterior (Monte Carlo of MC sampling), wat computationeel onhaalbaar is voor grootschalige architecturen. Omgekeerd is het gebruik van enkel het gemiddelde netwerk (het negeren van variantie) efficiënt, maar slaagt dit er niet in om onzekerheid te vangen. Bestaande methoden voor variantie-propagatie, die het gemiddelde en de variantie analytisch door lagen propageren in een enkele pass, waren historisch gezien beperkt tot Multi-Layer Perceptrons (MLP's). Hun uitbreiding naar moderne architecturen (Transformers, CNN's met ResNets) is uitdagend gebleken door de toegenomen diepte en de aanwezigheid van normalisatielagen. Eerdere pogingen, zoals "Streamlining" [30], lineariseren normalisatielagen en activatiefuncties, wat resulteert in gepropageerde gemiddelden die identiek zijn aan het gemiddelde netwerk tot de laatste laag, waardoor de selectieve voorspelling niet wordt verbeterd ondanks de toegevoegde computationele kosten.

2. Methodologie: Gekalibreerde Variantie-propagatie (CVP)

De auteurs stellen Calibrated Variance Propagation (CVP) voor, een uitgebreid framework ontworpen om nauwkeurige onzekerheidsschattingen te leveren in een enkele forward pass voor moderne architecturen, inclus\u0020bij Transformers en CNN's. CVP werkt door de standaard deterministische forward pass te vervangen door een keten van operatoren die gemiddelde-variantie paren $(\mu, \Sigma)$ door het netwerk propageren.

De methodologie adresseert drie specifieke technische hiaten:

A. Exacte Momenten voor Activatiefuncties

In tegen tegenstelling tot de Delta-methode (eerste-orde Taylor-linearisatie) die in eerder werk werd gebruikt, waarbij de gepropageerde gemiddelde onafhankelijk blijft van de input-variantie, maakt CVP gebruik van exacte moment-matching voor niet-lineaire activaties. Uitgaande van Gaussische inputs, gebruikt CVP gesloten vorm-expressies voor de gemiddelde en variantie van GELU, sigmoid, tanh en ReLU activaties. Dit zorgt ervoor dat het gepropageerde gemiddelde bij elke niet-lineariteit afwijkt van de voorspelling van het gemiddelde netwerk, waardoor input-afhankelijke onzekerheid wordt gevangen.

B. Verwachtingsgebaseerde Regel voor Normalisatielagen

Een kernbijdrage is een nieuwe propagatieregel voor normalisatielagen (bijv. LayerNorm). Eerdere methoden lineariseerden de variantie-term $s^2(x)$ naar $s^2(\mu_x)$, waardoor de operatie reduceert tot een deterministische affine transformatie van het gemiddelde. CVP vervangt $s^2(x)$ door de verwachting onder de input-distributie:
$$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$$
waarbij $\bar{\Sigma}_x$ het gemiddelde is van de diagonale input-varianties. Dit maakt de LayerNorm-operatie affien ten opzichte van de input-momenten, waardoor exacte propagatie van onzekerheid door normalisatielagen mogelijk wordt, die centraal staan in Transformer-architecturen.

C. Per-laag Kalibratie

Om de accumulatie van benaderingsfouten (voortvloeiend uit diagonaal-covariantie en Gaussische-input aannames) naarmate de diepte toeneemt tegen te gaan, introduceert CVP leerbare per-laag schalingfactoren ($\alpha_i$). Deze factoren schalen de gepropageerde variantie multiplicatief na belangrijke lagen (specifiek vóór activatie- en normalisatielagen). De $\alpha_i$ parameters worden gefit in een lichtgewicht kalibratiefase door de Negative Log-Likelihood (NLL) te minimaliseren op een apart gehouden validatieset, analoog aan temperature scaling maar dan toegepast op laagniveau.

3. Belangrijkste Bijdragen

1. Variante-propagatieregel voor Normalisatielagen: De auteurs ontwikkelen een nieuwe regel voor normalisatielagen die een aanzienlijk betere getrouwheid biedt aan MC sampling vergeleken met linearisatie, gevalideerd op zowel synthetische data als echte modelactivaties.
2. Per-laag Kalibratiefase: De introductie van leerbare schalingfactoren corrigeert systematische foutaccumulatie, wat de kalibratie en cruciaal, de prestaties van selectieve voorspelling, aanzienlijk verbetert.
3. Geoptimaliseerde Implementatie: De CVP-implementatie draait in een enkele forward pass met een computationele kost die ongeveer 2–3 keer hoger is dan een deterministische forward pass, wat substantiële betrouwbaarheidswinsten oplevert zonder de herhaalde sampling-overhead van MC-methoden.

4. Experimentele Resultaten

CVP werd geëvalueerd op unimodale (Beeldclassificatie: CIFAR-10, CIFAR-100, ImageNet) en multimodale (VQA: VQAv2; Visueel Redeneren: NLVR2) benchmarks met gebruik van de IVON variational optimizer.

• Efficiëntie-Betrouwbaarheid Afruil: CVP Pareto-domineert consistent zowel het gemiddelde netwerk als MC sampling. Het bereikt een onzekerheidskwaliteit die vergelijkbaar is met MC sampling (bijv. 4 samples) tegen een fractie van de kosten (ongeveer 2,3–2,9x de kosten van een enkele pass versus 4x voor 4 samples).
• Selectieve Voorspelling: CVP vertoont duidelijke verbeteringen in Coverage at Risk (C@R). Zo verbeterde CVP op de NLVR2 benchmark met BEiT-3 de dekking bij 0,5% risico van 8,2% (Streamlining) naar 14,6%. Op VQAv2 met ViLT verbeterde het van 2,6% naar 10,8%.
• Vergelijking met Streamlining: Terwijl Streamlining de kalibratie licht verbetert ten opzichte van het gemiddelde netwerk, slaagt het er niet in de selectieve voorspelling te verbeteren omdat het gepropageerde gemiddelde identiek blijft aan dat van het gemiddelde netwerk. De vroege divergentie van CVP in het gemiddelde en de laag-gewijze kalibratie zorgen ervoor dat het Streamlining aanzienlijk overtreft.
• Ablatie-studies: Het verwijderen van een component van CVP (exacte activatie-momenten, normalisatie-regel, of per-laag kalibratie) verslechtert de prestaties, wat bevestigt dat alle drie de elementen noodzakelijk zijn voor de geobserveerde winst.

5. Betekenis en Claims

Het artikel claimt dat CVP een kritieke kloof in Bayesiaans Deep Learning vult door sampling-vrije onzekerheidsschatting mogelijk te maken voor moderne, grootschalige architecturen. De betekenis ligt in:

• Praktiseerbaarheid: Het biedt een levensvatbaar alternatief voor MC sampling voor real-time, veiligheidskritische systemen waar herhaalde inferentie niet haalbaar is.
• Architecturale Generaliteit: Het is de eerste variantie-propagatie framework die succesvol is uitgebreid naar multimodale Transformers en ResNets, waarbij de beperkingen van eerdere methoden die beperkt waren tot MLP-achtige structuren, zijn overwonnen.
• Prestaties: Het levert consistente Pareto-verbeteringen, waarbij het betrouwbaarheidsmetrieken (kalibratie en selectieve voorspelling) biedt die overeenkomen met of de dure MC sampling-methoden overtreffen, terwijl de lage latentie behouden blijft.

De auteurs erkennen beperkingen, waarbij zij opmerken dat CVP ongeveer een dubbele geheugenvoetafdruk met zich meebrengt van een deterministische pass (om varianties op te slaan) en een helder gehouden set vereist voor kalibratie. Bovendien zijn de huidige experimenten beperkt tot encoder-stijl architecturen met classificatie- of VQA-heads, waarbij autoregressieve generatie een onderwerp voor toekomstig werk is. Desalniettemin vestigt de methode een nieuwe baseline voor efficiënte, betrouwbare onzekerheidskwantificatie in deep learning.