A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties

1. Probleemstelling

Bayesiaanse Neurale Netwerken (BNN's) zijn essentieel voor het kwantificeren van voorspellende onzekerheid, met name voor het onderscheid tussen epistemische onzekerheid (modelonzekerheid door beperkte data) en aleatorische onzekerheid (dataraas).

• De Uitdaging: In veel toepassingen, vooral die welke heteroscedastische onzekerheden vereisen (waarbij ruisniveaus variëren met de invoer), vereisen standaardbenaderingen dat de BNN de aleatorische variantie als een extra netwerkkop naast de voorspelde gemiddelde waarde uitvoert.
• De Beperking: Het toevoegen van een uitvoerknooppunt voor variantie verhoogt het aantal leerbare parameters en de architecturale complexiteit. Dit is nadelig voor lichtgewicht BNN's die bedoeld zijn voor implementatie op systemen met beperkte hardware of waar de rekentijd beperkt is.
• Het Gat: Bestaande methoden dwingen vaak een afweging tussen modelgrootte en het vermogen om complexe, invoerafhankelijke ruisstructuren vast te leggen.

2. Methodologie

De auteurs stellen een nieuw inferentiekader voor dat de noodzaak voor een aparte uitvoerknooppunt voor aleatorische onzekerheid elimineert door zowel aleatorische als epistemische onzekerheden direct in de varianties van de leerbare parameters van de BNN in te bedden.

A. Herinterpretatie van Parameterverdelingen

In plaats van de variantie van Bayesiaanse neuronaire parameters uitsluitend als representatie van epistemische onzekerheid te behandelen, herinterpreteren de auteurs deze verdelingen om de totale voorspellende onzekerheid (aleatorisch + epistemisch) te coderen.

• Standaardbenadering: $Var(\hat{y}) = \sigma^2_{epistemisch}$. Aleatorische variantie ($\sigma^2_{aleatorisch}$) wordt voorspeld als een aparte uitvoer.
• Voorgestelde Benadering: De totale variantie $\sigma^2_k$ voor een gegeven invoer $k$ wordt gedefinieerd als de som van aleatorische en epistemische varianties:
  $$\sigma^2_k = \sigma^2_{a,k} + \sigma^2_{e,k}$$
  Tijdens het trainen minimaliseert het netwerk de Evidence Lower Bound (ELBO), waarbij de reconstructieverlies ervan uitgaat dat de uitvoerverdeling Gaussisch is met variantie $\sigma^2_k$. De variantie $\sigma^2_k$ wordt berekend als de variantie van de BNN-uitvoer afgeleid van de parameterverdelingen, waardoor het aleatorische ruis effectief in de parametervarianties wordt "opgenomen".

B. Steekproefvrije Variatie-inferentie via Momentenpropagatie

Om de rekenefficiëntie te behouden en de kosten van Monte Carlo-steekproeven te vermijden, maken de auteurs gebruik van een momentenpropagatie-schema.

• Mechanisme: Het gemiddelde en de variantie van de invoer voor elke laag worden analytisch door het netwerk gepropageerd om het gemiddelde en de variantie van de uitvoer te berekenen.
• Lagehandeling:
  • Volledig Verbonden & Convolutioneel: Exacte analytische propagatie van gemiddelden en varianties, uitgaande van onafhankelijkheid tussen neuronen.
  • Leaky-ReLU: Benaderde propagatie, uitgaande van dat de invoer voor de activatiefunctie normaal verdeeld is. De auteurs leiden gesloten-formule uitdrukkingen af voor het gemiddelde en de variantie van de uitvoer met behulp van de wet van totale verwachting en variantie, waarbij afgeknipte normale verdelingen betrokken zijn.
• Voordeel: Dit maakt deterministische inferentie mogelijk zonder herhaaldelijke steekproeven, waardoor het kader geschikt is voor lichtgewicht, real-time toepassingen.

3. Belangrijkste Bijdragen

1. Inbedding van Parametervariantie: Een conceptuele verschuiving waarbij de varianties van BNN-weights en biases worden getraind om de som van aleatorische en epistemische onzekerheden te vertegenwoordigen, waardoor de noodzaak voor een toegewijde uitvoerkop voor variantie wordt weggenomen.
2. Lichtgewicht Architectuur: Het kader stelt BNN's in staat om heteroscedastische onzekerheden vast te leggen met minder leerbare parameters in vergelijking met standaardbenaderingen met "geleerde variantie".
3. Steekproefvrije Inferentie: Integratie van een vereenvoudigde momentenpropagatietechniek die analytische onzekerheidsschattingen biedt, waardoor de rekenoverhead van Monte Carlo-dropout of steekproeven wordt vermeden.
4. Unificerend Kader: Een complete pijplijn die de herinterpretatie van onzekerheidsbronnen combineert met efficiënte momentenpropagatie voor training en inferentie.

4. Experimentele Resultaten

De auteurs evalueerden hun "Embedded Variance"-benadering tegenover de standaard "Learned Variance"-benadering (waarbij variantie een aparte uitvoer is) met behulp van een polynoomregressietaken met heteroscedastisch Gaussisch ruis.

• Prestaties in Lichtgewicht Regimes:
  • Met een klein aantal verborgen neuronen (bijv. 4) voorspelde het Embedded Variance-model nauwkeurig zowel de trend als de onzekerheid voor data binnen de verdeling en uitte correct hoge onzekerheid voor data buiten de verdeling.
  • Het Learned Variance-model slaagde er niet in om de ware onzekerheid voor data binnen de verdeling te herstellen en onderschatte de onzekerheid aanzienlijk voor data buiten de verdeling met dezelfde kleine architectuur.
• Parameter-efficiëntie:
  • Voor een vast aantal neuronen vereiste het "Learned Variance"-model ongeveer 34% meer leerbare parameters dan het "Embedded Variance"-model om vergelijkbare prestaties te bereiken.
  • De "Embedded Variance"-benadering bereikte een lagere reconstructieverlies (negatieve log-waarschijnlijkheid) in het regime met weinig parameters.
• Generalisatie:
  • De "Embedded Variance"-modellen toonden een betere generalisatie naar data buiten de verdeling, met een meer geleidelijke toename van het reconstructieverlies naarmate de data zich verwijderde van de trainingsverdeling in vergelijking met de "Learned Variance"-modellen.
• Schaalbaarheid: Naarmate de netwerkmaat toenam (bijv. 1024 neuronen), nam de prestatiekloof af en presteerden beide methoden vergelijkbaar, wat suggereert dat de voorgestelde methode het meest kritiek is voor resource-beperkte, lichtgewicht modellen.

5. Betekenis

Dit werk adresseert een kritieke bottleneck bij het implementeren van Bayesiaanse Neurale Netwerken voor edge computing en veiligheidskritieke systemen.

• Efficiëntie: Door de noodzaak voor extra uitvoerknooppunten om ruis te voorspellen te verwijderen, vermindert de methode de modelgrootte en de rekenkosten aanzienlijk, waardoor BNN's haalbaar worden voor hardware met strikte beperkingen.
• Robuustheid: Het vermogen om heteroscedastische onzekerheden vast te leggen zonder de modelcomplexiteit te verhogen, zorgt ervoor dat lichtgewicht modellen geen afbreuk doen aan betrouwbaarheid of veiligheidsbeoordelingen.
• Praktijktoepasbaarheid: De steekproefvrije aard van de inferentie zorgt voor snellere voorspellingstijden, wat essentieel is voor real-time toepassingen waar latentie een probleem is.

Kortom, het artikel toont aan dat totale onzekerheid effectief in de parameterverdelingen van een BNN kan worden "gebakken", wat een superieur alternatief biedt voor traditionele multi-outputkoppen voor lichtgewicht, heteroscedastische onzekerheidskwantificering.