On weight and variance uncertainty in neural networks for regression tasks

Dit onderzoek toont aan dat het expliciet modelleren van onzekerheid in de variantieparameter, naast gewichtsonzekerheid, de generalisatieprestaties van Bayesiaanse neurale netwerken voor regressietaken aanzienlijk verbetert, ongeacht of er gebruik wordt gemaakt van dichtbijgelegen netwerken met Gaussische priors of dropout-netwerken met spike-and-slab priors.

De kern

Het geheim van de twijfelende voorspeller: Waarom neural networks beter leren als ze hun eigen onzekerheid erkennen

Stel je voor dat je een zeer slimme, maar soms wat overmoedige voorspeller hebt. Deze voorspeller is een Neuraal Netwerk (een soort computerhersenen) die probeert patronen te vinden in data, bijvoorbeeld om te voorspellen hoeveel riboflavine (een vitaminestof) een bacterie gaat produceren op basis van zijn genen.

In de traditionele wereld van deze computerhersenen gaat men er vaak van uit dat de "ruis" in de data (de onvoorspelbare factoren) altijd hetzelfde is. Het is alsof de voorspeller zegt: "Ik weet precies hoe de wereld werkt, en elke fout die ik maak, komt door een vaste, kleine onbekende factor."

Maar in de echte wereld is dat vaak niet zo. Soms is de data erg rommelig, soms heel schoon. Soms weten we niet precies hoe onzeker we moeten zijn.

Het probleem:
De auteurs van dit paper (Moein Monemi en zijn team) ontdekten dat deze "overmoedige" voorspellers vaak te zeker van hun zaak zijn. Ze geven een voorspelling, maar ze weten niet hoe breed hun "veiligheidsnet" moet zijn. Als ze een fout maken, is dat vaak omdat ze de variatie in de data niet goed hebben ingeschat.

De oplossing: De "Twijfelende" Neural Network
De onderzoekers hebben een nieuwe manier bedacht om deze computerhersenen te trainen. In plaats van de "ruis" (de variantie) als een vast getal te behandelen, laten ze het netwerk leren over zijn eigen onzekerheid.

Hier is hoe je het je kunt voorstellen:

1. De oude methode (Vaste Variantie):
   Stel je voor dat je een weerman bent die altijd zegt: "Morgen is het 20 graden, met een foutmarge van precies 1 graad." Hij gebruikt een vaste meetlat. Als het plotseling stormt en de temperatuur daalt tot 10 graden, zegt hij: "Dat was een rare uitzondering, mijn meetlat klopt nog steeds." Hij is niet flexibel en zijn voorspellingen zijn vaak onbetrouwbaar als de situatie verandert.

2. De nieuwe methode (Variance Uncertainty):
   Nu laten we de weerman een dynamische meetlat gebruiken. Hij zegt: "Ik denk dat het 20 graden wordt, maar ik ben niet zeker. Soms is de lucht heel rustig (kleine meetlat), en soms is het chaotisch (grote meetlat)."

   In dit nieuwe model leert het netwerk niet alleen wat het antwoord is, maar ook hoe zeker het daarover is. Het past de breedte van zijn voorspellingsinterval aan, afhankelijk van hoe rommelig de data is.

Hoe werkt dit technisch? (Zonder de moeilijke wiskunde)

Het team gebruikt een techniek genaamd Variational Bayes.

• Stel je voor: Je probeert een foto te maken van een bewegend object in de mist.
• De oude manier: Je gebruikt een statief met een vaste instelling. Als de mist dikker wordt, wordt je foto wazig, maar je camera past zich niet aan.
• De nieuwe manier: Je camera heeft een slimme sensor die merkt dat de mist dikker wordt. Hij past automatisch de scherpte en de belichting aan. Hij "leert" hoe wazig de foto kan zijn en past zijn instellingen (de variantie) daarop aan.

In dit onderzoek hebben ze dit toegepast op twee soorten netwerken:

1. Dichte netwerken: Waar alle verbindingen actief zijn.
2. Dropout-netwerken: Waar willekeurig sommige verbindingen "uitvallen" (alsof je tijdens het leren soms even stopt met kijken, om beter te leren).

Wat hebben ze ontdekt? (De resultaten)

Ze hebben hun nieuwe model getest op twee dingen:

1. Een wiskundige puzzel: Een kromme lijn die ze moesten voorspellen.
2. Een echte genetische dataset (Riboflavine): Een dataset met heel veel genen (4088!) maar heel weinig monsters (71). Dit is een klassiek geval van "te veel informatie, te weinig data", wat erg lastig is voor computers.

De uitkomsten waren indrukwekkend:

• Betere voorspellingen: Het nieuwe model maakte minder fouten dan de oude modellen.
• Veiligere voorspellingen: Dit is het belangrijkste. De oude modellen gaven vaak een heel smal voorspellingsinterval (ze waren te zeker). Als de werkelijkheid buiten dat interval viel, was de voorspelling "fout". Het nieuwe model gaf een breder interval wanneer het onzeker was.
  • Vergelijking: De oude model gaf een boogje van 1 meter breed en zei "de auto rijdt hier". Het nieuwe model gaf een boogje van 5 meter breed en zei "de auto rijdt ergens hierbinnen". In de praktijk bleek de auto bijna altijd binnen die 5 meter te zitten. Dat is veel veiliger!

Waarom is dit belangrijk?

In de echte wereld (zoals bij medische diagnoses of financiële voorspellingen) is het gevaarlijk om te zeker te zijn. Als een AI zegt: "Ik weet het zeker, dit is de diagnose," terwijl het eigenlijk onzeker is, kan dat rampzalig zijn.

Door de variantie-onzekerheid toe te voegen, krijgen we een model dat:

1. Bescheiden is: Het geeft toe als de data rommelig is.
2. Robuust is: Het wordt niet zo snel verrast door uitzonderingen.
3. Betrouwbaar is: De voorspellingsintervallen (de "veiligheidsmarges") kloppen veel beter met de werkelijkheid.

Kortom:
De onderzoekers hebben bewezen dat het slimste wat een kunstmatige intelligentie kan doen, niet alleen het vinden van het juiste antwoord is, maar ook het begrijpen van hoe onzeker dat antwoord is. Door die onzekerheid mee te nemen in de berekening, worden de voorspellingen niet alleen nauwkeuriger, maar vooral ook veiliger.

Technische samenvatting

Titel: Over gewichts- en variantie-onzekerheid in neurale netwerken voor regressietaken

Auteurs: Moein Monemi, Morteza Amini, S. Mahmoud Taheri, en Mohammad Arashi.

---

1. Het Probleem

Bayesiaanse Neurale Netwerken (BNN's) zijn krachtige modellen die onzekerheid in de modelparameters (gewichten en biases) kunnen modelleren, wat helpt bij het voorkomen van overfitting en het leveren van betrouwbaardere voorspellingen. Echter, in de bestaande literatuur, en specifiek in de populaire "Bayes by Backprop"-methode van Blundell et al. (2015), wordt de variantie van de likelihood-functie (de ruis in de data) vaak als een vaststaande, deterministische waarde behandeld.

Dit leidt tot twee belangrijke problemen:

1. Oververzekerdheid: Als de variantie verkeerd wordt geschat (vaak via kruisvalidatie of cross-validation), kan het model te zeker zijn over zijn voorspellingen, wat resulteert in te smalle voorspellingintervallen.
2. Gebrek aan epistemische onzekerheid: In situaties met weinig data of hoge dimensies (zoals genetische datasets) is de ware variantie onbekend. Het behandelen ervan als een vast punt schatting negeert de onzekerheid over de ruis zelf, wat de generalisatiecapaciteit beperkt.

Het doel van dit onderzoek is om de "Bayes by Backprop"-framework uit te breiden door variantie-onzekerheid expliciet te modelleren als een random variabele met een posterior-verdeling, in plaats van deze vast te houden.

---

2. Methodologie

De auteurs gebruiken Variational Bayes (VB) om de intractable posterior-verdeling te benaderen. Ze vergelijken twee benaderingen:

A. Bestaande Methode (VBNET-FIXED)

• Gebaseerd op Blundell et al. (2015).
• De gewichten $W$ hebben een posterior-verdeling (meestal Gaussisch), maar de variantie $\sigma^2$ is een vast hyperparameter.
• De likelihood is $y_i \sim \mathcal{N}(\phi(x_i; W), \sigma_0^2)$.

B. Voorgestelde Methode (VBNET-SVAR)

De auteurs introduceren een nieuwe parameter $S$ die de variantie van de likelihood vertegenwoordigt.

• Parametrisatie: De variantie wordt gemodelleerd als $g(S) = \log(1 + \exp(S))$ om te garanderen dat de variantie positief is.
• Posterior: Zowel de gewichten $W$ als de variantie-parameter $S$ hebben een posterior-verdeling.
  • $W \sim \mathcal{N}(\mu_w, \text{diag}(\sigma_w^2))$
  • $S \sim \mathcal{N}(\mu_L, \sigma_L^2)$
• Reparametrisatie Trick: Om de gradiënten te kunnen berekenen via Stochastic Gradient Descent (SGD), worden de steekproeven gegenereerd als:
  • $W = \mu_w + \epsilon_w \odot \sigma_w$
  • $S = \mu_L + \epsilon_L \sigma_L$
  • Waar $\epsilon$ standaardnormale ruis is.
• Doelfunctie: De methode minimaliseert de negatieve Evidence Lower Bound (ELBO), wat equivalent is aan het minimaliseren van de Kullback-Leibler (KL) divergentie tussen de benaderende verdeling en de ware posterior. Dit omvat nu termen voor zowel de gewichten als de variantie.
• Priors: Er worden twee soorten priors getest voor de gewichten:
  1. Gaussische Prior: Voor volledig verbonden (dense) netwerken.
  2. Spike-and-Slab Prior: Voor Dropout-netwerken (modelleren van sparsiteit en dropout-mechanisme).

---

3. Belangrijkste Bijdragen

1. Expliciete Modellering van Variantie-onzekerheid: Het artikel introduceert een framework waarbij de variantie van de likelihood niet vaststaat, maar wordt geleerd uit de data via een posterior-verdeling.
2. Generalisatie van Bayes by Backprop: De methode breidt het bestaande "Bayes by Backprop"-algoritme uit zonder de rekencomplexiteit significant te verhogen (er worden slechts twee extra scalair parameters geïntroduceerd: $\mu_L$ en $\rho_L$).
3. Robuustheid tegen Outliers: Door te marginaliseren over de variantie-posterior, krijgt de voorspellende verdeling "heavy tails". Dit maakt het model robuuster tegen uitschieters dan modellen met een vaste variantie.
4. Uitgebreide Validatie: De methode wordt getest op zowel synthetische data (niet-lineaire functies) als een real-world high-dimensional dataset (riboflavin-genetica), waarbij zowel dense als dropout-architecturen worden geëvalueerd.

---

4. Resultaten

De prestaties werden geëvalueerd op basis van Mean Squared Prediction Error (MSPE), Voorspellinginterval-breedte (PI Width) en Coverage Probability (CP).

Scenario 1: Niet-lineaire Functieschatting

• Resultaat: VBNET-SVAR presteerde beter dan VBNET-FIXED, standaard NN en GAM.
• Observatie: Het model met variantie-onzekerheid leverde nauwkeurigere voorspellingen en betere dekking van de testdata binnen de 95% voorspellingintervallen.

Scenario 2: Riboflavin Dataset (Genetische Data, $p \gg n$)

De dataset bevat 71 observaties en 4088 kenmerken (genexpressie). Twee scenario's werden getest:

• A. PCA-BNN (Principal Component Analysis):

  • VBNET-SVAR behaalde de laagste MSPE (0.7891 vs 1.4006 voor VBNET-FIXED).
  • Coverage: VBNET-SVAR bereikte een dekking van 98%, terwijl VBNET-FIXED slechts 80% bereikte. Dit toont aan dat VBNET-FIXED de onzekerheid door dimensiereductie onderschatte en te zeker was.

• B. Dropout-BNN (Spike-and-Slab prior, volledige features):

  • VBNET-SVAR behaalde opnieuw de beste MSPE (0.3077 vs 0.3607).
  • Coverage: VBNET-SVAR bereikte 100% dekking, terwijl VBNET-FIXED slechts 72% haalde (ver onder de nominale 95%).
  • Conclusie: In hoge dimensies ($p \gg n$) is de onzekerheid over de variantie cruciaal. VBNET-FIXED produceerde te smalle intervallen (gemiddelde breedte ~1.34) en miste de echte waarden, terwijl VBNET-SVAR bredere, veiligere intervallen (gemiddelde breedte ~3.84) produceerde die de data volledig omvatten.

---

5. Betekenis en Conclusie

Dit onderzoek toont aan dat het negeren van onzekerheid in de variantieparameter in Bayesiaanse regressiemodellen kan leiden tot oververzekerdheid en slechte generalisatie, vooral in data-schaarse of high-dimensional contexten.

• Praktische Impact: De voorgestelde methode (VBNET-SVAR) biedt een eenvoudige maar effectieve manier om BNN's robuuster te maken zonder de rekenlast aanzienlijk te verhogen.
• Betrouwbaarheid: Door de variantie te laten "leren" in plaats van vast te zetten, levert het model realistischere voorspellingintervallen op, wat essentieel is voor risicovolle beslissingen in domeinen zoals biologie en geneeskunde.
• Toekomst: De code is beschikbaar gesteld, wat de reproduceerbaarheid en adoptie van deze techniek in de gemeenschap bevordert.

Kortom, het expliciet modelleren van variantie-onzekerheid is een noodzakelijke stap voor het verbeteren van de betrouwbaarheid en nauwkeurigheid van Bayesiaanse neurale netwerken voor regressietaken.