Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

Technische Samenvatting: Gaussian Mean Field Variational Inference kan de predictieve variantie overschatten

Probleemstelling
Mean Field Variational Inference (MFVI) wordt in de literatuur breed gekarakteriseerd als een benadering die de posterieure variantie onderschat, wat leidt tot overmoedige voorspellingen. Deze karakterisering komt voort uit de observatie dat MFVI, door de posterieure verdeling over parameters te factoriseren, fungeert als een mode-fitting benadering in de parameterruimte, waarbij gebieden met een lage waarschijnlijkheid worden vermeden en zo de variantie van de parameterverdeling wordt verkleind. Dit artikel betoogt echter dat deze karakterisering incompleet is wanneer de doelstelling verschuift van parameterinferentie naar predictie. Specifiek demonstreren de auteurs dat hoewel MFVI de variantie in de parameterruimte kan onderschatten, het paradoxaal genoeg de predictieve variantie kan overschatten voor testpunten die zijn getrokken uit de trainingsdistributie (In-Distribution of ID-data). Deze overschatting is bijzonder uitgesproken in richtingen waar de trainingsdata geconcentreerd is.

Methodologie
De auteurs voeren een rigoureuze theoretische analyse uit met behulp van Conjugate Bayesian Linear Regression (BLR) als een hanteerbare setting om exacte resultaten af te leiden.

• Setup: Ze gaan uit van een lineair model $y = \theta^\top x + \epsilon$ met Gaussische ruis, een Gaussische prior $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$, en een trainingsdataset $D$.
• Exact vs. Benadering: Ze vergelijken de exacte posterieure $p(\theta|D)$, een Multivariate Gaussian met covariantie $\Sigma$, met de MFVI-posterieure $q(\theta) = \mathcal{N}(m, S)$, waarbij $S$ gedwongen diagonaal is.
• Theoretische Afleiding:
  • Ze leiden af dat de optimale MFVI-gemiddelde $m^*$ gelijk is aan het exacte posterieure gemiddelde $\mu$.
  • Ze tonen aan dat de optimale MFVI-covariantie-eigenwaarden $d_p^*$ de gewogen harmonische gemiddelden zijn van de exacte posterieure eigenwaarden $\delta_q$, gewogen door de gekwadrateerde projecties van de exacte posterieure eigenvectoren op de canonieke basisvectoren.
  • Gebruikmakend van deze eigenschappen analyseren ze de predictieve variantie $x^\top S^* x$ versus $x^\top \Sigma x$ voor verschillende testpunt-distributies.
• Temperatuur Schaling: Om dit discrepantie aan te pakken, verkennen de auteurs het Cold Posterior Effect (CPE). Ze definiëren een "Cold MFVI" posterieure door de KL-divergentie te minimaliseren ten opzichte van een getemperde (koude) posterieure $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ met $T < 1$. In het geval van de conjunctieve Gaussische verdeling betekent dit simpelweg het schalen van de MFVI-covariantie met $T$ ($S^*_T = T S^*$).

Belangrijkste Bijdragen

1. Theoretisch Bewijs van Overschatting: Het artikel bewijst dat voor BLR met sferische priors, MFVI de predictieve variantie langs de eerste hoofdcomponent van de trainingsdata overschat. Cruciaal is dat voor testpunten die verdeeld zijn volgens de empirische trainingsdistributie, de verwachte predictieve variantie van MFVI groter is dan die van de exacte posterieure (Theorem 3.7).
2. Calibratie Constante: De auteurs stellen een "calibratie"-eigenschap vast (Lemma 3.6): de ratio van de MFVI-variantie tot de exacte variantie, gemiddeld over de eigenvectoren van de ware posterieure, is gelijk aan 1. Dit impliceert dat als MFVI de variantie in sommige richtingen onderschat (meestal die loodrecht op de data staan), het deze in andere richtingen moet overschatten (meestal de richtingen met een hoge data-variantie) om dit te compenseren.
3. Pathologisch Hoog-Dimensionale Limiet: In een pathologische opstelling waar de data op een rank-1 subruimte ligt, laten de auteurs zien dat wanneer de dimensie $P \to \infty$, de MFVI-posterieure de predictieve variantie vergeleken met de prior niet meer vermindert. De informatie uit de enkele datariichting wordt verdund over de $P$ as-georiënteerde componenten, waardoor de MFVI-predictie naar de prior-predictie convergeert.
4. Herinterpretatie van het Cold Posterior Effect: Het artikel biedt een nieuwe verklaring voor het Cold Posterior Effect (CPE) in de afwezigheid van model mismatch of data-augmentatie. Ze argumenteren dat het verlagen van de temperatuur ($T < 1$) de overschatting van de predictieve variantie op ID-data corrigeert, waardoor de MFVI-voorspellingen dichter bij de exacte posterieure komen. Omgekeerd kan voor OOD-data (Out-of-Distribution), die loodrecht op de trainingsrichtingen staat, een "warme" posterieure ($T > 1$) nodig zijn om de onderschatting te corrigeren.

Resultaten

• Synthetische Experimenten: In laag-dimensionale settings ($P=2$) benadert MFVI bij $T=1$ de exacte posterieure goed. Echter, in hoog-dimensionale settings ($P=1024$) met rank-arme data, is MFVI bij $T=1$ niet meer te onderscheiden van de prior, waardoor het er niet in slaagt de informatie in de data te vangen.
• Temperatuur Tuning: Experimenten op synthetische en real-world UCI regressie-taken (gebruikmakend van Basis Function Regression) bevestigen dat:
  • Voor ID-testdata is de optimale temperatuur $T^*$ consistent kleiner dan 1, wat de verschillende statistische divergenties (KL, Wasserstein, etc.) tussen de MFVI en de exacte predictieve distributies minimaliseert.
  • Voor OOD-testdata (loodrecht op de trainingsrichtingen) is de optimale temperatuur vaak groter dan 1.
• Basis Function Regression: De toepassing van deze inzichten op niet-lineaire regressie via Radial Basis Functions (RBF) laat zien dat de overschattingspathologie schaalt met het aantal basisfuncties (dimensionaliteit), wat de bevindingen van de lineaire regressie weerspiegelt.

Betekenis en Claims
Het artikel claimt een mechanistisch begrip te bieden van waarom MFVI onderconfident kan zijn (de variantie kan overschatten) op in-distributie data, wat de standaard dogma dat MFVI altijd overconfident is, uitdaagt.

• Volledigheid van Karakterisering: De auteurs stellen dat het narratief "MFVI onderschat onzekerheid" incompleet is; de richting van de fout hangt af van de testdistributie relatief aan de trainingsdata.
• Rechtvaardiging van CPE: Het werk biedt een nieuwe rechtvaardiging voor het Cold Posterior Effect (CPE), die verschilt van verklaringen die betrokken zijn bij gespecificeerde likelihoods of priors. Ze suggereren dat temperen een noodzakelijke correctie is voor de specifieke benaderingsfouten die door de mean-field aanname in hoog-dimensionale, gecorreleerde data-settings worden geïntroduceerd.
• Praktische Implicatie: De bevindingen suggereren dat voor taken waarbij testdata de trainingsdata nabootst, het toepassen van een cold posterior (het verlagen van de temperatuur) op MFVI de predictieve kalibratie en prestaties aanzienlijk kan verbeteren, waardoor de benaderde posterieure beter in lijn komt met de exacte Bayesiaanse oplossing.

De auteurs blijven bescheiden en merken op dat hun theoretische resultaten zijn afgeleid van conjunctieve lineaire modellen, maar zij demonstreren empirisch dat deze intuïties zich uitstrekken tot niet-lineaire basis-functie regressie en real-world datasets. Ze beweren niet alle VI-beperkingen op te lossen, maar willen een specifieke, contra-intuïtieve foutmodus van MFVI in predictieve settings corrigeren.