Direct Bethe Free Energy Minimization for Bayesian Neural Ne twork

Technische Samenvatting: Directe Bethe-vrije-energiminimalisatie voor Bayesiaanse Neuronale Netwerken

Probleemstelling
Bayesiaanse Neuronale Netwerken (BNN's) worden doorgaans getraind door de Evidence Lower Bound (ELBO) te maximaliseren. De ELBO lijdt echter aan een structurele "Jensen-gaping" die voortkomt uit de toepassing van de ongelijkheid van Jensen; deze gaping verdwijnt alleen als de benaderde posterior gelijk is aan de exacte posterior, een voorwaarde die in de praktijk zelden wordt vervuld. Bestaande alternatieven gaan gepaard met afwegingen: variatie-inferentie behoudt de gaping, post-hoc-methoden (zoals de Laplace-benadering) missen probabilistische feedback tijdens het trainen, en op steekproeven gebaseerde methoden (zoals Deep Ensembles en MC Dropout) leiden tot hoge inferentiekosten vanwege meerdere forward-passes. Bovendien vereist standaard empirisch Bayes (gezamenlijke optimalisatie van gewichten en hyperparameters) doorgaans een externe cross-validatielus of een benadering van de marginale waarschijnlijkheid, wat de rekenkundige overhead verhoogt.

Methodologie
Het artikel stelt voor om BNN's te trainen door de Bethe-vrije-energie ($F_{Bethe}$) direct te minimaliseren via gradiëntafdalende methoden, in plaats van een variatieondergrens te maximaliseren.

• Theoretische Grondslag: Op boomgestructureerde factorgrafieken is het minimaliseren van de Bethe-vrije-energie equivalent aan het vinden van overtuigingen die voldoen aan lokale consistentievoorwaarden. Op het optimum is de Bethe-vrije-energie gelijk aan de exacte negatieve log-partitiefunctie, waardoor de Jensen-gaping volledig wordt geëlimineerd.
• Architectuur: Het raamwerk accommodeert elke mix van probabilistische en deterministische subgrafieken. Specifiek instantiëren de auteurs dit met een deterministische backbone-netwerk ($\psi$) en een probabilistische laatste laag met een Gaussische posterior $q(w) = \mathcal{N}(\mu, \Sigma)$.
• Gedeelde-Cavity Constructie: Om de gewichts-posterior te hanteren die wordt gedeeld over $N$ data-platen, maakt de methode gebruik van een "shared-cavity"-benadering waarbij de posterior $q(w)$ wordt gebruikt als het uitgaande bericht naar elke plaat. Hierdoor kan de Bethe-vrije-energie worden ontbonden in een som van berekenbare integralen over factoren.
• Gesloten-vorm Verliesfuncties: Door de posterior te beperken tot de laatste laag en Gaussische of probit-likelihoods te gebruiken, leiden de auteurs analytisch berekenbare verliesfuncties af:
  • Regressie (Gaussische Likelihood): De Bethe-doelstelling is gelijk aan de exacte marginale waarschijnlijkheid. Het verlies bestaat uit een heteroscedastische negatieve log-likelihood plus een prior-term.
  • Classificatie (Probit-Likelihood): Met behulp van de convolutie-identiteit voor probit-Gaussische verdelingen reduceert het verlies tot een gesloten-vorm term $-\log \Phi(t_n)$ plus de prior-term.
• Z-consistente Prior en Empirisch Bayes: De prior wordt geformuleerd als $p(w) = \mathcal{N}(0, \alpha^{-1}I)$. Cruciaal is dat de term $-\log Z_w$ (de log-partitiefunctie van de prior) de prior-precisie $\alpha$ tot een differentieerbare parameter maakt. Dit maakt single-pass empirisch Bayes mogelijk, waarbij gewichten, covariantie en hyperparameters gezamenlijk worden geoptimaliseerd in één gradiëntpass zonder een externe lus of cross-validatie.
• Inferentiekosten: De predictieve verdeling heeft een gesloten vorm en vereist slechts één deterministische forward-pass (kosten gelijkwaardig aan MAP), in tegenstelling tot ensemble- of steekproefmethoden.

Belangrijkste Bijdragen

1. Directe Bethe-minimalisatie: Een op gradiënten gebaseerd raamwerk voor het minimaliseren van de Bethe-vrije-energie in BNN's, dat iteratieve overtuigingspropagatie omzeilt en gemengde probabilistische/deterministische grafieken ondersteunt.
2. Single-Pass Empirisch Bayes: De Z-consistente prior-formulering maakt hyperparameters differentieerbaar, waardoor gezamenlijke optimalisatie van gewichten, covariantie en prior-precisie in één pass mogelijk is. De auteurs beweren dat dit prestaties op de meeste datasets gelijkwaardig zijn aan die van grid-search cross-validatie.
3. Strakkere Optimalisatiegeometrie: De Bethe-doelstelling ligt strikt tussen de Maximum A Posteriori (MAP) en de ELBO ($L_{MAP} \le L_{Bethe} \le L_{ELBO}$). Dit verwijdert de structurele Jensen-gaping die door geen enkele keuze van variatiefamilie kan worden overbrugd.
4. Gesloten-vorm Predicties: Zowel regressie- als classificatiedoelstellingen leveren gesloten-vorm predicties op, waarbij de inferentiekosten vergelijkbaar blijven met die van standaard deterministische netwerken.

Experimentele Resultaten
De methode werd geëvalueerd op 8 UCI-regressie- en 12 UCI-classificatie-benchmarks onder een gedeeld hyperparameterregime (één verborgen laag, breedte 50, full-batch Adam).

• Prestaties: Bethe-varianten (specifiek Bethe-FG met volledige covariantie en Bethe-Diag met diagonale covariantie) kwamen overeen met of overtroffen referentiemethoden (MAP, Laplace, VBLL, MC Dropout, Deep Ensembles) op het merendeel van de Negative Log-Likelihood (NLL) en kalibratiemetrics.
  • Bij regressie was Bethe-FG of Bethe-Diag het beste of gelijk aan het beste op 6 van de 8 datasets.
  • Bij classificatie waren Ordinal Bethe-varianten het beste of gelijk aan het beste op 6 van de 8 datasets.
• Vergelijking met Multi-Pass-methoden: Bethe behaalde concurrerende resultaten ten opzichte van Deep Ensembles (5x kosten) en MC Dropout (50x kosten) terwijl slechts één forward-pass nodig was.
• Empirisch Bayes versus Cross-Validatie: Gezamenlijke empirische Bayes-optimalisatie van de prior-precisie $\alpha$ kwam overeen met grid-search cross-validatieresultaten op nagenoeg alle dataset-variantcombinaties, waardoor de noodzaak van een externe hyperparameterlus wordt geëlimineerd.
• Ablatie: In een lineair-modelsetting (zonder backbone) kwam empirisch Bayes overeen met afgestemde Ridge/Probit-regressie, wat bevestigt dat het mechanisme werkt zonder verwarringseffecten van neurale netwerken.

Betekenis en Beweringen
Het artikel beweert dat directe Bethe-minimalisatie een principiële alternatief biedt voor variatie-inferentie dat de structurele Jensen-gaping inherent aan de ELBO verwijdert. Door gebruik te maken van de exactheid van de Bethe-vrije-energie op boomgestructureerde grafieken, bereikt het raamwerk:

• Gekalibreerde Onzekerheid: Zoals geïllustreerd op de Two-Moons-benchmark, produceert Bethe gekalibreerde onzekerheidscontouren die zich uitbreiden weg van de data, terwijl MAP te zelfverzekerd is en Laplace slecht geschaald is.
• Efficiëntie: Het biedt een "sterker single-pass bouwsteen" dat de prestaties van multi-pass-methoden (zoals ensembles) bereikt zonder hun inferentie-overhead.
• Optimalisatielandschap: De auteurs merken op dat hoewel het raamwerk theoretisch exact is op boomgrafieken, er praktische optimalisatie-uitdagingen bestaan (bijvoorbeeld "variance starvation" bij regressie waar observatieruis onzekerheid absorbeert, of "alpha-runaway" waarbij prior-precisie divergeert). Zij karakteriseren deze echter als specifieke faalmodi van het gezamenlijke empirische Bayes-landschap in plaats van fundamentele beperkingen van het Bethe-raamwerk zelf.

Het artikel concludeert dat deze benadering end-to-end training van Bayesiaanse neuronale netwerken mogelijk maakt met de rekenkundige efficiëntie van deterministische netwerken en de theoretische strengheid van exacte inferentie op boomgestructureerde benaderingen.