Position: The Time for Sampling Is Now! Charting a New Course for Bayesian Deep Learning

Technische Samenvatting: "Het is tijd voor steekproeven! Een nieuwe koers voor Bayesiaanse Deep Learning"

Probleemstelling
Ondanks de theoretische belofte van Bayesiaanse Deep Learning (BDL) om een principiële kwantificering van onzekerheid te bieden, blijft de praktische adoptie van steekproefgebaseerde inferentie (SAI) beperkt. Het vakgebied wordt momenteel gedomineerd door optimalisatiegebaseerde benaderingsmethoden (zoals Variational Inference, Deep Ensembles en Laplace-benadering) vanwege hardnekkige misvattingen over de haalbaarheid, schaalbaarheid en efficiëntie van steekproeven. De auteurs betogen dat de gemeenschap een keerpunt heeft bereikt waar SAI computationele gelijkwaardigheid heeft bereikt met optimalisatiegebaseerde methoden, maar wordt gehinderd door verouderde overtuigingen en een gebrek aan robuuste end-to-end workflows voor het beheer van posterior-steekproeven.

Methodologie en Standpunt
Deze position paper stelt geen enkel nieuw algoritme voor, maar pleit voor een paradigmaverschuiving in de onderzoeksfocus en het ontwerp van workflows. De auteurs synthetiseren recente vooruitgang in kernmethodologie voor steekproeven (zoals Hamiltonian Monte Carlo, No-U-Turn Sampler en Stochastic Gradient MCMC) en softwarekaders (zoals blackjax en posteriors) om te betogen dat SAI nu levensvatbaar is voor problemen op grote schaal.

Het paper schetst drie pijlers voor deze nieuwe koers:

1. Het wegnemen van misvattingen: De auteurs gaan systematisch in op veelvoorkomende barrières, waaronder:
   • Tijdcomplexiteit: Recent bewijs toont aan dat, zodra een goede initialisatie is gevonden, de tijdkost van steekproeven vergelijkbaar is met de initiële optimalisatiestap, en vaak superieure prestaties oplevert zelfs onder gelijke computatiebudgetten.
   • Schaalbaarheid: In tegenstelling tot het geloof dat steekproeven niet schaalbaar zijn, tonen recente studies effectiviteit aan in modellen met miljoenen parameters (zoals ResNets, Vision Transformers en LLM-adapters).
   • Keuze van priors: Eenvoudige isotrope Gaussische priors blijken effectieve regularisatiemiddelen in overgeparametriseerde regimes, in tegenstelling tot het standpunt dat ze te simplistisch zijn.
   • Discretisatiefout: In hoogdimensionale BNN's is de bias die door discretisatie wordt geïntroduceerd (vaak gecorrigeerd via Metropolis-Hastings-aanpassingen) vaak ondergeschikt aan initialisatie- en Monte Carlo-fouten. Strikte aanpassing kan leiden tot lage acceptatiepercentages en inefficiëntie; daarom is onaangepaste of licht aangepaste steekproefneming in de praktijk vaak preferabel.
2. Schaalbare exploratiestrategieën: Het paper pleit voor het afstappen van restrictieve posterior-benaderingen (zoals volledig gefactoriseerde variational families) naar flexibele exploratie van het posterior-landschap. Belangrijke strategieën omvatten:
   • Geparallelliseerde exploratie: Het benutten van parallelle ketens om autocorrelatie en gevoeligheid voor lokale benaderingsfouten te verminderen, vaak met behulp van optimalisatietechnieken om ketens "warm-start" te maken nabij de typische set.
   • Hybride benaderingen: Het integreren van optimalisatiegebaseerde methoden (zoals Deep Ensembles) om robuuste initialisaties te bieden voor steekproefroutines.
3. Efficiënte inferentie en distillatie: Met de erkenning dat het genereren van steekproeven slechts de helft van de strijd is, benadrukken de auteurs de kritieke behoefte aan efficiënte opslag en inferentie.
   • Opslag: Ze pleiten tegen "naïeve verdunning" (het weggooien van steekproeven) en bepleiten het opslaan van alle gegenereerde steekproeven op schijf, aangezien de opslagkosten laag zijn in vergelijking met het informatieverlies.
   • Distillatie: Het paper stelt "posterior-steekproefdistillatie" voor als een post-hoc optimalisatiefase. Dit omvat het comprimeren van een grote set posterior-steekproeven tot een kleinere, informatiever set (via technieken zoals geleerde generatieve surrogaten of importance sampling) om het aantal forward passes dat tijdens de testfase vereist is, drastisch te verminderen.
   • Software-tooling: De auteurs roepen op tot de ontwikkeling van volwassen, end-to-end software-ecosystemen die opslag, distillatie en levering van steekproeven afhandelen, vergelijkbaar met gevestigde tools in klassieke Bayesiaanse modellering (zoals PyMC) en deep learning.

Belangrijkste Resultaten en Bewijs
Het paper synthetiseert empirische resultaten uit recente literatuur (zoals Sommer et al., 2025; Paulin et al., 2025; Deng et al., 2023) om zijn claims te onderbouwen:

• Prestatiegelijkwaardigheid en superioriteit: In taken variërend van CIFAR-10-regressie tot ImageNet-classificatie en LLM-finetuning, presteren SAI-methoden (zoals Bayesiaanse Deep Ensembles en SG-MCMC) consistent beter dan of gelijk aan sterke optimalisatiegebaseerde baselines (Deep Ensembles, SWA, Laplace) wat betreft Log Pointwise Predictive Density (LPPD) en kalibratie, vaak met een vergelijkbare of lagere runtime.
• Schaalbaarheid: Tabel 1 in het paper belicht succesvolle toepassingen van SAI op modellen met tot 218 miljoen parameters (Llama 3-adapters) en 73 miljoen parameters (Wide CNN's), wat aantoont dat SAI niet beperkt is tot kleine schaal toy-problemen.
• Inferentiekosten: Figuur 3 illustreert dat hoewel inferentiekosten voor gesampelde BNN's hoog kunnen zijn (tot 1000x vanilla netwerken), parallelisatie- en distillatiestrategieën deze kosten kunnen mitigeren, waardoor ze praktisch inzetbaar zijn voor implementatie.

Betekenis en Claims
Het paper claimt dat het vakgebied op een kritiek kruispunt staat waar het theoretische potentieel van SAI eindelijk als praktische realiteit kan worden verwezenlijkt. De auteurs stellen dat:

• SAI de toekomst is: Steekproefgebaseerde inferentie zou optimalisatiegebaseerde benaderingen moeten vervangen als de standaard voor effectieve en efficiënte inferentie in BNN's, met superieure kwantificering van onzekerheid en predictieve prestaties.
• De onderzoeksfocus moet verschuiven: De gemeenschap moet voorbij smalle algoritmische verbeteringen gaan om "end-to-end"-uitdagingen aan te pakken, specifiek het beheer, de distillatie en de implementatie van posterior-steekproeven.
• Misvattingen zijn de primaire barrière: Het grootste obstakel voor adoptie is niet computationele onuitvoerbaarheid, maar eerder hardnekkige misvattingen en een gebrek aan tooling. Door deze aan te pakken, kan de gemeenschap het volledige potentieel van BDL ontsluiten.
• Pragmatische toepassing in foundation models: Hoewel volledige-model-steekproeven van enorme foundation models (zoals GPT-5) mogelijk onhaalbaar blijven, pleit het paper voor hybride benaderingen (zoals het steekproeven van low-rank adapters) die robuuste kwantificering van onzekerheid mogelijk maken in discriminatieve taken en gestructureerde generatie zonder prohibitieve kosten.

Concluderend positioneert het paper SAI niet louter als een alternatief voor optimalisatie, maar als een noodzakelijke evolutie voor Bayesiaanse Deep Learning, mits de gemeenschap zich toewijdt aan het bouwen van de benodigde infrastructuur en workflows om dit te ondersteunen.