SunBURST: Deterministic GPU-Accelerated Bayesian Evidence via Mode-Centric Laplace Integration

Titel en Context

Titel: SunBURST: Deterministische GPU-versnelde Bayesiaanse Evidentie via Modecentrische Laplace-integratie
Auteur: Ira Wolfson (Braude College of Engineering, Israël)
Datum: 29 januari 2026 (voorgesteld)

1. Het Probleem: De Vervloektheid van Dimensie

Bayesiaanse modelvergelijking vereist de berekening van de marginal likelihood (of evidentie, $Z$), gedefinieerd als het integral van de likelihood vermenigvuldigd met de prior over de hele parameter ruimte.

• De uitdaging: In hoge dimensies ($d$) wordt dit probleem computationeel onmogelijk door de "vervloektheid van dimensie" (curse of dimensionality). De prior-volume groeit exponentieel, terwijl de posterior-massa zich concentreert in een exponentieel klein gebied.
• Beperkingen van bestaande methoden: Traditionele methoden zoals Nested Sampling (bijv. MultiNest, PolyChord, dynesty) transformeren het probleem naar een 1D-integratie, maar vereisen nog steeds het sequentieel "inkrimpen" van de prior-volume.
  • De computationele kosten schalen als $O(K \cdot d^2)$ of erger, waarbij $K$ het aantal modi is.
  • Dit leidt tot onaanvaardbare rekentijden voor $d > 50-100$.
  • GPU-versnelling is moeilijk toe te passen omdat de iteraties van Nested Sampling sterk afhankelijk zijn van elkaar (sequentieel).

2. Methodologie: SunBURST

SunBURST is een deterministisch, GPU-natief algoritme dat de benadering volledig verandert: in plaats van de hele prior-volume te verkennen, focust het op het vinden van de modi (pieken) van de posterior en berekent het de bijdrage van elke modus analytisch via de Laplace-benadering.

Het algoritme bestaat uit vier modules, vernoemd naar Tai Chi-bewegingen (ter ere van Meester Donald Rubbo):

A. Pre-processing: Pathologische Dimensies Detecteren

Voordat de hoofdmodules starten, worden "dode" of "zachte" dimensies geïdentificeerd via gevoeligheidsprobing.

• Flat dimensies: Parameters waar de likelihood niet op reageert (analytisch gemarginaliseerd).
• Soft nuisance dimensies: Zeer zwakke constraints die numerieke problemen veroorzaken (benaderd als Gaussisch).
• Dit voorkomt numerieke instabiliteit in latere stadia.

B. Module 1: CarryTiger (Modedetectie)

Ontdekt de locatie van posterior-modi zonder voorafgaande kennis van hun aantal.

• Ray Casting: Stralen worden vanuit het centrum en randen van de prior-hyperkubus geschoten in verschillende richtingen (vertex-to-vertex, wall-to-wall, sunburst).
• ChiSao (Sticky Hands) Strategie: Een innovatieve zoekstrategie die gebruikmaakt van convergentie-anticonvergentie oscillaties.
  • Samples die een echte piek vinden "plakken" (stuck) en blijven staan.
  • Samples die niet convergeren worden hergebruikt via strategieën zoals "Repulse Monkey" (herstarten in nieuwe richtingen) en "Hands Like Clouds" (stochastische smoothing om lokale minima te overwinnen).
• Output: Ruwe schattingen van pieklocaties.

C. Module 2: GreenDragon (Piekbewerking)

Verfijnt de ruwe pieklocaties tot machine-nauwkeurigheid ($< 10^{-12}$).

• Batched L-BFGS: Gebruikt GPU-parallelle Limited-memory BFGS optimalisatie om de exacte moduslocaties te vinden.
• Trajectbank: Bewaart de optimalisatiepaden voor latere geometrie-analyse.
• Filtering: Verwijdert zadelpunten en niet-stationaire punten door de Hessian (kromming) en gradiënt te controleren.

D. Module 3: BendTheBow (Evidentieberekening)

Berekent de Bayesiaanse evidentie per modus.

• Laplace-benadering: Voor een modus $\theta^*$ met Hessian $H$, is de bijdrage:
  $$\log Z_k \approx \ell(\theta^*) + \frac{d}{2}\log(2\pi) - \frac{1}{2}\log|\det(-H)|$$
• Geometrie-detectie: Het algoritme detecteert automatisch of de posterior georiënteerd is langs de assen (diagonale Hessian volstaat) of geroteerd is (volle Hessian nodig).
  • Bij georiënteerde posteriors: $O(d)$ kosten.
  • Bij geroteerde posteriors: $O(d^2)$ kosten, maar volledig paralleliseerbaar op de GPU.
• Totale Evidentie: Som van de bijdragen van alle gevonden modi (via log-sum-exp).

E. Module 4: GraspBirdsTail (Optioneel)

Voert dimensionale reductie uit via eigendecompositie van de Hessian om de posterior over te dragen aan downstream-samplers (zoals PolyChord) als volledige posterior-sampling nodig is.

3. Belangrijkste Bijdragen

1. O(K) Schaling: In tegenstelling tot Nested Sampling dat $O(K \cdot d)$ "live points" vereist, schalt SunBURST lineair met het aantal modi ($O(K)$) en is vrijwel onafhankelijk van de dimensie voor de modusdetectie.
2. Sub-lineaire Wandklokschaal: Vanwege massale GPU-parallelisatie schalt de wandkloktijd sub-lineair ($O(d^{0.7})$) in plaats van exponentieel of kwadratisch.
3. Automatische Modedetectie: Ontdekt modi zonder voorafgaande kennis van het aantal of de locatie, zelfs in multimodale verdelingen.
4. Numerieke Precisie: Voor Gaussische posteriors is de Laplace-benadering wiskundig exact, wat leidt tot fouten onder de $10^{-12}$ (machine precisie).

4. Resultaten en Benchmarking

De auteurs hebben SunBURST getest op een NVIDIA RTX 3080 Laptop GPU en vergeleken met state-of-the-art methoden (dynesty, UltraNest, JAXNS).

• Dimensiebereik: SunBURST werkt succesvol tot 1024 dimensies.
  • Vergelijking: Bestaande methoden (dynesty, PolyChord) falen of timeouten vaak al bij $d > 32-64$.
• Snelheid:
  • Bij 1024 dimensies (Gaussisch) berekent SunBURST de evidentie in 6,8 seconden met machineprecisie.
  • Concurrenten timeouten na 1 uur of geven geen resultaat.
  • Snelheidswinst: 73x tot 7865x sneller dan parallelle dynesty, afhankelijk van de dimensie.
• Nauwkeurigheid:
  • Gaussisch: Fout $< 10^{-12}$ (exact).
  • Multimodaal (Gaussische mixtures): Sub-percent nauwkeurigheid (0,07% fout) met conservatieve instellingen.
  • Niet-Gaussisch: De methode faalt bij zware staarten (Student-t), schuine verdelingen (skew-normal) of holle structuren (ring), omdat de Laplace-benadering hier niet geldt. Echter, de modedetectie zelf blijft 100% betrouwbaar; de fout zit in de integratie, niet in het vinden van de piek.

5. Betekenis en Toekomstperspectief

• Paradigmaverschuiving: SunBURST toont aan dat Bayesiaanse evidentieberekening in hoge dimensies haalbaar is door te stoppen met het "verkennen van de hele ruimte" en te focussen op lokale geometrie rondom modi, gecombineerd met GPU-parallelisme.
• Toepassingen: Ideaal voor fysieke parameter-schatting, inverse problemen en kosmologische modelvergelijking (bijv. donkere energie, inflatie), waar posteriors vaak lokaal Gaussisch zijn.
• Beperkingen: Het is geen universele vervanging voor sampling. Voor sterk niet-Gaussische verdelingen (bijv. zware staarten, complexe degeneraties) blijft sampling noodzakelijk, maar SunBURST kan dienen als snelle pre-processing of schatting.
• Toekomst: De auteurs plannen uitbreidingen met "Centipede Sampling" voor gekromde manifolds en het combineren met Bridge Sampling voor zware staarten.

Conclusie: SunBURST opent de deur naar real-time Bayesiaanse modelvergelijking in dimensies die voorheen computationeel onbereikbaar waren, door de deterministische kracht van Laplace-integratie te koppelen aan de massale parallelle rekenkracht van moderne GPU's.