🤖 machine learning

bde: A Python Package for Bayesian Deep Ensembles via MILE

Het artikel introduceert "bde", een gebruiksvriendelijk Python-pakket gebaseerd op JAX dat Microcanonische Langevin Ensembles (MILE) implementeert om scikit-learn-compatibele Bayesiaanse Deep Ensembles te bieden voor efficiënt trainen, bemonsteren en kwantificeren van onzekerheid bij regressie- en classificatietaken met tabulaire data.

Oorspronkelijke auteurs: Vyron Arvanitis, Angelos Aslanidis, Emanuel Sommer, David Rügamer

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vyron Arvanitis, Angelos Aslanidis, Emanuel Sommer, David Rügamer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. Je zou een enkele expertmeteoroloog om een voorspelling kunnen vragen. Die zou wel eens gelijk kunnen hebben, maar als hij het fout heeft, heb je geen idee hoe fout hij het heeft, of waarom hij die fout maakte.

Stel je nu in plaats daarvan voor dat je een team van acht verschillende meteorologen inhuurt. Je vraagt ze allemaal om de data te bestuderen en hun beste schatting te geven. Als ze het allemaal met elkaar eens zijn, voel je je zeer zeker. Als ze het oneens zijn, weet je dat er onzekerheid is, en kun je de spreiding van hun antwoorden bekijken om het risico te begrijpen.

bde is een nieuw computergereedschap (een Python-pakket) dat precies dit doet, maar dan voor kunstmatige intelligentie. Het helpt onderzoekers en datawetenschappers om "teams" van AI-modellen te bouwen voor het maken van voorspellingen en, cruciaal, om je te vertellen hoe zeker die voorspellingen zijn.

Hier is een uitleg van hoe het werkt, met behulp van eenvoudige metaforen:

1. Het probleem: De "Black Box" van AI

De meeste moderne AI-tools zijn als een "black box". Je voert data in en er komt een getal uit. Maar de box vertelt je niet of het wild aan het gokken is of dat het absoluut zeker is. In de echte wereld is het weten hoe zeker de AI is (zogenaamde Uncertainty Quantification of onzekerheidskwantificatie) net zo belangrijk als de voorspelling zelf.

2. De oplossing: Een team van AI-experts (Bayesian Deep Ensembles)

Het bde-pakket creëert een Bayesian Deep Ensemble. Denk hierbij aan een comité van AI-modellen.

Het team: In plaats van één AI, traint het acht (of meer) licht verschillende versies van dezelfde AI.
Het doel: Elke versie leert de data op zijn eigen unieke manier. Wanneer ze stemmen over een voorspelling, geeft de groep je een veel slimmer antwoord dan enig enkel lid zou kunnen geven.

3. Hoe het werkt: De twee-stapsdans (MILE)

Het artikel introduceert een specifieke methode genaamd MILE (Microcanonical Langevin Ensembles). Je kunt dit zien als een twee-stapsdansroutine die de AI uitvoert om de beste antwoorden te vinden:

Stap 1: De sprint (Optimalisatie)
Eerst rent het AI-team een snelle sprint om het "hooggelegen terrein" te vinden. Ze scannen de data snel om de meest waarschijnlijke antwoorden te vinden (de toppen van een berg). Dit gebeurt met een standaard, snelle trainingsmethode.
Stap 2: De wandeling (Sampling)
Zodra ze het hooggelegen terrein hebben gevonden, stoppen ze daar niet zomaar. Ze beginnen te "wandelen" rond de top. Dit is het sampling-gedeelte. Ze verkennen het gebied rond het beste antwoord om te zien hoe het landschap eruitziet. Zijn er andere toppen in de buurt? Is de grond onstabiel?
- Waarom dit doen? Deze wandelfase stelt de AI in staat om de vorm van de onzekerheid te begrijpen. Het geeft je niet slechts één getal; het geeft je een kaart van mogelijkheden.

4. Waarom het snel en krachtig is

Normaal gesproken is het doen van deze "wandeling" (sampling) ontzettend traag en vereist het supercomputers. bde lost dit op door een speciale engine genaamd JAX te gebruiken.

De analogie: Stel je voor dat je één chef-kok hebt die acht verschillende maaltijden één voor één probeert te koken. Het kost veel tijd. bde is als een keuken met acht chefs die perfect synchroon tegelijkertijd werken. Het gebruikt de kracht van je computer (CPU's, GPU's of TPUs) om alle AI-modellen gelijktijdig te draaien, waardoor het proces snel genoeg wordt voor dagelijks gebruik.

5. Voor wie is het?

Het artikel stelt dat bde is ontworpen voor tabulaire data – denk aan spreadsheets met rijen en kolommen (zoals verkoopregistraties, weergegevens of fietsverhuurlogboeken).

Het sluit naadloos aan bij scikit-learn, de populairste toolkit voor datawetenschappers. Dit betekent dat als je al weet hoe je standaard data-tools gebruikt, je bde kunt gebruiken zonder complexe wiskunde te hoeven leren of de "engine" vanaf nul te hoeven programmeren.
Het behandelt zowel Regression (het voorspellen van een getal, zoals "hoeveel fietsen zullen worden gehuurd?") als Classification (het voorspellen van een categorie, zoals "zal het regenen of niet?").

6. Wat hebben ze bewezen?

De auteurs hebben bde getest op real-world datasets (zoals windsnelheid op een vleugelprofiel en vraag naar fietsverhuur).

Het resultaat: Hun tool presteerde even goed als, of beter dan, andere toonaangevende AI-modellen qua nauwkeurigheid.
De grote winst: Belangrijker nog, het bood betere onzekerheidsschattingen. Het was beter in het vertellen wanneer het het niet zeker wist, wat essentieel is voor het nemen van veilige, betrouwbare beslissingen.

Samenvatting

bde is een gebruiksvriendelijk hulpmiddel waarmee je een "comité" van AI-modellen kunt bouwen om voorspellingen te doen. Het gebruikt een slimme twee-stapsmethode (snelle sprinten gevolgd door zorgvuldig wandelen) om niet alleen de toekomst te voorspellen, maar ook om je te vertellen hoe zeker het is in die voorspelling. Het doet dit snel door gebruik te maken van parallelle verwerking, waardoor geavanceerde, "onzekerheidsbewuste" AI toegankelijk wordt voor iedereen die werkt met spreadsheet-achtige data.

Technische Samenvatting van "bde: Een Python-pakket voor Bayesiaanse Deep Ensembles via MILE"

Probleemstelling
Betrouwbare onzekerheidskwantificatie (UQ) is een kritisch onderdeel van moderne machine learning-systemen. Hoewel Bayesiaanse Deep Learning (BDL) een principieel kader biedt om dit te bereiken, blijven toegankelijke hulpmiddelen voor steekproefgebaseerde inferentie in Bayesiaanse neurale netwerken schaars. Bestaande frameworks voor probabilistisch programmeren ondersteunen doorgaans Markov Chain Monte Carlo (MCMC), maar vereisen aanzienlijke handmatige configuratie om concurrerende prestaties te behalen op modellen van neurale netwerken. Bovendien ontbreekt het aan gebruiksvriendelijke implementaties die hoogpresterend MCMC-onderzoek verbinden met praktische data science-workflows, met name voor tabulaire supervised learning-taken.

Methodologie: De MILE-aanpak
Het artikel introduceert bde, een Python-pakket dat Microcanonical Langevin Ensembles (MILE) implementeert, een hybride steekproeftechniek ontworpen voor Bayesiaanse Deep Ensembles (BDEs). De methodologie volgt een inferentieproces in twee fasen:

Optimalisatiefase: Het systeem optimaliseert $n_{members}$ onafhankelijke instanties van een flexibel configureerbaar feed-forward neurale netwerk. Dit wordt bereikt via geregulariseerde empirische risicominimalisatie (met negatieve log-waarschijnlijkheid als verliesfunctie) met de AdamW-optimizer. Het doel is om diverse modes met hoge waarschijnlijkheid te vinden.
Steekproeffase: Het proces gaat over naar een steekproeffase met behulp van Microcanonical Langevin Monte Carlo (MCMC). Deze fase wordt versterkt met een afstemmingsfase die specifiek is aangepast voor Bayesiaanse Neurale Netwerken.

De combinatie van deze fasen stelt het ensemble in staat om eerst diverse modes te lokaliseren en vervolgens lokale posterior-structuren te verkennen, waardoor een ensemble van steekproeven wordt gegenereerd dat een impliciete posterior-benadering vormt.

Softwareontwerp en Implementatie
Het bde-pakket is ontworpen om gebruik te maken van de snelheid en hoogpresterende mogelijkheden van JAX en blackjax, gecombineerd met de gebruiksvriendelijke API van scikit-learn. Belangrijke ontwerpeigenschappen zijn:

Parallelisatie: Aangezien optimalisatie en steekproeven over ensembleleden onafhankelijk zijn, maakt het pakket gebruik van JAX's parallelisatie en just-in-time compilatie om efficiënt te schalen over CPU's, GPU's en TPUs.
Interface: Het biedt een uniforme interface voor puntvoorspellingen, geloofwaardige intervallen, dekkingsschattingen en andere onzekerheidsmaten.
Workflow: Het pakket automatiseert de coördinatie van optimalisatie, steekproeven, parallelisatie en voorspellende inferentie, waarbij de gebruiker geen gespecialiseerde kennis van MCMC-dynamica, initialisatiestrategieën of JAX-internals vereist.

Belangrijkste Bijdragen

Eerste Gebruiksvriendelijke MILE-implementatie: bde biedt de eerste toegankelijke implementatie van MILE, een techniek die sterke voorspellende nauwkeurigheid en gekalibreerde onzekerheid voor Bayesiaanse neurale netwerken heeft aangetoond.
Scikit-learn-compatibiliteit: Door te voldoen aan de scikit-learn-API maakt het pakket naadloze integratie in bestaande machine learning-workflows mogelijk.
Focus op Tabulaire Data: Het richt zich specifiek op tabulaire supervised learning-taken, waaronder distributionele regressie en (multi-class) classificatie.
Reproduceerbaarheid: Het pakket bevat geautomatiseerde configuraties en experimentele opstellingen om reproduceerbare UQ in tabulaire machine learning te garanderen.

Resultaten
De auteurs hebben bde getoetst op de airfoil en bikesharing-datasets, waarbij ze het vergeleken met Lineaire Modellen, Random Forests, XGBoost, CatBoost, Deep Ensembles en TabPFN (V2).

Prestaties: Op de airfoil-dataset behaalde bde een RMSE van $0.1215 \pm 0.0042$ , wat beter was dan de meeste concurrenten, waaronder TabPFN ($0.1359$) en Deep Ensembles ($0.3650$). Op de bikesharing-dataset behaalde het een RMSE van $0.2261 \pm 0.0016$ .
Onzekerheidskwantificatie: De resultaten benadrukken concurrerende out-of-the-box prestaties in UQ, met name door de native capaciteit voor distributionele regressie. bde toonde sterke prestaties in Negative Log-Likelihood (NLL)-maten, met $-0.9126$ (distr. regr.) op airfoil en $-0.7315$ op bikesharing.
Berekeningskosten: De auteurs erkennen dat hoewel sterk geoptimaliseerde BDE's hogere berekeningskosten met zich meebrengen dan op optimalisatie gebaseerde concurrenten vanwege de iteratieve aard van MCMC-steekproeven, deze investering de constructie van een flexibele, niet-parametrische posterior-benadering mogelijk maakt.

Betekenis en Beweringen
Het artikel positioneert bde als een brug tussen hoogpresterend MCMC-onderzoek en praktische data science. De opname in de scikit-learn-contrib-organisatie zorgt voor naleving van strenge softwarestandaarden en API-consistentie, waardoor het een vertrouwd, community-klaar hulpmiddel is. De auteurs beweren dat bde onderzoekers en praktici in staat stelt om Bayesiaanse Deep Ensembles voor tabulaire data eenvoudig toe te passen zonder gespecialiseerde kennis van de onderliggende complexe dynamica, waardoor reproduceerbare onzekerheidskwantificatie in machine learning wordt vergemakkelijkt.