NUBO: A Transparent Python Package for Bayesian Optimization

NUBO is een transparante en gebruiksvriendelijke open-source Python-pakket voor Bayesiaanse optimalisatie dat onderzoekers uit diverse disciplines in staat stelt om complexe, dure black-box-functies efficiënt te optimaliseren via een modulaire en goed gedocumenteerde codebasis.

De kern

🌟 Wat is NUBO? De "Slimme Zoeker" voor dure Experimenten

Stel je voor dat je een schat moet vinden in een enorme, mistige berg (de "zwarte doos"). Je weet niet precies waar de schat zit, en het kost je veel geld, tijd of energie om elke stap te zetten en te kijken of je dichter bij de schat bent. Misschien moet je een zware machine bouwen, een chemische reactie uitvoeren of een complexe simulatie draaien. Elke keer dat je iets probeert, kost het je een fortuin.

Je wilt niet zomaar willekeurig rondlopen (dat zou te lang duren) en je kunt ook niet elke hoek van de berg in één keer bekijken (dat is onmogelijk). Je hebt een slimme strategie nodig die met zo min mogelijk pogingen de beste plek vindt.

NUBO (Newcastle University Bayesian Optimisation) is precies zo'n slimme strategie, verpakt in een computerprogramma dat makkelijk te gebruiken is.

🧠 Hoe werkt het? De "Gokker" met een Koffiezetapparaat

Het programma gebruikt een techniek die Bayesiaanse optimalisatie heet. Laten we het vergelijken met het zoeken naar de perfecte temperatuur voor je koffie, maar dan met een slimme assistent.

1. De Proefneming (De Surrogaat): Omdat je niet elke temperatuur kunt testen (dat kost te veel water en tijd), laat NUBO een "proefpersoon" (een wiskundig model genaamd een Gaussisch proces) meedenken. Dit model is als een slimme kok die zegt: "Op basis van de drie temperaturen die we al hebben getest, denk ik dat 85 graden wel lekker is, maar bij 90 graden wordt het misschien te bitter."
2. De Gok (De Aankoopfunctie): Nu moet NUBO beslissen: "Moeten we een nieuwe temperatuur proberen die we al vrij goed kennen (exploitatie), of moeten we een heel nieuwe, onbekende temperatuur proberen om te zien of er iets beters is (exploratie)?"
   • Dit is de afweging tussen nieuwsgierigheid en zekerheid. NUBO zoekt de perfecte balans: niet te saai (altijd hetzelfde proberen) en niet te wild (overal willekeurig proberen).
3. De Leercurve: Na elke poging leert het model bij. Het past zijn "proefpersoon" aan op basis van de nieuwe resultaten. Na een paar rondes weet het precies waar de beste koffie zit, zonder dat je duizenden koppen hebt moeten zetten.

🚀 Waarom is NUBO speciaal? (Transparantie en Gemak)

Er zijn al andere programma's die dit doen, maar die zijn vaak als een zwarte doos in een zwart kasteel. Ze zijn enorm complex, hebben duizenden regels code en zijn moeilijk te begrijpen voor iemand die geen computerwetenschapper is.

NUBO is anders. Het is als een op maat gemaakte, transparante glazen huis.

• Kleinschalig en Duidelijk: Waar andere programma's (zoals BoTorch) 38.000 regels code hebben (zoals een hele bibliotheek vol met kleine boekjes), heeft NUBO slechts 1.300 regels. Het is compact, overzichtelijk en je kunt precies zien hoe het werkt.
• Geen Expertise Nodig: Je hoeft geen wiskundig genie te zijn. De programmeertaal is zo geschreven dat het logisch aanvoelt. Je kunt zelf beslissen hoe je het wilt gebruiken, zonder dat je door een labyrint van instellingen moet zoeken.
• Flexibel: Of je nu één ding tegelijk test (sequentieel), of dat je een hele fabriek hebt waar je 10 dingen tegelijk kunt testen (parallel), NUBO regelt het. Zelfs als je wacht op resultaten van eerdere tests terwijl je al doorgaat met nieuwe (asynchroon), werkt het.

🛠️ Wat kun je ermee doen?

Stel je voor dat je een ingenieur bent die een nieuwe vliegtuigvleugel ontwerpt, of een chemicus die een nieuwe medicijn ontwikkelt.

• Vaste grenzen: Je kunt zeggen: "De vleugel moet tussen 1 en 10 meter lang zijn."
• Vaste regels: "De vleugel mag niet zwaarder zijn dan 500 kilo" (dit is een beperking).
• Gemengde opties: "De motor moet een van deze drie specifieke modellen zijn, maar de vorm kan elke willekeurige curve hebben." NUBO kan dit soort gemengde problemen ook oplossen.

📊 De Test: Werkt het echt?

De auteurs hebben NUBO getest tegen andere bekende programma's. Ze hebben gekeken naar twee dingen:

1. Hoe snel vinden ze de beste oplossing? NUBO deed het net zo goed als de zware, complexe programma's, en beter dan de simpele versies.
2. Hoe lang duurt het om te rekenen? NUBO is soms een fractie van een seconde iets trager dan de zware programma's, maar dat maakt niets uit. Waarom? Omdat het eigenlijke experiment (het bouwen van de vleugel of het draaien van de simulatie) duurt veel langer dan die paar seconden rekenwerk. Het is alsof je 10 seconden wacht op een taxi, terwijl de rit zelf uren duurt; die 10 seconden zijn niet belangrijk.

💡 Conclusie

NUBO is een openbaar, gratis en transparant hulpmiddel voor iedereen die dure experimenten doet. Het haalt de "magie" uit de wiskunde en maakt het toegankelijk voor biologen, ingenieurs, economen en iedereen die een probleem heeft dat te duur is om blindelings op te lossen.

Het zegt eigenlijk: "Je hoeft geen wiskundig professor te zijn om de beste oplossing te vinden voor je dure experiment. Wij doen het zware rekenwerk voor je, in een pakketje dat je zelf kunt begrijpen."

Technische samenvatting

Probleemstelling

De optimalisatie van dure "black-box" functies (functies zonder bekende analytische uitdrukking en met hoge evaluatiekosten, zoals fysische experimenten of computersimulaties) is een veelvoorkomend probleem in wetenschappelijke disciplines. Traditionele optimalisatiealgoritmen (zoals Adam of L-BFGS-B) vereisen vaak afgeleide informatie of een groot aantal functiewaarnemingen, wat bij dure black-box functies niet haalbaar is.

Bestaande Python-pakketten voor Bayesiaanse optimalisatie (zoals BoTorch, SMAC3, GPyOpt) hebben vaak twee grote nadelen:

1. Gebrek aan transparantie: Ze hebben enorme codebases (bijv. BoTorch heeft ~38.000 regels code), wat het moeilijk maakt voor niet-experts om de onderliggende logica te begrijpen en aan te passen.
2. Beperkte flexibiliteit of complexiteit: Sommige pakketten ondersteunen geen parallelle of asynchrone optimalisatie, terwijl andere te complex zijn voor gebruikers uit andere disciplines dan statistiek of informatica.

Methodologie

NUBO (Newcastle University Bayesian Optimisation) is een Python-pakket dat is ontworpen om Bayesiaanse optimalisatie toegankelijk te maken door te focussen op transparantie en gebruiksgemak, zonder in te leveren op functionaliteit.

Kerncomponenten:

• Surrogaatmodel: NUBO gebruikt Gaussian Processes (GP) als surrogaatmodel. Het implementeert een vooraf gedefinieerde GP met een constante mean-functie en een Matérn 5/2 ARD-kern (Automatic Relevance Determination), wat ideaal is voor praktische optimalisatieproblemen. De hyperparameters worden geschat via Maximum Likelihood Estimation (MLE) door de log-marginal likelihood te maximaliseren.
• Acquisitiefuncties: Het pakket ondersteunt zowel analytische acquisitiefuncties (voor sequentiële single-point optimalisatie) als Monte Carlo-gebaseerde functies (voor parallelle en asynchrone optimalisatie):
  • Analytisch: Expected Improvement (EI) en Upper Confidence Bound (UCB).
  • Monte Carlo: MC-EI en MC-UCB, die samples trekken uit de posterior-verdeling om de acquisitiefunctie te benaderen. Dit maakt optimalisatie mogelijk voor batches van punten en asynchrone scenario's.
• Optimalisatiestrategieën:
  • Sequentiële single-point: Gebruikt deterministische optimalisatie (L-BFGS-B of SLSQP) voor analytische functies.
  • Parallelle multi-point: Gebruikt stochastische optimalisatie (Adam) voor Monte Carlo-functies, met ondersteuning voor "joint" (gelijktijdig) en "greedy sequential" strategieën.
  • Asynchroon: Hierbij worden nog niet geëvalueerde punten ("pending points") meegenomen in de posterior-verdeling zonder ze direct te optimaliseren, wat essentieel is voor variabele evaluatietijden.
  • Beperkingen en Mixed spaces: Ondersteuning voor gelijkheids- en ongelijkheidsbeperkingen (via SLSQP) en optimalisatie van gemengde inputruimtes (discrete en continue variabelen) door het doorlopen van discrete combinaties.
• Technische Stack: NUBO is gebouwd op het PyTorch-ecosysteem (voor tensor-bewerkingen en automatische differentiatie) en GPyTorch (voor Gaussian Processes). Het maakt gebruik van SciPy voor deterministische optimalisatie en NumPy voor data-handling.

Belangrijkste Bijdragen

1. Transparantie en Code-grootte: NUBO is extreem lichtgewicht met slechts 1.322 regels code (versus 38.419 voor BoTorch). Dit maakt de code leesbaar, begrijpelijk en makkelijk aanpasbaar voor onderzoekers zonder diepgaande expertise in Bayesiaanse statistiek.
2. Modulair Ontwerp: Het pakket is ontworpen als een verzameling bouwstenen (GP, acquisitiefuncties, optimalisators), waardoor gebruikers de optimalisatielus zelf kunnen samenstellen en aanpassen aan specifieke problemen.
3. Uitgebreide Functionaliteit in Eén Pakket: Ondanks de kleine omvang ondersteunt NUBO een breed scala aan scenario's: sequentieel, parallel, asynchroon, met beperkingen en met gemengde inputruimtes.
4. Documentatie en Gebruiksgemak: Het pakket biedt duidelijke voorbeelden, nauwkeurige referenties en een gebruiksvriendelijke syntax die geen expertkennis van Python vereist voor basisgebruik.

Resultaten

Het paper presenteert een uitgebreide vergelijking van NUBO met andere pakketten (BoTorch, SMAC3, bayes_opt, pyGPGO) op synthetische testfuncties (Levy en Hartmann):

• Prestatie: NUBO convergeert naar de globale optimum en presteert vergelijkbaar met of beter dan complexere pakketten. Hoewel het soms iets meer evaluaties nodig heeft dan BoTorch voor de Hartmann-functie, bereikt het in alle gevallen de dichtste benadering van de ware optimum na voltooiing van alle evaluaties en vertoont het lage variantie.
• Efficiëntie: De tijd per iteratie is iets hoger dan bij zware pakketten (bijv. ~2.20s voor NUBO vs ~0.19s voor BoTorch in een parallelle 6D-test). Echter, voor dure black-box functies (waar de evaluatie zelf minuten of uren duurt) is dit overhead verwaarloosbaar.
• Vergelijking: NUBO overtreft pakketten met vergelijkbare complexiteit (zoals pyGPGO en bayes_opt) en concurreert succesvol met zware pakketten, terwijl het aanzienlijk transparanter is.

Betekenis en Conclusie

NUBO vult een cruciale niche in het landschap van Bayesiaanse optimalisatie. Het maakt geavanceerde optimalisatietechnieken toegankelijk voor onderzoekers uit diverse disciplines (zoals natuurkunde, chemie en engineering) die geen statistische experts zijn. Door te focussen op transparantie en gebruiksgemak zonder de functionaliteit voor complexe scenario's (parallel, asynchroon, beperkingen) te offeren, biedt NUBO een ideale oplossing voor het optimaliseren van dure experimenten en simulaties.

De auteurs plannen toekomstige uitbreidingen voor multi-fidelity, multi-objective en hoog-dimensionale problemen, maar benadrukken dat de huidige versie al een robuust en betrouwbaar instrument is voor de wetenschappelijke gemeenschap.