Update of PHYSBO: Improving Usability and Portability of Bayesian Optimization for Physics and Materials Research

Dit artikel presenteert de updates van PHYSBO versie 2 en 3, die zich richten op verbeterde bruikbaarheid, draagbaarheid en compatibiliteit in plaats van nieuwe optimalisatiealgoritmen, om de bibliotheek te versterken als duurzame onderzoeksinfrastructuur voor Bayesiaanse optimalisatie in de natuur- en materiaalkunde.

De kern

🧪 PHYSBO: De Slimme Zoektocht in de Wetenschap

Stel je voor dat je een enorme schatkamer moet vinden, maar je mag er maar heel weinig stappen doen. Elke stap kost veel tijd, geld of energie (zoals het uitvoeren van een dure chemische proef of een supercomputer-simulatie). Je wilt de beste schat vinden, maar je kunt niet elke hoek van de kamer aflopen.

Bayseiaanse optimalisatie is als een slimme schatzoeker die een kaart tekent terwijl hij loopt. Hij raadt waar de schat zit, loopt daarheen, kijkt of het goed is, en past zijn kaart aan voor de volgende stap. PHYSBO is een computerprogramma (een bibliotheek) dat deze slimme schatzoeker voor natuurkundigen en materialenwetenschappers regelt.

Dit artikel vertelt over de grote opknapbeurt van PHYSBO (versie 3). De makers wilden niet alleen de "schatzoeker" slimmer maken, maar vooral zorgen dat het programma makkelijker te gebruiken is voor iedereen, overal.

Hier zijn de belangrijkste verbeteringen, vertaald naar alledaagse taal:

1. De Licentie: Van "Eigen Huis" naar "Openbare Bibliotheek" 📜

• Vroeger: PHYSBO had een licentie (GPL) die als een streng huisreglement was. Als je het gebruikte in je eigen project, moest je dat project ook openbaar maken. Dit hield veel bedrijven en grote onderzoeksprojecten tegen, omdat ze bang waren voor juridische problemen.
• Nu (Versie 3): Ze hebben de licentie veranderd naar MPL. Denk hierbij aan een openbare bibliotheek. Je mag het boek (de software) lenen, gebruiken in je eigen onderzoek en zelfs in je eigen bedrijf, zonder dat je je hele bedrijf openbaar hoeft te maken.
• Waarom? Dit maakt het makkelijker voor bedrijven en universiteiten om samen te werken. Het is alsof je een sleutel krijgt die bij meer deuren past.

2. Geen Zware Verpakking Meer: Makkelijker te Installeren 📦

• Vroeger: Om PHYSBO te installeren, moest je soms een zware machine gebruiken (genaamd Cython) die specifiek voor bepaalde computers was gemaakt. Het was alsof je een auto moest bouwen voordat je hem kon rijden. Op Windows-computers (die veel in laboratoria staan) werkte dit vaak niet goed.
• Nu (Versie 3): Ze hebben die zware machine verwijderd. Het programma is nu puur "Python" (een programmeertaal die heel veel mensen kennen).
• De Analogie: In plaats van een auto te bouwen, krijg je nu een elektrische step die je direct uit de doos kunt gebruiken. Je kunt hem op elke computer (Windows, Mac, Linux) installeren zonder gedoe. Dit betekent dat ook experimentele laboratoria, die vaak Windows gebruiken, nu makkelijk de slimme zoektocht kunnen starten.

3. Meerdere Doelen tegelijk: De Perfecte Balans 🎯

• Het Probleem: Soms wil je niet alleen de sterkste stof vinden, maar ook de goedkoopste én de meest duurzame. Dit zijn vaak tegenstrijdige doelen (wat sterker is, is vaak duurder).
• Vroeger: Het programma kon hier moeilijk mee omgaan, of het was heel traag.
• Nu (Versie 3): Er zijn nieuwe manieren toegevoegd om deze doelen te "smeren" tot één doel.
  • Vergelijking: Stel je wilt de beste auto. Je wilt snelheid, lage brandstof en comfort. De oude methode was als een dure, trage jurist die elke combinatie uitrekende. De nieuwe methode (zoals ParEGO en NDS) is als een slimme onderhandelaar die snel een compromis vindt: "Oké, we nemen deze auto die redelijk snel is, maar wel heel zuinig." Het werkt veel sneller en vindt vaak betere oplossingen.

4. Van Stappen naar Vloeiend Bewegen: De "Range Policy" 🏃‍♂️

• Vroeger: PHYSBO werkte alleen met een vaste lijst van opties (een "discrete pool"). Het was alsof je alleen op de tegels van een vloer mag stappen. Als de beste plek tussen twee tegels lag, kon je die niet bereiken.
• Nu (Versie 3): Ze hebben een nieuwe functie toegevoegd voor continue variabelen.
• De Analogie: In plaats van alleen op tegels te stappen, mag je nu overal lopen op de vloer. Je kunt zeggen: "De temperatuur moet ergens tussen 20 en 30 graden liggen." Het programma zoekt dan precies de perfecte temperatuur, ook al is die 24,73 graden. Dit maakt het veel natuurlijker voor echte experimenten.

5. Werken met de Moderne Wereld 🌐

• Het programma is nu compatibel met de nieuwste versies van rekenprogramma's (zoals NumPy 2). Dit is alsof je ervoor zorgt dat je smartphone-apps werken op het nieuwste besturingssysteem. Zo blijft het programma jarenlang bruikbaar en up-to-date.

Conclusie: Waarom is dit belangrijk? 🚀

Voorheen was PHYSBO een krachtig gereedschap, maar het was soms lastig te installeren en alleen voor specialisten. Met deze update (versie 3) is het veranderd in een veelzijdig gereedschapskistje.

• Het is makkelijker te installeren (werkt op Windows!).
• Het is makkelijker te gebruiken in samenwerking met bedrijven.
• Het kan nu ook met "vloeibare" variabelen werken (niet alleen vaste lijsten).
• Het is sneller in het vinden van de beste oplossingen voor complexe problemen.

Kortom: PHYSBO is nu klaar om de "hersenen" te worden van de zelfrijdende laboratoria van de toekomst, waar robots en computers samenwerken om nieuwe materialen en medicijnen te ontdekken, zonder dat de mens de hele tijd hoeft te knoeien met de software.

Technische samenvatting

Probleemstelling

Bayse-optimalisatie (BO) is een cruciale methode om onderzoek in de natuurkunde en materiaalkunde te versnellen, vooral wanneer evaluaties van de doelwitfunctie (zoals eerste-principes-berekeningen of experimenten) computationally duur of tijdrovend zijn. Hoewel de oorspronkelijke versies van de bibliotheek PHYSBO efficiënt waren voor discrete kandidaatruimtes, stonden ze voor aanzienlijke praktische uitdagingen in echte onderzoeksomgevingen:

1. Licentiebeperkingen: De oorspronkelijke GPL-licentie creëerde juridische en organisatorische barrières voor integratie in grotere software-ecosystemen, vooral in samenwerkingen tussen industrie en academische wereld.
2. Omgevingsafhankelijkheid: De prestatie-gerichte componenten waren geïmplementeerd in Cython. Dit vereiste specifieke compiler-instellingen en veroorzaakte installatieproblemen op verschillende platformen (zoals Windows) en in heterogene HPC-omgevingen.
3. Beperkte functionaliteit: Er was gebrek aan native ondersteuning voor continue variabelen (wat vaak vereist is in simulaties) en beperkte schaalbaarheid bij meervoudige doelstellingen (multi-objective optimization) vanwege de hoge rekenkosten van hypervolume-berekeningen.
4. Compatibiliteit: De software was niet compatibel met de nieuwste versies van numerieke bibliotheken zoals NumPy 2.

Methodologie

Het artikel beschrijft de ontwikkeling van PHYSBO versie 3, waarbij de focus ligt op verbetering van bruikbaarheid, portabiliteit en implementatie, in plaats van het introduceren van fundamenteel nieuwe optimalisatie-algoritmen. De belangrijkste methodologische wijzigingen zijn:

• Licentiewijziging: De licentie is veranderd van GPL naar MPL-2.0 (Mozilla Public License). Dit behoudt openheid voor wijzigingen in de bibliotheek zelf, maar staat toe dat de bibliotheek als afhankelijkheid wordt gebruikt in software met andere licenties zonder juridische complicaties.
• Verwijdering van Cython-afhankelijkheid: De kernfunctionaliteit is herschreven als een pure Python-pakket. De zware berekeningen worden nu uitgevoerd met geoptimaliseerde NumPy-bewerkingen. Dit elimineert de noodzaak voor platform-specifieke compilatie, waardoor installatie op Windows en andere systemen veel eenvoudiger wordt, zonder merkbare prestatieverlies voor typische BO-werkstromen.
• Compatibiliteit met NumPy 2: De code is aangepast om volledig compatibel te zijn met NumPy 2.0 en latere versies, wat essentieel is voor lange-termijn duurzaamheid.
• Nieuwe Strategieën voor Meervoudige Doelstellingen:
  • In plaats van alleen te vertrouwen op hypervolume-berekeningen (zoals HVPI), introduceert versie 3 scalarisatie-methoden om meervoudige problemen om te zetten in een enkel doel.
  • ParEGO: Gebruikt gerandomiseerde scalarisatie (gewichtssommen en Chebyshev-termen) om de Pareto-front te benaderen.
  • NDS (Non-Dominated Sorting): Classificeert oplossingen op basis van Pareto-dominantie en converteert de rangorde naar een scalair doel. Dit vermijdt de exponentiële rekenkosten van hypervolume-berekeningen bij toenemend aantal doelstellingen.
• Range Policy (Continue Optimalisatie): Een nieuw range.Policy-kader dat optimalisatie toestaat over continue parameterbereiken (bepaald door onder- en bovengrenzen) in plaats van alleen over vooraf gedefinieerde discrete kandidaatpools. Dit vereist geen voorafgaande discretisatie door de gebruiker.
  • De bibliotheek ondersteunt verschillende optimalisatie-routines voor het maximaliseren van de acquisitiefunctie, waaronder willekeurige steekproeven en een wrapper voor de ODAT-SE bibliotheek (die algoritmen zoals Replica Exchange Monte Carlo en Nelder-Mead biedt).

Belangrijkste Resultaten

De auteurs presenteren benchmarkresultaten die de effectiviteit van de nieuwe methoden aantonen:

1. VLMOP2 Benchmark (Gladde Pareto-front):
   • De HVPI-methode (hypervolume) leverde de beste dekking op, maar was het langzaamst.
   • De NDS-benadering bood een vergelijkbare kwaliteit van oplossing (hypervolume) met meer dan 50% minder rekentijd.
   • ParEGO was het snelst, maar leverde een minder complete dekking van de continue Pareto-front op.
2. KYMN Benchmark (Beperkte, niet-convexe ruimte):
   • Voor problemen met complexe beperkingen en een gefragmenteerde Pareto-front presteerden zowel NDS als ParEGO beter dan HVPI in termen van gedominerend hypervolume.
   • Beide nieuwe methoden waren aanzienlijk sneller dan HVPI.
3. Schaalbaarheid:
   • Bij het verhogen van het aantal doelstellingen (van 2 tot 5) bleef de rekentijd voor NDS en ParEGO bijna constant, terwijl de tijd voor HVPI exponentieel toenam. Dit bevestigt dat de scalarisatie-methoden veel schaalbaarder zijn voor complexe problemen.
4. Continue Optimalisatie:
   • Een numeriek voorbeeld met een tweedimensionale functie ($f(x) = -\|x\|^2$) toonde aan dat de range policy succesvol convergeren naar het globale optimum zonder expliciete discretisatie van de zoekruimte.

Bijdragen en Significance

De belangrijkste bijdragen van PHYSBO versie 3 zijn:

• Verhoogde Toegankelijkheid: Door de verwijdering van Cython-afhankelijkheden en de ondersteuning van Windows, wordt de tool toegankelijk voor een breder publiek, waaronder onderzoekers die werken met experimentele apparatuur die op Windows draait.
• Flexibiliteit in Werkstromen: De ondersteuning voor continue variabelen en de integratie van diverse optimalisatie-algoritmen (via ODAT-SE) maakt PHYSBO een universeelere tool die naadloos kan worden geïntegreerd in "self-driving laboratories" en AI-gestuurde onderzoeksplatforms.
• Duurzaamheid en Samenwerking: De overstap naar MPL-2.0 verlaagt de juridische drempels voor samenwerking tussen academische en industriële partners, wat essentieel is voor de adoptie van BO in de industrie.
• Efficiëntie: De nieuwe methoden voor meervoudige doelstellingen bieden een praktische oplossing voor het "curse of dimensionality" probleem bij hypervolume-berekeningen, waardoor BO toepasbaar wordt voor realistische, complexe materiaalkundige problemen.

Conclusie:
PHYSBO versie 3 positioneert de bibliotheek niet langer als een gespecialiseerde tool voor discrete optimalisatie, maar als een robuuste, schaalbare en portabele onderzoeksinfrastructuur. Door de technische en organisatorische barrières te verlagen, faciliteert deze update de snellere adoptie van Bayse-optimalisatie in zowel computationele simulaties als fysieke experimenten binnen de natuurkunde en materiaalkunde.