Choosing a Suitable Acquisition Function for Batch Bayesian Optimization: Comparison of Serial and Monte Carlo Approaches

Deze studie concludeert dat qUCB de meest geschikte standaardacquisitionsfunctie is voor batch Bayesiaanse optimalisatie in dimensies tot en met zes, omdat deze presteert in zowel wiskundige tests als bij het maximaliseren van de efficiëntie van perovskiet-zonnecellen, zelfs zonder voorafgaande kennis van het landschap of ruis.

De kern

Stel je voor dat je een schatzoeker bent in een enorm, onbekend landschap. Je doel is om de enige, perfecte schat te vinden (de "schat" is bijvoorbeeld de beste instelling voor een nieuwe zonnecel). Het probleem? Je kunt niet overal tegelijk kijken. Elke keer dat je een plek uitkiest om te graven, kost het veel tijd en geld.

In de wetenschap noemen ze dit Bayseiaanse optimalisatie: een slimme manier om met zo min mogelijk pogingen de beste oplossing te vinden. Maar vaak kun je niet één voor één graven; je hebt een team van vier mensen die tegelijk kunnen graven om tijd te besparen. Dit heet batch-optimalisatie.

De grote vraag in dit artikel is: Hoe kies je de slimste strategie voor je team?

De auteurs van dit paper vergelijken twee hoofdstijlen van strategieën om te beslissen waar je team moet graven:

1. De "Strenge Leraar" (Serial / UCB/LP)

Stel je een leraar voor die heel precies werkt. Hij kiest eerst de beste plek voor de eerste persoon. Daarna kijkt hij heel streng: "Oké, de tweede persoon mag niet op dezelfde plek graven, hij moet iets anders doen, maar wel in de buurt van de eerste." Hij doet dit één voor één, heel methodisch.

• Sterk punt: Als de schat op een heel klein, steil piekje zit (zoals een naald in een hooiberg), is deze leraar erg goed in het precies uitdiepen van die ene plek.
• Zwak punt: Als het landschap rommelig is of er veel ruis (fouten) in de metingen zit, kan deze leraar vastlopen. Hij is te star en reageert niet goed op verrassingen.

2. De "Avontuurlijke Zeevaarder" (Monte Carlo / qUCB)

Stel je nu een kapitein voor die een groep avonturiers stuurt. Hij kiest niet één voor één, maar denkt: "Laten we een kaart maken van de hele wereld en dan een groep van vier mensen tegelijk naar de meest veelbelovende gebieden sturen." Hij gebruikt een beetje geluk (wiskundige kansrekening, of "Monte Carlo") om te beslissen.

• Sterk punt: Deze kapitein is flexibel. Hij kan goed omgaan met een rommelig landschap en met fouten in de metingen. Hij verspreidt zijn team slim over het gebied.
• Zwak punt: Soms is hij net iets minder precies in het vinden van het allerbeste puntje op een heel steil piekje dan de strenge leraar, maar hij is veel robuuster.

Wat hebben ze ontdekt?

De auteurs hebben dit getest op drie soorten "landschappen":

1. De Naald in de Hooiberg (Ackley-functie): Een heel klein piekje in een groot vlak. Hier waren zowel de "Leraar" als de "Kapitein" goed, maar de Leraar was net iets beter in het vinden van het exacte puntje.
2. De Valse Top (Hartmann-functie): Een landschap met twee toppen die bijna even hoog zijn. Hier was het lastig om de echte top te vinden en niet de valse. Beide strategieën deden het goed als het stil was, maar...
3. Het Rommelige Landschap met Ruis (Met geluid/storingen): Dit is de echte test. In het echte leven zijn metingen nooit perfect; er is altijd wat ruis.
   • Toen er ruis bij kwam, viel de "Strenge Leraar" bijna uit elkaar. Hij raakte in de war en kon de schat niet meer vinden.
   • De "Avontuurlijke Zeevaarder" (qUCB) bleef kalm. Hij kon de ruis negeren en vond toch de beste plek.

De Conclusie voor de Praktijk

De auteurs kijken ook naar een echt experiment: het verbeteren van perovskiet-zonnecellen. Hier was het landschap niet perfect wiskundig, maar gebaseerd op echte, rommelige lab-data.

Het verdict?
Als je in het echte leven werkt, waar je niets weet over het landschap, waar fouten in de metingen zitten, en je wilt zo min mogelijk dure experimenten doen: Kies de Avontuurlijke Zeevaarder (qUCB).

Het is de "veilige standaard". Hij is niet altijd de allerbeste in elke specifieke situatie, maar hij is de meest betrouwbare vriend die je niet in de steek laat als het landschap lastig wordt of als de metingen niet perfect zijn. Hij vindt de schat sneller en met meer vertrouwen dan de andere methoden.

Kortom: Wil je zekerheid in een onzekere wereld? Laat je leiden door de Monte Carlo-methode (qUCB), niet door de te strenge, statische regels.

Technische samenvatting

Probleemstelling

Bayese optimalisatie (BO) is een krachtige machinelearning-methode om de optimale invoerparameters ($X_{opt}$) te vinden voor een onbekende "black-box" functie ($y = f(X)$), vooral wanneer het genereren van nieuwe data kostbaar of tijdrovend is (bijv. materiaalwetenschap, chemische synthese). In veel experimentele scenario's is het efficiënter om niet één, maar een batch van $q$ nieuwe monsters tegelijk te testen om tijd en kosten te besparen. Dit wordt batch Bayese optimalisatie genoemd.

De centrale uitdaging ligt in het kiezen van de juiste acquisitiefunctie die bepaalt welke $q$ invoerparameters als volgende getest moeten worden. Er zijn twee hoofdklassen van strategieën:

1. Serieel (Sequential): De eerste punt wordt gekozen zoals bij standaard BO, waarna de acquisitiefunctie wordt aangepast (bijv. via lokale straffing) om de volgende punten te kiezen die verschillend zijn van de reeds gekozenen.
2. Parallel (Monte Carlo): De acquisitiefunctie wordt geïntegreerd over een gezamenlijke kansdichtheidsfunctie van $q$ punten, vaak opgelost met stochastische Monte Carlo-methoden.

De literatuur biedt weinig empirische richtlijnen over welke methode het beste werkt wanneer er weinig tot geen kennis is over het landschap van de functie (bijv. aanwezigheid van ruis, lokale optima, of een "naald in een hooiberg"-probleem).

Methodologie

De auteurs voeren een directe vergelijking uit tussen een representatieve seriële methode en een reeks Monte Carlo-gebaseerde parallelle methoden.

• Vergelijkde Algoritmen:

  • UCB/LP: Upper Confidence Bound met Local Penalization (serieel, deterministisch).
  • qUCB: q-Upper Confidence Bound (Monte Carlo, parallel).
  • qlogEI: q-log Expected Improvement (Monte Carlo, parallel).
  • qlogNEI: q-log Noisy Expected Improvement (Monte Carlo, parallel, specifiek voor ruis).
  • Opmerking: qlogEI werd aangepast met TuRBO (Trust Region BO) voor specifieke testcases.

• Testgevallen:

  1. Ackley-functie (6 dimensies): Reproduceert een "naald in een hooiberg"-landschap (zeer heterogeen, met een scherpe piek in een groot vlak).
  2. Hartmann-functie (6 dimensies): Reproduceert een "valse optimum"-landschap (een secundair maximum dat bijna even hoog is als het echte maximum).
     • Getest zonder ruis.
     • Getest met toegevoegde Gaussische ruis (5% en 20% amplitude).
  3. Empirisch PCE-model (4 dimensies): Een regressiemodel gebaseerd op reële experimentele data voor het maximaliseren van de power conversion efficiency (PCE) van flexibele perovskiet-zonnecellen. Dit model bevat echte ruis en systematische fouten.

• Experimenteel Opzet:

  • Alle tests startten met 99 verschillende initialisatie-sets (Latin Hypercube Sampling).
  • Batchgrootte $q = 4$.
  • Maximum 50 iteraties per run.
  • Gebruik van Gaussian Process Regression (GPR) met ARD Matern 5/2 kernel.
  • Prestatiemetingen: Instantane Regret (IR) en Cumulatieve Regret (CR) voor zowel de objectivewaarde ($y$) als de invoerparameters ($X$).

Belangrijkste Resultaten

1. Ackley-functie (Naald in hooiberg):

   • UCB/LP en qUCB presteerden aanzienlijk beter dan qlogEI.
   • UCB/LP leverde de meest nauwkeurige schatting van het echte maximum, gevolgd door qUCB.
   • qlogEI faalde grotendeels zonder TuRBO; zelfs met TuRBO was de prestatie inferieur en afhankelijk van de startcondities.
   • Analyse: UCB/LP is deterministisch en neigt om, zodra een punt in de piek gevonden is, de volgende punten in dat gebied te concentreren (exploitatie). qUCB is stochastisch en verspreidt de punten breder, wat soms leidt tot minder gedetailleerde exploratie van de scherpe piek.

2. Hartmann-functie (Zonder ruis):

   • Alle methoden convergeren redelijk goed, maar UCB/LP en qUCB presteerden het beste en waren het minst gevoelig voor startcondities.
   • Beide methoden overtroffen qlogEI.
   • Een significant deel van de runs (ongeveer 30-34%) convergeerde naar het "valse maximum" bij alle methoden, wat inherent is aan dit landschap.

3. Hartmann-functie (Met ruis):

   • Bij ruis (5% en 20%) presteerden alle Monte Carlo-methoden (qUCB, qlogEI, qlogNEI) beter dan de seriële UCB/LP.
   • qUCB toonde de beste algehele prestatie, met name bij hoge ruisniveaus (20%), waar UCB/LP faalde in het nauwkeurig modelleren van het maximum.
   • qlogNEI (specifiek ontworpen voor ruis) bood geen significant voordeel ten opzichte van qUCB.
   • De stochastische aard van Monte Carlo-methoden bleek robuuster tegenover ruis.

4. Empirisch PCE-model (Perovskiet zonnecellen):

   • Het landschap had een breed, bijna vlak plateau rond het maximum.
   • qUCB vond de beste invoercondities voor een bijna-optimale PCE in het minste aantal iteraties en was het minst gevoelig voor de initiële dataset.
   • UCB/LP en qlogNEI convergeerden trager en presteerden slechter bij een aanzienlijk deel van de startcondities.
   • Hoewel het exacte $X_{max}$ moeilijk te vinden was door het vlakke plateau, was het vinden van een $y$-waarde dicht bij het optimum (wat in de praktijk belangrijker is) het snelst met qUCB.

Belangrijkste Bijdragen

• Empirische Vergelijking: De studie biedt een van de eerste uitgebreide, directe vergelijkingen tussen seriële (UCB/LP) en Monte Carlo-gebaseerde (qUCB, qlogEI) batch-acquisitiefuncties op zowel synthetische als reële experimentele data.
• Robuustheid tegen Ruis: Het bewijs dat Monte Carlo-methoden, en specifiek qUCB, superieur zijn aan seriële methoden wanneer de data ruis bevat, wat typisch is voor echte experimenten.
• Validatie op Reële Data: De conclusies worden niet alleen getrokken op wiskundige functies, maar ook gevalideerd op een complex, 4-dimensionaal model gebaseerd op experimentele data uit de materiaalkunde.

Significantie en Conclusie

De auteurs concluderen dat qUCB (q-Upper Confidence Bound) de beste "standaard" keuze is voor batch Bayese optimalisatie in materiële synthese en andere experimentele domeinen, zeker wanneer:

1. Er weinig tot geen voorafgaande kennis is over het landschap van de functie (bijv. of het een "naald in hooiberg" of een "valse optimum" is).
2. De ruisniveau's onbekend of variabel zijn.
3. Het doel is om het aantal dure experimenten te minimaliseren terwijl de zekerheid over het gevonden optimum wordt gemaximaliseerd.

Hoewel UCB/LP uitstekend presteert op schone, deterministische problemen met scherpe pieken, is qUCB over het algemeen robuuster, sneller convergerend in aanwezigheid van ruis, en minder gevoelig voor de keuze van de initiële dataset. De studie adviseert daarom qUCB als de default acquisitiefunctie voor batch BO in wetenschappelijke experimenten tot ongeveer 6 dimensies.