Technische Samenvatting: Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes (RAMBO)

1. Probleemstelling

Standaard Bayesian Optimization (BO) vertrouwt op Gaussian Process (GP) surrogaten die uitgaan van uniforme gladheid en stationaire ruiskenmerken over de gehele zoekruimte. Deze aanname wordt frequent geschonden in wetenschappelijke ontwerpproblemen die worden gekenmerkt door multi-regime structuren, waarbij de objectieffunctie bestaat uit afzonderlijke, lokaal coherente regio's die gescheiden worden door scherpe grenzen in plaats van geleidelijke transities.

Het artikel identificeert drie primaire domeinen waar deze beperking cruciaal is:

• Moleculaire Conformatie-zoektocht: Draaibare bindingen creëren afzonderlijke energiebassins gescheiden door torsiebarrières; elk bassin is lokaal glad, maar het globale landschap bestaat uit honderden van dergelijke bassins met onvergelijkbare kromming.
• Medicijnontwikkeling: Chemische landschappen zijn gefragmenteerd over moleculaire scaffolds, waarbij verschillende chemische families fundamenteel andere structuur-activiteitsrelaties (SAR) vertonen.
• Fusiereactorontwerp: Variaties in plasmageometrie traverseren kwalitatief verschillende stabiliteitsregimes, met abrupte transities tussen stabiele en onstabiele configuraties.

In deze scenario's leidt een enkele globale GP ofwel tot te veel afvlakking van scherpe transities, ofwel tot het hallucineren van ruis in gladde regio's, wat leidt tot verkeerd gekalibreerde onzekerheid. Bestaande niet-stationaire kernel-benaderingen (bijv. input-afhankelijke lengteschalen of deep GPs) modelleren typisch glad variërende hyperparameters en vereisen het vooraf specificeren van de functionele vorm van de variatie, waardoor ze niet in staat zijn de discrete, abrupte heterogeniteit van echte wetenschappelijke landschappen te vangen.

2. Methodologie: RAMBO

De auteurs stellen RAMBO (Regime-Adaptive Mixture Bayesian Optimization) voor, die de monolithische GP-surrogaat vervangt door een Dirichlet Process Mixture of Gaussian Processes (DPMM-GP). Dit niet-parametrische Bayesiaanse framework partitioneert de zoekruimte adaptief in een onbekend aantal regimes die direct uit de data worden afgeleid.

2.1 Generatief Model

De objectieffunctie wordt gemodelleerd als een aftelbare mengeling van onafhankelijke GPs. Het generatieve proces omvat:

1. Stick-Breaking Constructie: Mengselsgewichten worden gegenereerd via $\beta_k \sim \text{Beta}(1, \alpha)$, waarbij $\alpha$ de concentratieparameter is.
2. Regime Toewijzing: Elke observatie $i$ wordt toegewezen aan een latent regime $z_i$, getrokken uit een Categorische distributie gebaseerd op de gewichten.
3. Lokale Modellering: Elk regime $k$ wordt gemodelleerd door een onafhankelijke GP met lokaal geoptimaliseerde hyperparameters $\theta_k = \{\sigma^2_{f,k}, \ell_k, \sigma^2_{n,k}\}$ (signaalvariantie, lengteschaal en ruisvariantie).
4. Priors: Hyperparameters volgen Inverse-Gamma priors om numerieke stabiliteit en eindige momenten te garanderen.

2.2 Inferentie via Collapsed Gibbs Sampling

Om de onhandelbaarheid van het optimaliseren van de discrete regime-toewijzingen en de trans-dimensionale parameterruimte aan te pakken, leiden de auteurs een collapsed Gibbs sampler af.

• Analytische Marginalisering: De latente functiewaarden $f$ worden analytisch gemarginaliseerd, waardoor de toestandsruimte wordt gereduceerd tot enkel de discrete toewijzingen $z$ en hyperparameters $\Theta$. Dit verbetert de mengings-efficiëntie (mixing efficiency) aanzienlijk vergeleken met methoden die $f$ direct samplen (bijv. HMC).
• Sampling van Toewijzingen: Regime-toewijzingen worden bijgewerkt op basis van de Chinese Restaurant Process (CRP) prior en de conditionele GP likelihood.
• Hyperparameter Updates: Hyperparameters voor actieve regimes worden bijgewerkt via empirical Bayes (maximalisatie van de marginale log-likelihood met Adam) of Metropolis-Hastings stappen.

2.3 Ruimtelijk Gemoduleerde Voorspellende Distributie

Een cruciale innovatie is de behandeling van de voorspellende distributie. Standaard DPMM's aggregeren regimes op basis van globale populariteit ($\pi_k$), wat input-onafhankelijk is. Voor multi-regime landschappen middelt dit over irrelevante regimes bij een specifiek testpunt.

• Voorgestelde Oplossing: De auteurs introduceren ruimtelijk gemoduleerde voorspellende gewichten $w_k(x^*)$. Deze gewichten combineren de globale populariteit ($\pi_k$) met een ruimtelijke betrouwbaarheidsterm afgeleid van de GP posterior variantie ($\sigma^{-1}_{*,k}(x^*)$).
• Rechtvaardiging: Dit weegschema wordt gerechtvaardigd door twee perspectieven: (i) de verwachte posterior verantwoordelijkheid onder de eigen predictive van de component, en (ii) de Jeffreys' schaal-invariante referentiemaat. Het onderdrukt regimes die onzeker zijn bij $x^*$ zonder nieuwe leerbare gating-parameters te introduceren.

2.4 Adaptieve Concentratieparameter Scheduling

De concentratieparameter $\alpha$ regelt de neiging om nieuwe regimes te creëren. Het artikel introduceert een adaptieve scheduling strategie (Log-Sqrt Schedule) waarbij $\alpha_t = \alpha_0 \cdot \frac{\sqrt{t}}{\log(t+e)}$.

• Rationale: In het begin van de optimalisatie is de data schaars; een kleine $\alpha$ voorkomt voortijdige fragmentatie. Naarmate er meer data accumuleert, neemt $\alpha$ toe om de ontdekking van fijnmazige regime-structuren mogelijk te maken. Dit spiegelt de exploratie-exploitatie trade-off, maar opereert op het niveau van de modelcomplexiteit.

2.5 Acquisitie Functies

Het framework leidt een gesloten vorm van Expected Improvement (EI) af voor de DPMM-GP posterior. De acquisitie-waarde is een gewogen som van de EI van elk constituerend GP-component, waarbij de gewichten de ruimtelijk gemoduleerde $w_k(x)$ zijn. Dit deelt onzekerheid op natuurlijke wijze op in:

• Intra-regime variantie: Aleatorische onzekerheid binnen een specifieke regime.
• Inter-regime onenigheid: Epistemische onzekerheid voortvloeiend uit de onenigheid tussen verschillende regimes.

Het artikel schetst ook uitbreidingen naar andere acquisitie functies (UCB, Thompson Sampling, MES, KG, PES) met behulp van de afgeleide mengeling-momenten.

3. Belangrijkste Bijdragen

1. DPMM-GP Surrogaat: Ontwikkeling van een volledig DPMM-GP surrogaat voor BO die collapsed Gibbs sampling gebruikt om latente functies analytisch te marginaliseren, wat de inferentie-efficiëntie verbetert.
2. Adaptieve $\alpha$-Scheduling: Introductie van een dynamisch scheduling mechanisme voor de concentratieparameter om de balans te bewaren tussen model parsimonie en expressiviteit gedurende het optimalisatieproces.
3. Regime-Bewuste Acquisitie: Afleiding van closed-form Expected Improvement die onzekerheid deelt in intra-regime en inter-regime componenten, wat robuuste afhandeling van multi-regime objectieffuncties mogelijk maakt.
4. Ruimtelijke Modulatie: Een keuze in predictieve modellering die ruimtelijke afhankelijkheid introduceert in de mengelsgewichten zonder extra gating-parameters, wat ervoor zorgt dat voorspellingen relevant zijn voor de lokale zoekruimte.

4. Experimentele Resultaten

De auteurs evalueren RAMBO op synthetische benchmarks en reële wetenschappelijke toepassingen, waarbij ze het vergelijken met state-of-the-art baselines inclusief standaard SGP, TuRBO, SAASBO, BAxUS, ALEBO, HEBO, en anderen.

• Synthetische Benchmarks: Op de Levy en Schwefel functies (6D en 10D) presteert RAMBO met adaptieve scheduling consistent gelijk aan of beter dan de baselines. Het convergeert aanzienlijk sneller op de grillige Levy functie en vermijdt het vastlopen in suboptimale bassins op het misleidende Schwefel landschap.
• Moleculaire Conformatie Optimalisatie (12D): RAMBO bereikt een verbetering van 39,73% in energie-reductie ten opzien van de beste baseline (SAASBO) na 200 iteraties, waarbij het efficiënt tussen verschillende rotamerische bassins navigeert.
• Virtuele Medicijn Screening (50D): Bij het optimaliseren van docking scores voor een kanker-gerelateerd eiwit, bereikt RAMBO een 4,06% verbetering in voorspelde bindingsaffiniteit ten opzien van TuRBO, waarbij het chemische ruimte succesvol partitioneert in scaffold-specifieke regimes.
• Fusiereactorontwerp (80D): RAMBO ontdekt 3–5 regimes die overeenkomen met verschillende magnetische topologieën, waarbij het confinement-kwaliteitswaarden bereikt die ongeveer 51,55% hoger zijn dan die van de beste concurrerende methode. Het vermijdt de faalmodi van embedding-gebaseerde methoden (die een laag-rang structuur veronderstellen) en trust-region methoden (die plateau bereiken bij stabiliteitsgrenzen).

5. Betekenis en Claims

Het artikel claimt dat RAMBO een fundamentele beperking van standaard BO aanpakt: het onvermogen om discrete heterogeniteit en abrupte transities in wetenschappelijke ontwerpproblemen te modelleren. Door stationaire surrogaten te vervangen door een niet-parametrisch mengmodel, vangt RAMBO de "patchwork" aard van echte landschappen waarbij afzonderlijke regimes lokaal coherente maar globaal onvergelijkbare eigenschappen vertonen.

De auteurs benadrukken dat hun aanpak niet vereist om de functionele vorm van niet-stationariteit vooraf te specificeren. In plaats daarvan worden de regime-grenzen en het aantal regimes direct uit de data afgeleid. De consistente verbeteringen over diverse, hoog-dimensionale en multi-modale benchmarks suggereren dat RAMBO een robuust framework biedt voor het versnellen van wetenschappelijke ontdekkingen in domeinen waar functie-evaluaties duur zijn en de onderliggende fysica of chemie complexe, niet-stationaire structuren vertonen.

Het werk wordt gepresenteerd als een methode om het aantal kostbare simulaties of experimenten te verminderen die nodig zijn om hoogwaardige oplossingen te bereiken, waardoor de hulpbronnen- en energievoetafdruk van computationele wetenschappelijke workflows wordt verlaagd. De auteurs merken op dat hoewel de methode de optimalisatie versnelt, het punt-aanbevelingen produceert onder onzekerheid, en dat besluitvormers de acquisitie-waarden moeten behanden als input voor een deliberatief proces in plaats van als grondwaarheid-rangschikkingen, met name in veiligheidskritische toepassingen.