Surrogate modeling for Bayesian optimization beyond a single Gaussian process

Technische Samenvatting: Surrogaatmodellen voor Bayesiaanse Optimalisatie Buiten een Enkel Gaussiaans Proces

Probleemstelling
Bayesiaanse Optimalisatie (BO) is een gestructureerd raamwerk voor het optimaliseren van "duur te evalueren" black-boxfuncties, zoals die worden aangetroffen bij het afstemmen van hyperparameters, het ontdekken van medicijnen en robotica. Standaard BO vertrouwt op een statistisch surrogaatmodel om sequentieel query-punten te selecteren, waarbij exploratie en exploitatie in evenwicht worden gebracht. Echter, bestaande benaderingen zijn doorgaans afhankelijk van een enkel Gaussiaans Proces (GP) met een vooraf geselecteerde kernfunctie. Dit ontwerp vereist aanzienlijke domeinkennis om het juiste kerntype en de juiste hyperparameters te kiezen. Bovendien ontbreken er vaak strenge convergentiegaranties voor BO-algoritmen, en het paralleliseren van evaluaties om de convergentietijd te verkorten vereist frequent extra hyperparameters of complexe selectieregels om query-diversiteit te waarborgen. Het artikel adresseert de behoefte aan een BO-methode die de afstemmingsinspanningen minimaliseert, parallelle werking ondersteunt en theoretische convergentiegaranties biedt.

Methodologie: EGP-TS
De voorgestelde methode, EGP-TS (Ensemble Gaussian Process met Thompson Sampling), introduceert een nieuw raamwerk dat verder gaat dan een enkel GP-surrogaat.

1. Ensemble van GPs (EGP): In plaats van een enkele kern maakt de methode gebruik van een ensemble van $M$ GPs, waarbij elke GP $m$ een kernfunctie $\kappa_m$ gebruikt die is geselecteerd uit een vooraf gedefinieerde woordenlijst $\mathcal{K}$. De prior over de objectiefunctie $f(x)$ wordt gemodelleerd als een gewogen mengsel van deze GPs:
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   De gewichten $w_m^t$ worden adaptief en on-the-fly bijgewerkt op basis van de waargenomen data $D_t$ met behulp van de regel van Bayes, waardoor effectief het meest geschikte surrogaatmodel wordt geselecteerd dat past bij het huidige stadium van de optimalisatie.

2. Thompson Sampling (TS) Acquisitie: Om het volgende query-punt te selecteren, maakt de methode gebruik van Thompson Sampling. In plaats van een complexe acquisitiefunctie te optimaliseren, steekt TS een functie-realizatie $\tilde{f}_t(x)$ uit de posterior-mengselverdeling en selecteert de maximizer van deze gestichte functie. Deze aanpak vereist geen extra ontwerpparameters.

3. Schaalbaarheid via Random Features (RF): Om schaalbaarheid te waarborgen, met name voor de steekproefstap die door TS wordt vereist, maakt de methode gebruik van kernbenadering op basis van random features voor elke GP in het ensemble. Dit zet het niet-parametrische GP-leren om in een parametrisch proces, waardoor efficiënte functiesteekproeven en recursieve Bayesiaanse updates van de modelparameters (gewichten en posterior-middens/covarianties) mogelijk worden.

4. Parallelisatie: Het EGP-TS-raamwerk past zich van nature aan zowel synchrone als asynchrone parallelle functievevaluaties aan. In een parallelle omgeving met $K$ workers worden meerdere query-punten gegenereerd door te steekproeven uit de huidige posterior-mengselverdeling, zonder dat extra hyperparameters nodig zijn om diversiteit af te dwingen, een veelvoorkomende vereiste in parallelle BO met Upper Confidence Bound (UCB) of Expected Improvement (EI).

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

• Adaptieve Modelselectie: Het vervangt de enkele GP met een vooraf geselecteerde kern door een ensemble van GPs dat per-GP-gewichten adaptief on-the-fly aanpast, waardoor de noodzaak voor handmatige kernselectie wordt verwijderd.
• Parameter-vrije Parallelisme: De resulterende EGP-TS-aanpak ondersteunt zowel synchrone als asynchrone parallelle evaluaties zonder dat extra ontwerpparameters nodig zijn.
• Convergentiegaranties: De auteurs stellen de convergentie van EGP-TS naar het globale optimum vast door sublineaire Bayesiaanse regretgrenzen af te leiden voor zowel sequentiële als parallelle omgevingen. De analyse past technieken toe van lineaire bandieten met mengsel-priors op de BO-context, waarbij de uitdagingen worden aangepakt die worden geïntroduceerd door de EGP-prior.
• Empirische Validatie: Uitgebreide tests op synthetische functies, robotica-taken (robot duwen) en real-world hyperparameter-tuning-taken (voor FNN's, SVM's en Gradient Boosting) tonen de superioriteit van de methode aan ten opzichte van op een enkele GP gebaseerde TS, volledig Bayesiaanse GP-TS en alternatieve ensemble-benaderingen.

Resultaten
Numerieke experimenten werden uitgevoerd op standaard synthetische benchmarks (Ackley-5d, Zakharov, DropWave, Eggholder) en real-world toepassingen.

• Synthetische Functies: EGP-TS bereikte consequent een lagere simple regret in vergelijking met GP-TS met vooraf geselecteerde kernen (RBF, Matérn) en andere ensemble-methoden zoals BanditBO en EXP3BO. Het presteerde ook beter dan volledig Bayesiaanse GP-TS.
• Robotica: Bij 3D- en 4D-robot-duwtaken toonde EGP-TS superieure prestaties in het minimaliseren van de afstand tot de doellocatie in vergelijking met alle baselines, terwijl het ook aanzienlijk sneller draaide dan volledig Bayesiaanse GP-TS.
• Hyperparameter-tuning: Bij het afstemmen van FNN-, SVM- en Gradient Boosting-modellen op datasets zoals Breast Cancer, Iris en Wine bereikte EGP-TS een hogere validatie-accuraatheid met minder functievevaluaties in vergelijking met concurrenten.
• Ablatie: Voorlopige resultaten waarbij het EGP-surrogaat wordt gekoppeld aan Expected Improvement (EGP-EI) toonden ook verbeterde prestaties aan ten opzichte van standaard GP-EI, wat suggereert dat de voordelen van het ensemble-model verder reiken dan Thompson Sampling.

Betekenis en Claims
Het artikel beweert dat EGP-TS een robuuste oplossing biedt voor de knelpunt van "ontwerpinspanning" in Bayesiaanse Optimalisatie. Door kernselectie te automatiseren via een ensemble-benadering en Thompson Sampling te gebruiken, vermindert de methode de afhankelijkheid van expert-domeinkennis. De theoretische bijdrage ligt in het vaststellen van strenge Bayesiaanse regretgrenzen voor een op ensemble gebaseerd BO-algoritme, waarmee wordt bewezen dat de methode convergeert naar het globale optimum met afnemende gemiddelde regret. De auteurs benadrukken dat hoewel het ensemble-concept al is gebruikt in supervised learning, de aanpassing ervan aan BO voor kernselectie, gekoppeld aan parallelle schaalbaarheid en convergentie-analyse, een nieuwe bijdrage is. Het werk positioneert EGP-TS als een methode die de expressiviteit van ensemble-leren in evenwicht brengt met de efficiëntie en theoretische garanties die nodig zijn voor praktische, hoogkostbare optimalisatietaken.