Technische Samenvatting: Begrip van Bayesiaanse Optimalisatie in Hoge Dimensies

Probleemstelling

Bayesiaanse optimalisatie in hoge dimensies (HDBO) streeft naar het vinden van het minimum van een dure, zwarte-doosfunctie $f: [0, 1]^d \to \mathbb{R}$ waarbij de dimensionaliteit $d$ groot is. Hoewel Bayesiaanse optimalisatie (BO) effectief is in situaties met lage dimensionaliteit, werd het historisch gezien als onuitvoerbaar voor hoge dimensies vanwege de "vloek van de dimensionaliteit" (COD). De COD vereist exponentieel meer datapunten om precisie te behouden, bemoeilijkt het aanpassen van hyperparameters van Gaussische Processen (GP) en belemmert het maximaliseren van acquisitiefuncties (AF's).

Recente literatuur (bijv. Hvarfner et al., 2024; Xu & Zhe, 2024) suggereerde dat eenvoudige BO-methoden verrassend goed presteren op hoge-dimensionale real-world benchmarks, vaak beter dan geavanceerde algoritmen die specifiek voor hoge dimensies zijn ontworpen. De onderliggende redenen voor dit succes en de specifieke uitdagingen die in HDBO blijven bestaan, waren echter niet grondig geïdentificeerd. Dit artikel onderzoekt deze fenomenen, met focus op het gedrag van standaard GP-surrogaten zonder te vertrouwen op sterke structurele aannames zoals additiviteit of laag-dimensionale actieve deelruimten.

Methodologie en Analyse

De auteurs voeren een exhaustieve empirische analyse uit om de oorzaken van falen en succes in HDBO te identificeren, met focus op drie hoofdaspecten van het probleem:

1. Verdwijnende Gradiënten bij Modelaanpassing (MLE)

Het artikel identificeert dat standaard Maximum Likelihood Estimation (MLE) voor GP-lengteschalen vaak faalt in hoge dimensies vanwege verdwijnende gradiënten.

• Mechanisme: Bij initialisatie van de lengteschalen met standaardwaarden (bijv. $\ln 2$), verdwijnt de gradiënt van de marginale log-likelihood (MLL) met betrekking tot de lengteschalen voor hoge-dimensionale problemen. Bijgevolg kan de optimizer de lengteschalen niet updaten, waardoor ze bij hun initiële waarden blijven, ongeacht de waargenomen data.
• Bewijs: Experimenten tonen aan dat bij korte initiële lengteschalen gradiënten zelfs verdwijnen voor matige dimensies. Dit verhindert dat de GP zich aanpast aan de werkelijke schaal van de functie.
• Mitigatie: De auteurs stellen een eenvoudige initialisatiestrategie voor waarbij de initiële lengteschaal wordt geschaald met $\sqrt{d}$ (specifiek $\sqrt{d}/10$). Dit zorgt ervoor dat de optimizer start in een regio waar gradiënten niet verdwijnen, waardoor de lengteschalen effectief kunnen worden aangepast zonder Maximum A-Posteriori (MAP) schatting of complexe hyperpriors te vereisen.

2. Verdwijnende Gradiënten bij Optimalisatie van de Acquisitiefunctie

Zelfs als het GP-model correct is aangepast, kan de optimalisatie van de acquisitiefunctie (AF) falen.

• Mechanisme: In hoge dimensies blijven grote delen van de zoekruimte onverkend. Als de GP-posterieur in deze regio's vlak is (door onvoldoende lange lengteschalen of gebrek aan data), wordt het AF-oppervlak vlak. Gradiënt-gebaseerde optimalisatoren die worden gebruikt om de AF te maximaliseren (bijv. voor Expected Improvement) ervaren dan verdwijnende gradiënten en slagen er niet in om zich te verplaatsen vanuit de initiële willekeurige kandidaten.
• Rol van RAASP: Het artikel benadrukt dat Random Axis-Aligned Subspace Perturbation (RAASP) sampling, gebruikt in methoden zoals TuRBO en BoTorch, cruciaal is. RAASP genereert kandidaten door de best presterende punten te verstoren. In hoge dimensies dwingt dit de optimizer om te starten in de buurt van bestaande waarnemingen waar de AF minder waarschijnlijk vlak is, waardoor de zoektocht effectief wordt teruggebracht tot lokaal gedrag dat de valkuil van verdwijnende gradiënten vermijdt.

3. Bias-Variance Trade-off bij GP-Aanpassing

De auteurs vergelijken MLE- en MAP-benaderingen voor het aanpassen van GP-hyperparameters.

• Vondsten: MLE vertoont een hogere variantie in schattingen van lengteschalen, vooral bij schaarse data in hoge dimensies. MAP (met gebruik van hyperpriors) vermindert de variantie maar introduceert bias tenzij accurate prior-informatie beschikbaar is.
• Inzicht: De voorgestelde initialisatie voor MLE (geschaald met $\sqrt{d}$) stelt MLE in staat om state-of-the-art prestaties te behalen zonder de bias die wordt geïntroduceerd door willekeurige hyperpriors, waaruitvoeringspraktici vaak geen toegang toe hebben.

Voorgestelde Methode: MSR

Op basis van deze bevindingen stellen de auteurs MSR (MLE Scaled with RAASP) voor:

1. Initialisatie: Gebruik MLE voor GP-lengteschalen, maar initialiseer de optimizer met een lengteschaal van $\sqrt{d}/10$ om verdwijnende gradiënten tijdens modelaanpassing te voorkomen.
2. Acquisitie: Maximaliseer de acquisitiefunctie (LogEI) met behulp van RAASP sampling om ervoor te zorgen dat kandidaten lokaal worden gegenereerd rond de beste waarnemingen, waardoor verdwijnende gradiënten in de AF worden tegengegaan.
3. Eenvoud: In tegenstelling tot andere methoden vereist MSR geen specificatie van een prior-overtuiging over lengteschalen (zoals bij MAP) of complexe inbeddingsstructuren.

Resultaten

De auteurs evalueren MSR op een uitgebreide set real-world toepassingen en benchmarks, waaronder:

• Datasets: Mopta08 (124d), Lasso-DNA (180d), SVM (388d), Rover (60d), Ant (888d) en Humanoid (6392d).
• Vergelijkingen: MSR wordt vergeleken met state-of-the-art methoden, waaronder DSP (een MAP-gebaseerde methode met dimensie-geschaalde priors), TuRBO, SAASBO en Bounce.

Belangrijkste Bevindingen:

• Prestaties: MSR behaalt concurrerende, state-of-the-art prestaties op alle benchmarks, waarbij het DSP evenaart of overtreft. Opmerkelijk is dat MSR DSP verslaat op de 124d Mopta08 en 888d Ant benchmarks.
• Falen van Standaard Initialisatie: Methoden die de standaard constante initialisatie gebruiken ($\ell = \ln 2$) falen op hoge-dimensionale benchmarks (bijv. Ant, Humanoid) vanwege verdwijnende gradiënten en gedragen zich effectief als willekeurige zoektocht.
• Rol van RAASP: De opname van RAASP sampling in MSR vermindert de variantie van lengteschaalschattingen en bevordert lokaal zoekgedrag. De auteurs betogen dat dit de primaire drijvende kracht is van succes in extreem hoge dimensies (orde van 1000 dimensies), eerder dan een globaal goed aangepast surrogaatmodel.
• Benchmark Analyse: Het artikel merkt op dat populaire benchmarks zoals Mopta08 en Lasso-DNA mogelijk eenvoudigere structuren hebben dan verwacht (veel dimensies zijn "secundair" en ingesteld op grenswaarden), wat modellen met lange lengteschalen ten goede komt. De robuustheid van MSR blijft echter gelden, zelfs op deze specifieke structuren.

Betekenis en Claims

Het artikel claimt een dieper begrip te bieden van waarom eenvoudige BO-methoden slagen in hoge dimensies, en schrijft dit succes toe aan:

1. Vermijden van Verdwenende Gradiënten: Een juiste initialisatie van lengteschalen is cruciaal voor het aanpassen van het GP-model.
2. Lokaal Zoekgedrag: In hoge dimensies rust succesvolle optimalisatie meer op lokale zoekmechanismen (gefaciliteerd door RAASP) dan op een globaal accuraat surrogaatmodel.

De auteurs betogen dat uitvoeringspraktici geen complexe priors of structurele aannames nodig hebben om state-of-the-art HDBO-prestaties te behalen. In plaats daarvan is een eenvoudige variant van MLE met dimensie-geschaalde initialisatie, gecombineerd met RAASP sampling, voldoende. Het werk benadrukt het belang van numerieke stabiliteit in BO en suggereert dat toekomstig onderzoek zich moet richten op benchmarks die de complexiteit van real-world hoge-dimensionale toepassingen beter vastleggen, aangezien huidige populaire benchmarks mogelijk "overgefit" zijn op eenvoudige structuren.