📊 statistics

Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces

Dit artikel introduceert BAxUS, een adaptieve Bayesiaanse optimalisatiemethode die geneste willekeurige deelruimten benut om effectief om te gaan met hoogdimensionale problemen, met theoretische garanties en superieure empirische prestaties in vergelijking met bestaande state-of-the-art methoden.

Oorspronkelijke auteurs: Leonard Papenmeier, Luigi Nardi, Matthias Poloczek

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leonard Papenmeier, Luigi Nardi, Matthias Poloczek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het absoluut beste cake-recept te vinden. Maar er zit een addertje onder het gras: je kunt de cake pas proeven als hij volledig gebakken is, en het bakken van één cake duurt een hele dag. Je hebt slechts genoeg ingrediënten en tijd om ongeveer 1.000 cakes te bakken voordat je je geld uitgegeven hebt.

Stel je nu voor dat dit recept honderden ingrediënten (variabelen) heeft: meeltype, suikerhoeveelheid, oven temperatuur, mengsnelheid, luchtvochtigheid, enzovoort. Dit noemen computerwetenschappers een hoogdimensionaal probleem.

Het Probleem: Verdwalen in de "Keuken"

Traditionele methoden om het beste recept te vinden (genaamd Bayseiaanse Optimalisatie) werken uitstekend wanneer je slechts een paar ingrediënten hebt. Maar wanneer je er honderden hebt, beginnen ze te falen. Het is alsof je probeert een specifiek zandkorreltje te vinden op een strand dat elke keer groter wordt als je er naar kijkt.

Sommige bestaande methoden proberen dit op te lossen door aan te nemen dat het recept eigenlijk slechts afhankelijk is van een paar "geheime" ingrediënten (zoals alleen suiker en meel). Ze raden in welke die zijn en negeren de rest.

Het Risico: Als ze verkeerd raden, missen ze de beste cake volledig.
Het Raadselspel: Ze dwingen je ook om te raden hoeveel geheime ingrediënten er zijn. Als je te laag schat, mis je de smaak. Als je te hoog schat, verspil je tijd aan het bakken van nutteloze cakes.

De Oplossing: BAXUS (De "Groeiende Kaart"-Strategie)

De auteurs van dit artikel stellen een nieuwe methode voor genaamd BAXUS. In plaats van het aantal belangrijke ingrediënten te raden of vast te houden aan een kleine, vaste kaart, gebruikt BAXUS een slimme strategie: Begin klein, en groei dan.

Hier is hoe het werkt, met behulp van een creatieve analogie:

1. De Geneste Subruimten (De Russische Poppen)

Stel je voor dat je een set Russische doospoppen hebt.

De Kleine Pop: Je begint met bakken in een tiny keuken met slechts 2 werkbladen. Je kunt maar twee ingrediënten tegelijk mengen. Dit is snel en makkelijk. Je vindt snel een "voldoende goede" cake binnen deze kleine ruimte.
De Groeiende Poppen: Naarmate je meer leert, blijft BAXUS niet in de tiny keuken hangen. Het opent zachtjes de volgende laag van de pop. Plotseling heb je 4 werkbladen. Dan 8. Dan 16.
De Magie: Wanneer de keuken uitbreidt, gooit BAXUS niet alle cakes die je al hebt gebakken weg. Het bewaart ze! Het neemt de cakes die je maakte in de 2-werkblad-keuken en projecteert ze op de nieuwe 4-werkblad-keuken. Je verliest je voortgang niet; je krijgt gewoon meer ruimte om te verkennen.

2. De "Splitsende" Truc

Hoe breidt het uit zonder data te verliezen?
Stel je voor dat je huidige keuken één groot werkblad heeft waar je meel en suiker samen mengt. Je beseft dat je ze moet scheiden om een betere cake te krijgen.

De Splitsing: BAXUS neemt dat ene werkblad en splitst het in twee nieuwe werkbladen.
De Kopie: Het neemt exact hetzelfde mengsel dat je eerder had en plaatst dit op beide nieuwe werkbladen.
Het Resultaat: Je hebt nu twee aparte plekken om het meel en de suiker onafhankelijk van elkaar aan te passen, maar je hebt de data van je eerdere pogingen niet verloren. Je hebt jezelf gewoon meer "vrijheidsgraden" gegeven om een betere oplossing te vinden.

3. Het Veiligheidsnet (Vertrouwensgebieden)

Om te voorkomen dat het overweldigd raakt naarmate de keuken enorm wordt, gebruikt BAXUS een "Vertrouwensgebied". Denk hierbij aan een omheining.

In plaats van de hele gigantische keuken in één keer te bekijken, kijkt de robot-kok alleen binnen een klein, afgeomheind gebied rond de beste cake die tot nu toe is gevonden.
Als de kok een betere cake vindt, breidt de omheining zich uit om het nieuwe gebied op te nemen.
Als de kok blijft falen om een betere cake te vinden, krimpt de omheining om zich intens te focussen op die specifieke plek.
Dit voorkomt dat de kok verdwaalt in de uitgestrektheid van de keuken met 1.000 ingrediënten.

Waarom is dit beter?

Het artikel beweert dat BAXUS superieur is omdat:

Geen Gissen: Je hoeft de computer niet te vertellen hoeveel "geheime ingrediënten" er bestaan. Het werkt dit uit door de ruimte alleen zo snel te laten groeien als nodig is.
Veiligheid: Het garandeert dat zelfs als het probleem enorm is, de methode niet zomaar "faalt" omdat het de verkeerde startgrootte heeft geraden. Het past zich aan.
Efficiëntie: Het behaalt de beste resultaten op een breed scala aan tests (van het ontwerpen van auto's tot het optimaliseren van chemische reacties) in vergelijking met de huidige beste methoden.

De Conclusie

Zie BAXUS als een slimme ontdekkingsreiziger die begint met het in kaart brengen van een klein dorpje. Naarmate ze het terrein leren kennen, stoppen ze niet; ze breiden hun kaart geleidelijk uit om het hele land te bestrijken, terwijl ze hun oude notities bij zich dragen. Ze raken nooit overweldigd door de grootte van het land omdat ze zich altijd focussen op het gebied direct rondom waar ze tot nu toe de beste schat hebben gevonden.

Dit stelt hen in staat complexe, hoogdimensionale puzzels op te lossen waar andere methoden ofwel mee opgeven of vast komen te zitten in het gissen.

Technische Samenvatting: BAXUS – Adaptieve Bayesiaanse Optimalisatie in Geneste Subruimtes

Probleemstelling

Bayesiaanse optimalisatie voor hoge dimensies (HDBO) heeft als doel dure te evalueren black-box functies met tientallen tot honderden invoerdimensies te optimaliseren. Hoewel recente vooruitgang de reikwijdte van Bayesiaanse optimalisatie (BO) heeft uitgebreid naar gebieden zoals levenswetenschappen, zoektocht naar neurale architecturen en robotica, ondervinden geavanceerde methoden aanzienlijke beperkingen naarmate de dimensionaliteit toeneemt.

Bestaande benaderingen vallen over het algemeen in twee categorieën, beide met kritieke nadelen:

Trust Region-methoden (bijv. TURBO): Deze optimaliseren over lokale begrenste gebieden (trust regions) binnen de volledige invoerruimte. Hoewel ze effectief zijn voor matige dimensies, verslechtert hun prestatie in zeer hoge dimensies omdat de trust regions de volledige dimensionaliteit van het probleem behouden en lijden onder de vloek van de dimensionaliteit.
Lineaire Embedding-methoden (bijv. REMBO, HESBO, ALEBO): Deze gaan uit van het bestaan van een laagdimensionale "actieve subruimte" en projecteren de hoogdimensionale invoerruimte naar een lagerdimensionale doelruimte. Deze methoden vereisen echter dat de gebruiker de effectieve dimensionaliteit ( $d_e$ ) van de actieve subruimte moet "raden". Als de gekozen doeldimensionaliteit ( $d$ ) te klein is, kan de subruimte het globale optimum niet representeren; als $d$ te groot is, vertraagt de optimalisatie door de vloek van de dimensionaliteit. Bovendien bieden methoden zoals HESBO afhankelijk van willekeurige hashing lagere garanties voor het worst-case scenario dat een optimum wordt bevatten, vergeleken met andere embeddings.

De kernuitdaging is het ontwikkelen van een HDBO-methode die betrouwbaar globale optima vindt zonder voorafgaande kennis van de dimensionaliteit van de actieve subruimte te vereisen, terwijl het prestatieverlies geassocieerd met hoogdimensionale zoekruimtes wordt vermeden.

Methodologie: BAXUS

De auteurs stellen BAXUS (Bayesiaanse optimalisatie met adaptief uitbreidende subruimtes) voor, een theoretisch onderbouwde aanpak die de dimensionaliteit van de optimalisatieruimte dynamisch aanpast.

1. Adaptieve Geneste Subruimtes

In plaats van de doeldimensionaliteit vast te leggen, werkt BAXUS met een familie van geneste willekeurige subruimtes. Het algoritme begint met een laagdimensionale doelruimte ( $d_{init}$ ) en verhoogt de dimensionaliteit progressief naarmate het meer data verzamelt.

Initialisatie: BAXUS start met een kleine doeldimensionaliteit $d_0$ .
Uitbreiding: Naarmate de optimalisatie vordert, wordt de doeldimensionaliteit verhoogd door bestaande doeldimensies te "splitten". Dit proces gaat door totdat de doeldimensionaliteit ongeveer de invoerdimensionaliteit $D$ bereikt of het evaluatiebudget is uitgeput.
Behoud van Observaties: Een kritiek kenmerk van BAXUS is het vermogen om observaties uit lagerdimensionale ruimtes te behouden bij uitbreiding naar hogere dimensies. Wanneer een doeldimensie wordt gesplitst, worden de bijdragende invoerdimensies opnieuw toegewezen aan de oorspronkelijke dimensie en nieuwe bins. De functiewaarden (observaties) worden gekopieerd naar de nieuwe dimensies, waardoor ervoor wordt gezorgd dat data verzameld in de laagdimensionale fase geldig blijft in de hogerdimensionale fase.

2. De Sparse BAXUS Embedding

BAXUS maakt gebruik van een nieuwe sparse lineaire embedding om de doelruimte $Y \in \mathbb{R}^d$ te mappen naar de invoerruimte $X \in \mathbb{R}^D$ .

Structuur: De embeddingmatrix $S^\top \in \{0, \pm 1\}^{d \times D}$ is sparse, wat betekent dat elke kolom (invoerdimensie) precies één niet-nul waarde heeft.
Bin-balancering: In tegenstelling tot HESBO, dat invoerdimensies uniform willekeurig toewijst aan doeldimensies (wat leidt tot variabele bin-groottes), dwingt BAXUS af dat het aantal bijdragende invoerdimensies per doeldimensie (bin-grootte) maximaal één verschilt. Deze "gebalanceerde" toewijzing wordt bereikt door invoerdimensies te permuteren en ze te splitsen in $d$ bins.
Theoretisch Voordeel: De auteurs bewijzen dat deze gebalanceerde sparse embedding een strikt hogere worst-case succeskans (de kans dat de doelruimte een globaal optimum bevat) biedt dan de HESBO-embedding voor eindige invoerdimensies. Naarmate $D \to \infty$ , convergeert de succeskans van BAXUS naar die van HESBO.

3. Trust Region en Splitting Strategie

BAXUS integreert de embedding-uitbreiding met een Trust Region (TR)-benadering vergelijkbaar met TURBO:

Trust Regions: Optimalisatie vindt plaats binnen hyper-rechthoekige trust regions in de doelruimte, geschaald door GP-lengteschalen.
Uitbreidings-trigger: De doeldimensionaliteit wordt verhoogd wanneer de basiszijde van de trust region onder een minimumdrempel zakt (wat aangeeft dat het huidige gebied te klein is of het algoritme vastzit).
Foutbeheersing: Het aantal toegestane "fouten" (opeenvolgende iteraties zonder verbetering) voordat een split plaatsvindt, wordt omlaag geschaald op basis van de huidige doeldimensionaliteit. Dit zorgt ervoor dat het algoritme binnen een vast evaluatiebudget hoge dimensionaliteiten kan bereiken.
Convergentie: Het algoritme is bewezen globale convergentie te bereiken. Zodra de doeldimensionaliteit de invoerdimensionaliteit $D$ bereikt, gedraagt BAXUS zich als TURBO, waarvan bekend is dat het globaal convergeert.

Belangrijkste Bijdragen

Algoritme-ontwikkeling: De auteurs stellen BAXUS voor, wat betrouwbaar uitstekende oplossingen bereikt op een breed scala aan hoogdimensionale taken en de huidige geavanceerde methoden overtreft.
Nieuwe Embedding-theorie: Ze presenteren een nieuwe familie van geneste willekeurige embeddings met drie kernkenmerken:
- Het biedt een grotere worst-case garantie voor het bevatten van een globaal optimum in vergelijking met de HESBO-embedding.
- Het is een optimale sparse embedding, wat betekent dat geen enkele andere sparse embedding een hogere worst-case succeskans heeft voor dezelfde invoer-, doel- en effectieve dimensionaliteiten.
- De kans dat het een optimum bevat, convergeert naar de HESBO-kans naarmate de invoerdimensionaliteit $D \to \infty$ .
Uitgebreide Evaluatie: Het paper biedt uitgebreide empirische bewijzen die de superioriteit van BAXUS ten opzichte van TURBO, SAASBO, ALEBO, HESBO, CMA-ES en willekeurige zoektocht aantonen op diverse benchmarks.

Experimentele Resultaten

De auteurs hebben BAXUS geëvalueerd op een collectie van 388-dimensionale hyperparameter-optimalisatietaken, 124-dimensionale ontwerpproblemen en benchmarks met bekende actieve subruimtes (LASSO, MOPTA08, BRANIN, HARTMANN).

Prestaties: BAXUS overtrof consistent de geavanceerde methoden. Op de 388D SVM-benchmark paste BAXUS zich aan aan de juiste doeldimensionaliteit en vond het sneller betere oplossingen dan TURBO en CMA-ES. Op de 1000D LASSO-HARD-benchmark behaalde BAXUS aanzienlijk betere oplossingen dan alle concurrenten, inclusief methoden die vertrouwen op aannames over actieve subruimtes (SAASBO, ALEBO, HESBO), die geen voordeel konden halen uit de structuur van de actieve subruimte.
Robuustheid: BAXUS toonde robuustheid tegen observationele ruis, waarbij het sterke prestaties behield op ruisvarianten van benchmarks waar concurrenten zoals SAASBO en CMA-ES aanzienlijk verslechterden.
Ablatiestudies: Het vervangen van de BAXUS-embedding door een geneste HESBO-embedding resulteerde in aanzienlijk slechtere prestaties, wat bevestigt dat de gebalanceerde binning-strategie een belangrijke drijvende kracht voor succes is.
Vergelijking met Vaste Embeddings: BAXUS overtrof het uitvoeren van TURBO met een vaste doeldimensionaliteit, wat aantoont dat de adaptieve uitbreidingsstrategie superieur is aan statische keuzes van $d$ .

Betekenis en Claims

Het paper claimt dat BAXUS de kritieke beperkingen van huidige HDBO-methoden aanpakt door de noodzaak voor practitioners om de effectieve dimensionaliteit van het probleem te "raden" te verwijderen. Door de zoekruimte adaptief uit te breiden, benut BAXUS de efficiëntie van laagdimensionale optimalisatie, terwijl het garandeert dat de zoekruimte uiteindelijk de volledige invoerruimte bestrijkt, waardoor het globale optimum bereikbaar blijft.

De auteurs stellen dat BAXUS een "klaar-voor-gebruik" (out-of-the-box) optimizer is die robuuste prestaties bereikt over een breed scala aan hoogdimensionale taken zonder specifieke aannames over de probleemstructuur te vereisen (zoals as-gealigneerde actieve subruimtes). Het werk beoogt Bayesiaanse optimalisatie voor hoge dimensies toegankelijker en betrouwbaarder te maken voor toepassingen in wetenschap en industrie waar het aantal instelbare parameters groot is en hun effectieve dimensionaliteit onbekend is.