🤖 machine learning

Bridging Spherical Black-Box Optimizers

Dit artikel verenigt Evolution Strategies, Consensus-Based Optimization en Optimization via Integration in een gemeenschappelijk theoretisch kader gebaseerd op fitnessaggregatie en consensusbereik, wat de creatie van hybride optimizers mogelijk maakt die effectief prestaties, robuustheid en multimodale zoekcapaciteiten balanceren over diverse hoogdimensionale taken.

Oorspronkelijke auteurs: Johannes Ackermann, Stefano Peluchetti

Gepubliceerd 2026-06-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johannes Ackermann, Stefano Peluchetti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het laagste punt te vinden in een uitgestrekt, mistig landschap. Je kunt de hele kaart niet zien en je hebt geen kompas (gradiënten) om aan te geven welke kant de afgrond is. Je kunt alleen een stap zetten, kijken hoe hoog je bent, en beslissen waar je de volgende stap naartoe zet. Dit is de wereld van Black-Box Optimalisatie.

Lange tijd hebben onderzoekers verschillende "teams" van verkenners gebruikt om dit probleem op te lossen, maar ze praatten zelden met elkaar. Dit artikel fungeert als een vertaler; het laat zien dat deze verschillende teams eigenlijk heel vergelijkbare dingen doen, alleen met iets andere regels. Door deze connecties te begrijpen, hebben de auteurs nieuwe "hybride" teams gebouwd die beter zijn in het vinden van de beste plekken.

Hier is de onderverdeling van de ideeën uit het artikel met behulp van eenvoudige analogieën:

1. De twee hoofdteams van verkenners

Het artikel identificeert twee belangrijke manieren waarop mensen hebben geprobeerd de bodem van de vallei te vinden:

Het "Wolk"-team (Parametrische methoden): Stel je een enkele, gigantische, vage wolk van verkenners voor, gecentreerd rond één gok. Ze verspreiden zich, controleren het terrein, en de hele wolk verschuift vervolgens naar de beste plek die ze hebben gevonden.
- Voorbeelden: Evolution Strategies (ES) en Optimization via Integration (OVI).
- Het gebrek: Ze zijn erg goed in het snel vinden van één goede plek, maar ze hebben de neiging om in slechts één vallei vast te komen zitten. Als er meerdere valleien zijn, kunnen ze de andere missen. Ook kunnen ze, afhankelijk van hoe ze de "beste" plek berekenen, de voorkeur geven aan een brede, vlakke vallei (veilig maar misschien niet de absoluut diepste) of een scherpe, smalle piek (de diepste, maar riskant).
Het "Menigte"-team (Niet-parametrische methoden): Stel je een grote groep individuele verkenners voor, verspreid over het landschap. Zij praten met elkaar. Als ze zien dat een buurman het goed doet, bewegen ze naar die persoon toe.
- Voorbeelden: Consensus-Based Optimization (CBO).
- Het gebrek: Ze zijn erg goed in het vinden van meerdere verschillende valleien tegelijkertijd (multimodaal). Echter, in zeer hoog-dimensionale landschappen (zoals een doolhof van 1.000 dimensies), raakt de menigte in de war en heeft het moeite met de coördinatie.

2. De "Meestervergelijking": De Universele Vertaler

De auteurs ontdekten dat beide teams eigenlijk hetzelfde basisrecept volgen, dat zij de Master Update (MU) noemen. Zie dit als een universele instructiehandleiding.

Het recept heeft twee knoppen die bepalen hoe het team zich gedraagt:

De "Scherpte"-knop (Fitness Aggregation): Hoe bepalen ze wat "goed" is?
- Middelen ze de scores uit (de voorkeur voor brede, vlakke valleien)?
- Of focussen ze intensief op de allerbeste scores (de voorkeur voor scherpe, diepe pieken)?
De "Bereik"-knop (Consensus Scope): Naar wie luistert het team?
- Luisteren ze naar iedereen in de groep (Globale consensus)? Dit leidt tot één enkele winnaar.
- Of luisteren ze alleen naar hun buren (Lokale consensus)? Dit stelt de groep in staat om uiteen te gaan en meerdere verschillende winnaars te vinden.

3. De Nieuwe Hybride Verkenners

Door deze twee knoppen te draaien, creëerden de auteurs nieuwe "hybride" methoden die de beste eigenschappen van de oude teams combineren.

Hybride A: De "Goldilocks" Optimizer (ES-OVI)

Het Probleem: Soms wil je een oplossing die de absolute beste is (scherp), maar soms wil je een oplossing die robuust is en niet breekt als de omgeving licht verandert (vlak).
De Oplossing: De auteurs hebben een methode gebouwd waarmee je met een schuifregelaar kunt schakelen tussen "ES" (geeft de voorkeur aan vlakke, veilige valleien) en "OVI" (geeft de voorkeur aan scherpe, diepe pieken).
Praktijktest: Ze testten dit op robotbesturingsopdrachten (zoals een robot laten springen of rennen). Ze ontdekten dat ze door de schuifregelaar aan te passen, konden afwegen tussen prestaties (hoe snel de robot gaat) en robuustheid (hoe goed de robot omgaat met ruis of fouten). Als de sensoren van de robot ruis bevatten, kies je een "vlakkere" instelling om het stabieler te maken.

Hybride B: De "Zwerm met een Brein" (CBO-OVI / AdaPol)

Het Probleem: Het "Menigte"-team (CBO) is goed in het vinden van meerdere oplossingen, maar faalt in hoge dimensies. Het "Wolk"-team (OVI) is goed in hoge dimensies, maar vindt slechts één oplossing.
De Oplossing: Ze creëerden een methode die begint als het "Wolk"-team om snel in te zoomen op een veelbelovend gebied op de kaart. Zodra het dichtbij komt, schakelt het over naar "Menigte"-modus om uiteen te gaan en meerdere verschillende goede oplossingen binnen dat gebied te vinden.
Praktijktest: Ze gebruikten dit voor het samenvoegen van AI-modellen. Stel je voor dat je drie verschillende versies van een chatbot hebt, elk goed in verschillende dingen. Je wilt ze samenvoegen om het beste van alle werelden te krijgen. Het landschap van "hoe te mengen" zit vol met vele lokale vallen. Hun hybride methode vond succesvol meerdere goede mengrecepten, terwijl oudere methoden in slechts één val terechtkwamen.

4. Waarom dit ertoe doet

Het artikel zegt niet alleen "we hebben een nieuw hulpmiddel gemaakt". Het zegt: "We hebben beseft dat deze hulpmiddelen eigenlijk neefjes van elkaar zijn."

Voor Praktiseerders: Als je probeert een probleem op te lossen, weet je nu dat je niet beperkt bent tot slechts één hulpmiddel. Je kunt ze mixen. Als je robuustheid nodig hebt, draai je aan de "vlakkigheid"-knop. Als je meerdere opties wilt vinden, draai je aan de "lokale interactie"-knop.
Voor de Toekomst: De auteurs laten zien dat we, door de onderliggende wiskunde te begrijpen, optimizers kunnen bouwen die slimmer zijn dan de som der delen. Ze bewezen dat dit werkt op standaard wiskundige puzzels, robotbesturingstaken en zelfs in de complexe wereld van het samenvoegen van grote taalmodellen.

In een notendop: Het artikel nam twee verschillende filosofieën van exploratie — één die zich richt op een enkel, vloeiend pad en één die zich richt op een verspreide, multi-pad zoektocht — en liet zien dat ze twee kanten van dezelfde munt zijn. Door ze te mengen, creëerden ze verkenners die zowel complexe precisie als rommelige, multi-optie problemen beter kunnen aan dan voorheen.

Technische Samenvatting: Het overbruggen van Sferische Black-Box Optimalisatie

Probleemstelling

In scenario's waar gradiëntinformatie niet beschikbaar is of onpraktisch om te berekenen—zoals optimalisatie via simulaties, externe API's of Reinforcement Learning—zijn Black-Box Optimization (BBO) methoden essentieel. De huidige BBO-literatuur is gefragmenteerd in verschillende families: parametrische methoden (bijv. Evolution Strategies (ES), Optimization via Integration (OVI)) en niet-parametrische, deeltjesgebaseerde methoden (bijv. Consensus-Based Optimization (CBO) en varianten daarvan). Hoewel deze methoden onafhankelijk van elkaar zijn bestudeerd en gekoppeld zijn aan gradiëntafdaling, blijft hun theoretische verbinding onderbelicht. Bijgevolg ontbreekt het praktijkgebruikers aan een verenigd kader om te begrijpen hoe deze methoden verschillen of hoe ze elkaars sterke punten kunnen combineren, zoals de efficiëntie in hoge dimensies van parametrische methoden en de multimodale capaciteiten van deeltjesgebaseerde benaderingen.

Methodologie

De auteurs stellen een Verenigd Kader voor dat gecentreerd is rond een enkele Master Update (MU) vergelijking. Dit kader toont aan dat ES, OVI, CB0, Polarized CBO (pCBO), Clustered CBO (cCBO) en Diffusion Evolution (DE) allemaal speciale gevallen zijn van deze mastervergelijking, die primair verschillen in twee ontwerpkeuzes:

Fitness Aggregatie ( $\Psi(F)$ ): Controleert de voorkeur voor scherpe versus vlakke minima.
- ES gebruikt een lineaire verwachting (het afvlakken van scherpe minima).
- OVI en CBO gebruiken een log-sum-exp aggregatie (het behouden of accentueren van scherpe minima).
Consensus Bereik ( $K_{i,j}$ ): Controleert de interactierange en modaliteit.
- Globale consensus (alle deeltjes beïnvloeden elkaar) leidt tot unimodale convergentie.
- Lokale of geclusterde consensus (deeltjes interageren alleen met buren of clustercentra) maakt multimodale optimalisatie mogelijk.

Op basis van deze inzichten leiden de auteurs twee hybride optimalisatoren af:

1. ES-OVI (Parametrische Hybride)

Deze methode interpoleert tussen ES en OVI door een convexe combinatie van hun gradiënten te nemen:
$\nabla J_\alpha(\theta) = \alpha \nabla J_{OVI}(\theta) + (1-\alpha) \nabla J_{ES}(\theta)$
waarbij $\alpha \in [0, 1]$ .

Mechanisme: $\alpha=0$ herstelt ES (voorkeur voor vlakke minima), terwijl $\alpha=1$ OVI herstelt (voorkeur voor scherpe minima).
Doel: Om expliciet de afweging te controleren tussen prestaties (het vinden van het ware minimum) en robuustheid (het vinden van vlakke minima die beter generaliseren).

2. CBO-OVI Hybriden (AdaPol & SchedPol)

Deze benadering overbrugt de kloof tussen de efficiëntie in hoge dimensies van parametrische methoden (OVI) en de multimodale zoektocht van deeltjesgebaseerde methoden (cCBO).

Mechanisme: De auteurs observeren dat Consensus Hopping (CH) gelijkwaardig is aan OVI. Ze stellen een adaptieve strategie (AdaPol) of een vast schema (SchedPol) voor die de aantrekkingsparameter $\lambda$ $λ$ transformeert.
- Begin met $\lambda=1$ (CH/OVI gedrag) om snel een veelbelovend gebied in een hoogdimensionale ruimte te bereiken.
- Transformeer naar $\lambda < 1$ (cCBO gedrag) om multimodale exploratie mogelijk te maken en meerdere optima te vinden.
Doel: Om competitieve prestaties te leveren in hoogdimensionale taken, terwijl het vermogen behouden blijft om meerdere oplossingen te ontdekken, waarmee de "vloek van dimensionaliteit" wordt aangepakt die deeltjesgebaseerde methoden vaak teisteren.

Belangrijkste Bijdragen

Verenigd Theoretisch Kader: Het artikel stelt vast dat diverse BBO-methoden (ES, OVI, CBO, DE, etc.) voortkomen uit een enkele Master Update vergelijking, waarbij ze enkel verschillen in fitness aggregatie en interactiebereik.
Equivalentiebewijzen: De auteurs tonen formeel aan dat:
- Stochastische Smoothing (SS) en Natural ES (NES) onder sferische Gaussische verdelingen equivalent zijn.
- Consensus Hopping (CH) equivalent is aan OVI.
- Diffusion Evolution (DE) een tijd-inhomogene implementatie is van pCBO.
Nieuwe Hybride Algoritmen:
- ES-OVI: Maakt expliciete controle mogelijk over de vlakheid van het optimum, wat een afstembare afweging biedt tussen prestaties en robuustheid.
- AdaPol/SchedPol: Combineert de schaalbaarheid van OVI met de multimodale zoektocht van cCBO, en vindt succesvol meerdere optima in hoogdimensionale ruimtes.
Empirische Validatie: De methoden worden gevalideerd op standaard BBO-benchmarks (BBOB), hoogdimensionale locomotie-taken (Brax) en een nieuwe toepassing op Evolutionary Model Merging voor Large Language Models (LLMs).

Resultaten

BBO Benchmarks (BBOB): Op 2D en hoger-dimensionale varianten van standaard BBOB-taken presteert de hybride ES-OVI vaak beter dan de individuele methoden (ES en OVI), met name in multimodale taken zoals "Attractive Sector" waar één methode mogelijk faalt.
Hoogdimensionale Controle (Brax): In taken met dimensionaliteit $d \approx 1000$ , presteert AdaPol (de adaptieve CBO-OVI hybride) beter dan andere CBO-varianten. Hoewel ES-OVI sterke initiële prestaties laat zien, convergeert het soms naar suboptimale eindresultaten vergeleken met pure OVI of CMA-ES, wat de gevoeligheid van de interpolatieparameter $\alpha$ benadrukt.
Robuustheidsanalyse: Experimenten op de Acrobot-taak laten zien dat ES-OVI de gevoeligheid van de oplossing voor ruis kan afstemmen. Lagere $\alpha$ -waarden (dichter bij ES) leveren oplossingen op die robuuster zijn tegen actie- en observatiestoornissen, terwijl hogere $\alpha$ -waarden (dichter bij OVI) hogere piekprestaties leveren maar minder robuustheid.
Evolutionary Model Merging: In de context van het mergen van LLM's met een beperkt evaluatiebudget, wordt het probleem geframed als een multimodale optimalisatietaak. De SchedPol en AdaPol methoden identificeren succesvol meerdere optima (sommigen overfitten, anderen generaliseren) op een kleine trainingssubset. Bij evaluatie op de volledige dataset vinden deze methoden oplossingen die competitief zijn met unimodale OVI, terwijl cCBO alleen worstelt met slechte initialisatie en OVI alleen faalt om diverse oplossingen te vinden.

Betekenis en Claims

Het artikel claimt dat door de theoretische fundamenten van sferische black-box optimalisatoren te verenigen, onderzoekers en praktijkgebruikers de inherente afruileren van verschillende algoritmen beter kunnen begrijpen. De primaire betekenis ligt in het vermogen om tussen deze methoden te interpoleren om optimalisatoren af te stemmen op specifieke behoeften:

Voor Robuustheid: Praktijkgebruikers kunnen ES-OVI gebruiken om expliciet naar vlakke minima te zoeken, wat de generalisatie in reinforcement learning en supervised learning verbetert.
Voor Multimodaliteit in Hoge Dimensies: De CBO-OVI hybriden (AdaPol/SchedPol) bieden een pad om meerdere optima te vinden in hoogdimensionale ruimtes waar traditionele deeltjesgebaseerde methoden falen door de vloek van dimensionaliteit.

De auteurs concluderen dat deze perspectieven kunnen dienen als gids voor methode-selectie en toekomstige algoritme-ontwerp, waardoor zij verder gaan dan het behandelen van deze optimalisatoren als geïsoleerde heuristieken. Zij erkennen beperkingen, waarbij zij opmerken dat hun kader momenteel alleen sferische Gaussische verdelingen beslaat (wat covariantie-adaptieve methoden zoals CMA-ES uitsluit) en nieuwe hyperparameters ( $\alpha$ , $N_G$ ) introduceert die afstemming vereisen.