🤖 machine learning

Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

Dit artikel introduceert Verwachte Verbetering via Gradiëntnormen (EI-GN), een nieuwe acquisitiefunctie voor Bayesiaanse optimalisatie die de zoekefficiëntie verbetert door eerste-orde stationariteitsvoorwaarden op te nemen in het verbeteringscriterium, waarmee de beperkingen van traditionele Verwachte Verbetering in gebieden waar signalen voor verbetering van de objectivewaarde verdwijnen, worden aangepakt.

Oorspronkelijke auteurs: Joshua Hang Sai Ip, Georgios Makrygiorgos, Ali Mesbah

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joshua Hang Sai Ip, Georgios Makrygiorgos, Ali Mesbah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de hoogste piek te vinden in een uitgestrekt, mistig berglandschap, maar je kunt slechts een paar stappen tegelijk nemen en elke stap kost je veel energie. Dit is wat Bayse Optimalisatie doet: het probeert de beste oplossing te vinden voor een complex probleem (zoals het afstellen van een robot of het ontwerpen van een nieuw materiaal) zonder tijd te verspillen door elke mogelijke optie te testen.

Het meest gebruikte hulpmiddel hiervoor heet Verwachte Verbetering (Expected Improvement, EI). Denk aan EI als een wandelaar die alleen let op de hoogte van de grond. Als een plek hoger is dan waar ze nu staan, raken ze enthousiast en gaan ze daar naartoe. Als het lager is, negeren ze het.

Het Probleem: De "Vlakland"-Valstrik

Het artikel wijst op een gebrek in deze "alleen-hoogte"-strategie. Stel je voor dat je staat op een breed, vlak plateau. Links en rechts van je is de grond precies even hoog als waar je staat.

De Oude Manier (EI): De wandelaar kijkt om zich heen, ziet geen hogere grond en denkt: "Het heeft geen zin om te bewegen." Het signaal om te bewegen verdwijnt. De wandelaar blijft in een lus hangen, controleert steeds weer hetzelfde vlakke punt, of dwaalt doelloos rond omdat de "hoogte"-metriek geen bruikbare informatie geeft.
De Realiteit: Zelfs als de hoogte niet verandert, kan de helling wel veranderen. Je kunt staan op een vlakke plek die eigenlijk de top is van een kleine heuvel, of je kunt op een vlak stuk staan dat leidt naar een veel grotere berg. De oude methode negeert de helling.

De Oplossing: EI-GN (De "Helling-Slimme" Wandelaar)

De auteurs stellen een nieuw hulpmiddel voor genaamd EI-GN (Verwachte Verbetering via Gradiëntnormen).

In plaats van alleen te vragen: "Is deze plek hoger?", stelt EI-GN twee vragen:

"Is deze plek hoger?" (De oude vraag).
"Is deze plek vlakker?" (De nieuwe vraag).

De Analogie van de "Vlakheidstransactie":
Stel je voor dat je de perfecte plek zoekt om een tent op te slaan.

Oude Methode: Je geeft alleen om het uitzicht (de hoogte). Als het uitzicht hetzelfde is, geeft het je niet uit.
Nieuwe Methode (EI-GN): Je geeft om het uitzicht, maar je krijgt ook een bonus als de grond perfect vlak en stabiel is. Als je een plek vindt die iets lager is dan je huidige positie, maar de grond is ongelooflijk vlak (wat betekent dat je zeer dicht bij een piek of een stabiel dal bent), zegt EI-GN: "Hé, dit is eigenlijk een geweldige verbetering omdat het zo stabiel is!"

Door vlakheid te waarderen (wat wiskundigen "stationariteit" noemen), wordt de wandelaar geleid naar de toppen van heuvels, zelfs als het uitzicht nog niet veranderd is. Het houdt de zoektocht gaande in vlakke gebieden waar de oude methode zou hebben opgegeven.

Hoe Het Werkt (Zonder Wiskunde)

Het artikel legt uit dat ze een nieuwe "score" hebben gecreëerd voor elke locatie. Deze score combineert de hoogte van de berg met een straf voor hoe "ruw" de grond is.

Als de grond ruw is (steile hellingen), daalt de score.
Als de grond vlak is (dicht bij een piek), stijgt de score.

Ze hebben wiskundig bewezen dat deze nieuwe score snel en eenvoudig kan worden berekend. Ze hebben ook aangetoond dat dit geen complexere kaart van de bergen vereist; het verandert alleen hoe de wandelaar beslist waar hij als volgende naartoe loopt.

Wat Ze Vonden

De auteurs hebben deze nieuwe methode getest op verschillende "nep-bergen" (standaard computertestproblemen) en ontdekt:

In ruig, complex terrein: Het werkte veel beter dan de oude methode en vond de hoogste pieken sneller.
In vlak terrein: Het raakte niet vast. Terwijl de oude methode zou stoppen met bewegen omdat de hoogte niet veranderde, bleef EI-GN bewegen omdat het het "vlakheid"-signaal achtervolgde.
In een Robotbesturingstest: Ze gebruikten het om een robot te leren hoe hij een paal in evenwicht kan houden. De robot leerde sneller met EI-GN dan met de oude methode of standaard robotleertrucs.

De Conclusie

Het artikel introduceert een slimmere manier om de beste oplossing te zoeken. In plaats van alleen te zoeken naar "hogere" resultaten, zoekt het ook naar "vlakke" resultaten. Dit voorkomt dat de zoektocht vastloopt in saaie, vlakke gebieden en helpt om de echt beste plekken efficiënter te vinden, zelfs als de "hoogte" niet lijkt te veranderen.

Technische Samenvatting: Stationariteitsbewuste Verwachte Verbetering voor Bayesiaanse Optimalisatie

Probleemstelling
Bayesiaanse Optimalisatie (BO) is een standaardkader voor het optimaliseren van dure black-box functies, waarbij doorgaans Verwachte Verbetering (Expected Improvement, EI) wordt gebruikt als primaire acquisitiefunctie (AF). Hoewel EI empirisch succesvol is, is het fundamenteel agnostisch ten opzichte van optimaliteitsvoorwaarden van de eerste orde en vertrouwt het uitsluitend op het potentieel voor verbetering van de objectivewaarde. Bijgevolg kan in gebieden waar de objectiefunctie vlak is of dicht bij stationair ligt, het EI-signaal verdwijnen, wat leidt tot overexploitatie van lokale bassins en een falen om exploratie effectief te sturen. Hoewel gradiëntinformatie in praktische situaties vaak beschikbaar is (bijvoorbeeld beleidsgradiënten in besturing, adjoint-gevoeligheden in partiële differentiaalvergelijkingen, hypergradiënten in machine learning) tegen verwaarloosbare kosten, richten bestaande BO-methoden met gradiëntverbetering zich voornamelijk op het integreren van gradiënten in het surrogaatmodel om de voorspellende nauwkeurigheid te verbeteren. Deze aanpak brengt vaak hoge computationele complexiteit met zich mee door het modelleren van kruiscorrelaties tussen functiewaarden en afgeleiden. Daarentegen blijft het direct benutten van gradiëntinformatie binnen de acquisitiefunctie onderbelicht.

Methodologie
De auteurs stellen Verwachte Verbetering via Gradiëntnormen (EI-GN) voor, een nieuwe acquisitiefunctie die het verbeteringsprincipe uitbreidt om stationariteit van de eerste orde te incorporeren.

Auxiliaire Doelfunctie: In plaats van exploratieheuristieken te wijzigen, generaliseert de methode de definitie van "verbetering". Het definieert een auxiliaire doelfunctie $g(x)$ die de oorspronkelijke doelfunctie $f(x)$ aanvult met een zachte straf op de gradiëntnorm:
$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$
waarbij $\alpha \geq 0$ een hyperparameter is. Deze formulering behandelt de gradiëntnorm als een zachte straf voor afwijkingen van stationariteit, waardoor het zoeken wordt gestimuleerd om gebieden te prefereren die ofwel hoog presteren of dicht bij stationaire punten liggen.
Formulering van Acquisitie: De methode definieert Verwachte Verbetering op deze auxiliaire doelfunctie, aangeduid als $EI_g$ . Het direct berekenen van $EI_g$ is echter onuitvoerbaar vanwege de koppeling van functiewaarden en gradiëntnormen. De auteurs leiden een uitvoerbare ondergrens af met behulp van de Ongelijkheid van het Positieve Deel:
$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$
waarbij $EI_f$ de standaard EI op de objectiefunctie is, en $EI_s$ een EI-achtige term is die verbetering in stationariteit meet (reductie van de gradiëntnorm).
Uitvoerbare Benadering (EI-GN): Om de methode praktisch te maken, leiden de auteurs een gesloten uitdrukking af voor een uitvoerbare benadering van de stationariteitsterm, $E I_s$ . Door uit te gaan van onafhankelijke Gaussische Proces (GP) modellen voor de objectiefunctie en haar partiële afgeleiden (waarmee de $O((d+1)^3N^3)$ complexiteit van gezamenlijke modellen wordt vermeden), maken ze gebruik van een whitening-transformatie om de op norm gebaseerde truncatie te ontkoppelen. Dit maakt het mogelijk om de verwachting te berekenen via separabele afgeknotte momenten, wat resulteert in de definitieve acquisitiefunctie:
$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$
Deze formulering biedt twee paden voor verbetering: het verhogen van de objectivewaarde of het verkleinen van de gradiëntnorm.

Belangrijkste Bijdragen

Nieuwe Acquisitiefunctie: Het artikel introduceert EI-GN, dat het verbeteringsprincipe toepast op een stationariteitsbewuste auxiliaire doelfunctie, waardoor op verbetering gebaseerde acquisitie wordt uitgebreid tot puur op objectivewaarde gebaseerde criteria.
Theoretische Afleiding: De auteurs leiden een ondergrens af voor de verwachte verbetering op de auxiliaire doelfunctie en bieden een uitvoerbare, gesloten uitdrukking (EI-GN) die deze principes realiseert onder Gaussische posterieuren.
Computationele Efficiëntie: Door gebruik te maken van onafhankelijke GP-modellen voor de objectiefunctie en gradiënten, vermijdt de methode de computationele last van gezamenlijke afgeleidenmodelling, terwijl toch gebruik wordt gemaakt van gradiëntinformatie om het acquisitieveld te herschikken.

Experimentele Resultaten
Het artikel evalueert EI-GN in verschillende experimentele regimes:

Synthetische Benchmarks: Op standaardfuncties (Shekel, Hartmann, Griewank, Ackley) met variërende dimensies presteert EI-GN consistent beter dan of gelijk aan de baselines (EI, LogEI, UCB, CMA-ES). Het toont een bijzonder voordeel bij functies met vlakke of oscillerende structuren waar standaard EI-signaal verdwijnt.
GP-steekproeven: Zowel in binnen-model (geïdealiseerd) als buiten-model (mismatchende hyperparameters) vergelijkingen toont EI-GN robuuste prestatiewinsten ten opzichte van standaard EI-familie baselines. Dit bevestigt dat het op gradiënten gebaseerde signaal optimalisatie effectief stuurt, zelfs wanneer surrogaatmodellen imperfect zijn.
Gradiëntablatie: Vergelijkingen met methoden die gradiënten integreren in het surrogaatmodel (gezamenlijke GP's) versus de acquisitiefunctie tonen aan dat deze benaderingen orthogonaal zijn. Het combineren van beide (dEI-GN) levert de sterkste resultaten op, wat aangeeft dat verbeteringen op acquisitieniveau en surrogaatniveau complementaire aspecten van het optimalisatieprobleem aanpakken.
Beleidszoektocht: In versterkingsleertaken (Acrobot en CartPole) wordt EI-GN vergeleken met lokale gradiëntmethodes (REINFORCE) en standaard EI. EI-GN bereikt een hogere steekproefficiëntie en een betrouwbaardere convergentie naar beleidsplannen met hoge beloning, met name in scenario's waar lokale methoden vastlopen in lokale bassins.

Betekenis en Claims
Het artikel claimt dat EI-GN een rijker en informatiever begrip van verbetering biedt door vooruitgang richting stationariteit in te bedden in het acquisitiecriterium. De auteurs stellen dat deze aanpak het acquisitieveld informatief houdt, zelfs in regimes waar standaard EI weinig signaal geeft (bijvoorbeeld vlakke gebieden of nabij stationaire punten). De methode wordt gepresenteerd als een principiële uitbreiding van het EI-kader die beschikbare gradiëntinformatie benut zonder de computationele overhead van complexe gezamenlijke surrogaatmodelling. De empirische resultaten suggereren dat EI-GN consistente winsten biedt ten opzichte van basismethoden, met name in uitdagende landschappen waar traditionele op objectivewaarde gebaseerde verbeteringscriteria ontoereikend zijn.