Technische Samenvatting: Maximally Robust Satisficing Bayesian Optimization

1. Probleemdefinitie

Het artikel behandelt een specifieke variant van Bayesian Optimization (BO) genaamd Maximally Robust Satisficing Bayesian Optimization (MRSBO). Het kernprobleem ontstaat bij ontwerptaken waarbij het doel niet is om het globale optimum van een black-box functie $f(x)$ te vinden, maar een oplossing $x^*$ die een minimale kwaliteitsdrempel $t$ voldoet (d.w.z. $f(x^*) \geq t$) terwijl deze maximaal robuust is tegen input-perturbaties.

De setting gaat uit van een duidelijke scheiding tussen de optimalisatiefase en de implementatiefase:

• Optimalisatiefase: Inputs $x$ kunnen nauwkeurig worden gecontroleerd en evaluaties $f(x)$ zijn ruisvrij (of worden waargenomen met bekende ruis).
• Implementatiefase: De gekozen oplossing wordt ingezet in een omgeving waar inputs onderhevig zijn aan onbekende perturbaties $\delta$.

Het doel is om een oplossing $x^*$ te vinden die de robuustheidsradius $r^*$ maximaliseert, gedefinieerd als de grootste radius waarvoor voor alle perturbaties $\delta$ binnen een bal $B_{r^*}$, de geperturbeerde oplossing voldoet aan de eisen:
$$\inf_{\delta \in B_r} f(x + \delta) \geq t$$
De leeropdracht is het vinden van $x^* = \arg\max_{x \in X} \rho(x)$, waarbij $\rho(x)$ de maximale robuustheidsradius is voor een gegeven $x$.

Deze opzet verschilt op twee belangrijke punten van standaard Robust Bayesian Optimization (RBO):

1. Satisficing versus Optimaal: Het doel is om boven een drempelwaarde $t$ te blijven, niet noodzakelijkerwijs om $f(x)$ te maximaliseren.
2. Clean versus Adversarial Optimalisatie: In tegen tegenstelling tot eerdere worst-case robuuste methoden (bijv. Saday et al. [2025], Bogunovic et al. [2018]) die aannemen dat het optimalisatieproces zelf plaatsvindt in een adversariële omgeving (waar inputs worden geperturbeerd tijdens de evaluatie), gaat MRSBO ervan uit dat de inputs tijdens de optimalisatie "clean" zijn. De perturbaties treden pas op na de implementatie.

2. Methodologie: MRSBO Algoritme

De voorgestelde methode, MRSBO, maakt gebruik van een informatie-theoretische acquisitiefunctie om de zoekruimte efficiënt te verkennen.

2.1 Informatie-theoretische Acquisitie

In plaats van direct de robuustheidsradius te optimaliseren, maximaliseert MRSBO de informatiewinst over het paar $(x^*, r^*)$, waarbij $x^*$ de robuuste maximizer is en $r^*$ de bijbehorende robuustheidsradius. De acquisitiefunctie $\alpha(x)$ is gedefinieerd als de wederzijdse informatie tussen een potentiële observatie $y$ bij $x$ en de doelvariabelen:
$$\alpha(x) = I(\{y, x\}; \{x^*, r^*\}) = H(p(y|x, D_t)) - \mathbb{E}_{p(x^*, r^*|D_t)}[H(p(y|x, D_t, x^*, r^*))]$$

• Eerste term: De entropie van de predictieve distributie bij $x$ (standaard BO onzekerheid).
• Tweede term: De verwachte conditionele entropie gegeven de doelvariabelen $(x^*, r^*)$. Deze term wordt benaderd met behulp van Monte Carlo-sampling.

2.2 Benadering van Conditionele Entropie

De berekening van de conditionele entropie berust op de afstand $d(x, x^*)$ relatief aan de robuustheidsradius $r^*$:

• Binnen de radius ($d(x, x^*) \leq r^*$): Per definitie geldt $f(x) \geq t$. De conditionele entropie wordt benaderd op basis van een afgekapte normale verdeling, wat de beperking reflecteert dat de waarde boven $t$ moet liggen.
• Buiten de radius: Er wordt geen specifieke grens aangenomen voor $f(x)$ (het kan willekeurig hoog of laag zijn), dus de entropie valt terug op de standaard predictieve entropie.
• Ruisige Observaties: De methode past de aanpak van Takeno et al. [2020] aan om om te gaan met observatieruis, door de conditionele dichtheid van de observatie $y$ te berekenen gegeven de latente functiebeperking $f > t$.

2.3 Sampling van Robuuste Maximizers

Om de verwachting in de acquisitiefunctie te berekenen, moet het algoritme paren $(x^*_s, r^*_s)$ samplen uit de posterior distributie $p(x^*, r^* | D_t)$. Omdat deze distributie onhandelbaar (intractable) is, gebruikt MRSBO Random Fourier Features (RFF) om differentieerbare sample-paden $\tilde{f}_s(x)$ te generen uit de Gaussian Process (GP) posterior.

Voor elk sample-pad $\tilde{f}_s$ voert het algoritme de volgende stappen uit (Algoritme 2):

1. Level Set Approximatie: Het benadert de level set $C_s = \{x : |\tilde{f}_s(x) - t| < \tau\}$ door ruimte-vullende punten te samplen en deze te verfijnen met Gauss-Newton optimalisatie om de gekwadrateerde residu $(\tilde{f}_s(x) - t)^2$ te minimaliseren.
2. Superlevel Set Generatie: Het genereert een diverse set punten $S_s$ in de superlevel set ($\tilde{f}_s(x) \geq t$) door gradient ascent uit te voeren vanaf de level set samples.
3. Identificatie van de Robuuste Maximizer: Het vindt de robuuste maximizer $x^*_s$ door een differentieerbaar objectief (LogSumExp) te maximaliseren dat de afstand tot de level set $C_s$ benadert. De robuustheidsradius is vervolgens $r^*_s = \min_{c \in C_s} d(x^*_s, c)$.

Dit samplingproces maakt het mogelijk om de acquisitiefunctie te optimaliseren met standaard gradiëntgebaseerde methoden, waardoor de computationele knelpunten van grid-gebaseerde benaderingen die in eerdere robuuste BO-methoden worden gebruikt, worden vermeden.

3. Belangrijkste Bijdragen

De auteurs identificeren drie primaire bijdragen:

1. Probleemformalisering: Zij formaliseren het "Maximally Robust Satisficing" probleem en onderscheiden dit van bestaande robuuste optimalisatiekaders door aan te nemen dat inputs tijdens de optimalisatie "clean" zijn en perturbaties alleen optreden bij de implementatie.
2. Algoritmeontwikkeling: Zij introduceren MRSBO, een praktisch algoritme gebaseerd op de informatie-winst over de robuuste maximizer en de radius. Een cruciale technische innovatie is de efficiënte constructie van de acquisitiefunctie met behulp van RFF-gebaseerde sampling en level set approximatie.
3. Empirische Validatie: Zij demonstreren dat MRSBO zowel standaard BO (die robuustheid negeert) als bestaande robuuste BO-methoden (die adversariële optimalisatie veronderstellen) verslaat op zowel synthetische als real-world benchmarks.

4. Experimentele Resultaten

De methode werd geëvalueerd op synthetische benchmarks (Branin, Hartmann, Gaussian Mixtures) en een real-world Robot Pushing taak.

• Prestaties: MRSBO behaalde consistent een lagere inference robustness regret vergeleken met de baselines. Het bereikte een regret van nul in zes van de acht laag-dimensionale scenario's.
• Vergelijking met AdveRS-2: Hoewel AdveRS-2 (Saday et al. [2025]) een vergelijkbaar doel nastreeft, gaat het uit van een adversariële omgeving tijdens de optimalisatie. MRSBO convergeerde aanzienlijk sneller (een factor tien in sommige gevallen) omdat het geen evaluaties verspilde aan het leren van de functie binnen de superlevel set, maar zich concentreerde op de grenzen die informatief zijn voor de robuustheidsradius.
• Vergelijking met MES: Max-value Entropy Search (MES) faalde vaak omdat het zocht naar het globale maximum, wat frequent een kleine robuustheidsradius heeft.
• Schaalbaarheid: In tegen tegenstelling tot StableOpt en AdveRS-2, die moeite hebben met hogere dimensies vanwege grid-gebaseerde of geneste optimalisatievereisten, schaalt MRSBO naar 6-dimensionale problemen (Hartmann 6D) met behulp van gradiëntgebaseerde acquisitie-optimalisatie.
• Level Set Dekking: Experimenten toonden aan dat zelfs een gedeeltelijke dekking van de level set (ongeveer 60-80%) voldoende was om de correcte robuuste maximizer te identificeren, wat suggereert dat de methode robuust is tegen de benaderingsfouten in de sampling-fase.

5. Betekenis en Claims

Het artikel claimt dat MRSBO een meer praktisch kader biedt voor ontwerptaken waarbij de oplossing in ruisige omgevingen wordt geïmplementeerd, maar in gecontroleerde omgevingen wordt ontworpen.

• Efficiëntie: De methode is naar verluidt efficiënter qua samples dan adversariële robuuste methoden, omdat het geen perturbaties hoeft te simuleren tijdens de optimalisatieloop.
• Praktische bruikbaarheid: Door te focussen op "satisficing" oplossingen in plaats van globale optima, sluit de methode aan bij real-world engineering restricties waarbij het doel is om "goed genoeg" duurzaamheid of prestatie te bereiken.
• Beperkingen: De auteurs merken bescheiden op dat de methode leunt op expliciete level set-approximaties, die kunnen falen voor zeer niet-gladde doel-functies in hoge dimensies. Bovendien biedt het artikel geen theoretische convergentiegaranties of regret-bounds, en identificeert dit als een richting voor toekomstig werk. Ze erkennen ook dat als de satisficing-drempel zeer dicht bij het globale maximum ligt, standaard BO een praktischere oplossing kan zijn.

Samenvattend presenteert het artikel een gespecialiseerd BO-framework dat de kloof overbrugt tussen robuuste optimalisatie en satisficing besluitvorming, wat een computationeel efficiënte aanpak biedt voor het vinden van ontwerpen die betrouwbaar blijven onder post-implementatie onzekerheden.