Technische Samenvatting: Exploiteren van Separabiliteit in Multi-Scale Grey-Box Bayesian Optimalisatie

Probleemdefinitie

Het artikel behandelt grey-box optimalisatieproblemen waarbij de beslissingsvariabelen van nature partitioneren in twee afzonderlijke groepen:

1. Black-box variabelen ($x_{BB}$): Inputs voor een dure, niet-differentieerbare functie $f_{BB}$ (bijv. outputs van Density Functional Theory-simulaties of complexe experimenten).
2. White-box variabelen ($x_{WB}$): Variabelen die worden beheerst door bekende, differentieerbare, gesloten-vorm vergelijkingen (bijv. massa-/energiebalansen, thermodynamische relaties) die afhangen van de output van de black-box functie.

Het doel is om een functie $J(x_{WB}, y, x_{BB})$ te minimaliseren onderhevig aan white-box gelijkheidsrestricties $f_{WB}(x_{WB}, y) = 0$ en ongelijkheidsrestricties $g(x_{WB}, y, x_{BB}) \leq 0$, waarbij $y = f_{BB}(x_{BB})$.

De kernuitdaging die wordt geïdentificeerd, is dat standaard monolithische surrogate-gebaseerde optimalisatie (het behandelen van het gehele systeem als één enkele black box) het surrogate-model dwingt om zowel de onbekende black-box structuur als de bekende white-box fysica te leren. Deze redundantie leidt tot de "vloek van dimensionaliteit", wat aanzienlijk duurdere evaluaties vereist om een accuraat model op te bouwen over de gecombineerde ruimte $[x_{WB}, x_{BB}]$. Bovendien behandelen standaardmethoden restricties vaak via penalty-functies of kansrestricties (chance constraints), wat kan leiden tot onhaalbare oplossingen of benaderingsfouten.

Methodologie: Bilevel Herformulering

De auteurs stellen een bilevel Bayesian optimalisatie (BO) framework voor dat de separabiliteit van de probleemstructuur exploiteert. De methode steunt op Aanname 1, die stelt dat voor elke vaste black-box input $x_{BB}$, de resulterende optimalisatie over de white-box variabelen $x_{WB}$ een goed gestructureerd nietlineair programma (NLP) is dat oplosbaar is tot globale optimaliteit.

De optimalisatie wordt als volgt gedecomposeerd:

• Outer Loop (Bayesian Optimization): Een Gaussian Process (GP) surrogate wordt gebouwd alleen over de laag-dimensionale black-box ruimte $x_{BB}$. De surrogate modelleert de scalaire waardefunctie $x_{BB} \mapsto J(x_{WB}^*, y, x_{BB})$, waarbij $x_{WB}^*$ de optimale oplossing is van het innerlijke probleem. De acquisitiefunctie (Expected Improvement) selecteert de volgende kandidaat $x_{BB}$.
• Inner Loop (Global NLP Solver): Voor elke kandidaat $x_{BB}$ voorgesteld door de outer loop, wordt de black-box functie geëvalueerd om $y$ te verkrijgen. Vervolgens lost een globale optimizer (specifiek Basin-Hopping met SLSQP lokale minimalisatie, of multi-start SLSQP) het white-box subprobleem exact op:
  $$\min_{x_{WB}} J(x_{WB}, y, x_{BB}) \quad \text{onder de restricties} \quad f_{WB}(x_{WB}, y) = 0, \quad g(x_{WB}, y, x_{BB}) \leq 0$$
  Indien het innerlijke probleem ontoelaatbaar is voor een gegeven $y$, wordt een grote penalty geretourneerd naar de outer loop.

Belangrijke Technische Eigenschappen:

• Dimensionaliteitsreductie: De GP surrogate opereert in $\mathbb{R}^{n_{BB}}$ in plaats van $\mathbb{R}^{n_{WB} + n_{BB}}$.
• Exacte Restrictie-naleving: White-box restricties worden exact voldaan door de inner solver zodra deze convergeert naar een haalbaar punt, waardoor de noodzaak voor penalty-functies, moment-benaderingen of kansrestricties binnen het surrogate-model wordt geëlimineerd.
• Scalaire Surrogate: In tegenstelling tot methoden die tussenliggende outputs $y$ surgereren (wat multi-output GP's vereist), surgerert deze methode direct de uiteindelijke optimale objectieve functie.

Belangrijkste Bijdragen

1. Bilevel Herformulering: Een nieuwe decompositiestrategie die de surrogate-dimensie reduceert van $n_{WB} + n_{BB}$ naar $n_{BB}$ en tegelijkertijd exacte restrictie-naleving voor het white-box subprobleem garandeert zonder penalty-functies.
2. Benchmark Suite: De creatie van een uitgebreide suite van 13 separable grey-box problemen (variërend van synthetische functies tot engineering-toepassingen zoals CSTR-ontwerp, warmtewisselaars en membraanscheiding). Deze suite bevat 2–5 totale variabelen en 0–3 restricties, met geverifieerde globale optima.
3. Empirisch Bewijs: Uitgebreide testen over 8.450 onafhankelijke optimalisatieruns (8.190 BO runs, 130 NLP runs, 130 Basin-Hopping runs). De studie evalueert systematisch hyperparameters (initiële sample grootte, exploratieparameter) en de keuze van de inner solver.

Resultaten

De voorgestelde bilevel BO strategie vertoont significante prestatieverbeteringen ten opzichte van standaard black-box BO en globale zoek-baselines:

• Regret Reductie: Bilevel BO bereikt een 11× tot 108× lagere regret dan black-box BO over alle 13 problemen. De geometrische gemiddelde verbetering is 3.192× voor de SLSQP inner solver variant.
• Efficiëntie: De methode bereikt hoogwaardige oplossingen met minder black-box evaluaties. Op 10 van de 13 problemen evenaart bilevel BO de uiteindelijke prestatie van black-box BO (na 250 evaluaties) met minder dan 10% van het evaluatiebudget.
• Haalbaarheid: Bilevel BO bereikt 100% haalbaarheid op 8 van de 12 geconstrainde problemen, terwijl black-box BO 6–72% van zijn budget verspilt aan ontoelaatbare queries.
• Robuustheid: Het voordeel houdt stand bij verschillende initialisatiegroottes en exploratieparameters.
• Solver Vergelijking: Hoewel de multi-start SLSQP inner solver over het algemeen sneller en robuuster is voor smalle haalbare regio's, biedt de Basin-Hopping (BH) inner solver superieure prestaties voor problemen met zeer multimodale inner landscapes (bijv. Rastrigin), hoewel deze kan worstelen met smalle haalbare regio's (bijv. Small-Feasible-Region 1).

Betekenis en Claims

Het artikel beweert dat de primaire bron van het waargenomen voordeel structureel is, en niet algoritmisch. De winst komt volledig voort uit het exploiteren van de separable probleemstructuur—het reduceren van de surrogate-dimensie en het exact voldoen aan restricties—in plaats van uit nieuwe acquisitiefuncties of kernelkeuzes.

De auteurs stellen dat monolithische surrogates "samples verspillen aan het leren van wat al bekend is." Door het bekende subprobleem (white-box) exact op te lossen en alleen het onbekende component (black-box) te benaderen, overwint de methode de vloek van dimensionaliteit die inherent is aan hoog-dimensionale grey-box problemen. Het papier positioneert deze bilevel decompositie als een fundamentele aanpak voor multi-scale engineering design waarbij dure simulaties (black-box) gevoed worden aan goed begrepen macroscopische modellen (white-box).

Het werk claimt niet niet-separable composietfuncties op te lossen of methoden te vervangen die vertrouwen op onzekerheidspropagatie voor risico-averse besluitvorming (zoals COBALT of BOCF), waarbij wordt opgemerkt dat die methoden situaties adresseren waarin de separabiliteits-aanname niet geldt. In plaats daarvan biedt het een gespecialiseerde, hoog-presterende oplossing voor de specifieke klasse van problemen waar variabele separabiliteit bestaat.