Technische Samenvatting: Elicitatie-geaugmenteerde Bayesiaanse Optimalisatie (EA-BO)

Probleemstelling

Bayesiaanse Optimalisatie (BO) is een steekproef-efficiënt raamwerk voor het optimaliseren van dure black-box functies. Hoewel Human-in-the-Loop (HITL) BO-methoden proberen de kostenefficiëntie te verbeteren door gebruik te maken van domeinkennis, gaan bestaande benaderingen er doorgaans van uit dat experts hun kennis expliciet kunnen kwantificeren (bijvoorbeeld door het specificeren van a priori-verdelingen of het pinpointen van query-locaties). Menselijke expertise is echter vaak taciet en kwalitatief; mensen zijn over het algemeen betrouwbaarder in het rangschikken van kandidaten dan in het toekennen van gekalibreerde numerieke waarden.

Dit artikel adresseert de uitdaging om taciete expertkennis in BO te integreren via paarwijze vergelijkingen (het rangschikken van twee ontwerpen) in plaats van directe kwantificering. Het kernprobleem is het ontwikkelen van een methode die:

1. Directe functiewaarnemingen (duur, hoogwaardig) combineert met paarwijze vergelijkingen (goedkoop, lagerwaardig, ruisend).
2. Zowel single- als multi-objective optimalisatie afhandelt onder een bekende nuttigheidsfunctie.
3. Dynamisch een vast budget toewijst aan deze twee informatiebronnen op basis van hun relatieve kosten en informativiteit.

Methodologie

1. Surrogaatmodel: Mixed-Likelihood Sparse Variational GP

De auteurs stellen een Gaussian Process (GP) surrogaatmodel voor dat zowel directe waarnemingen als paarwijze vergelijkingen behandelt als ruisende bewijzen over de objectieve functie $f$.

• Directe Waarnemingen: Gemodelleerd met een standaard Gaussische likelihood: $y = f(x) + \epsilon_{eval}$.
• Paarwijze Vergelijkingen: Gemodelleerd met een probit-linkfunctie. Een binaire oordeelsvorm $d \in \{0, 1\}$ geeft aan of $x$ hoger wordt gerangschikt dan $x'$ op basis van het nuttigheidsverschil $\Delta = U(f(x)) - U(f(x'))$. De likelihood is $p(d=1) = \Phi\left(\frac{\Delta}{\sqrt{2}\sigma_{comp}}\right)$.
• Inferentie: Het model maakt gebruik van Sparse Variational Inference (SVGP) om de posterior te benaderen. De Evidence Lower Bound (ELBO) is ontbindbaar in afzonderlijke termen voor waarnemingen en vergelijkingen.
  • De waarnemingsterm staat een gesloten-formule Gaussische oplossing toe.
  • De vergelijkingsterm omvat een verwachting van $\log \Phi(\cdot)$. Voor lineaire nuttigheidsfuncties is het nuttigheidsverschil Gaussisch, waardoor de verwachting kan worden berekend via een een-dimensionale Gauss-Hermite-kwadratuur. Niet-lineaire nuttigheidsfuncties worden afgehandeld via momentmatching.

2. Aquisitiefunctie: Cost-Aware Value of Information (VoI)

De methode hanteert een myopische, één-stap-vooruitkijkende strategie om de volgende actie te selecteren. De actieruimte omvat zowel directe evaluaties ($x \in \mathcal{X}$) als paarwijze queries ($(x, x') \in \mathcal{X}^2$).

• Doel: Maximaliseren van de kosten-genormaliseerde Value of Information: $\frac{\alpha(a; D)}{c(a)}$, waarbij $\alpha$ de verwachte nuttigheidswinst is en $c(a)$ de kosten.
• Directe Evaluatie VoI ($\alpha_{eval}$): Reduceert tot de Knowledge Gradient voor lineaire nuttigheidsfuncties. Geoptimaliseerd met een "one-shot" herformulering met fantasy-punten.
• Paarwijze Vergelijking VoI ($\alpha_{comp}$): De auteurs leiden een gesloten-formule fantasy-posterior-update af onder de probit-likelihood voor multi-output doelen met bekende nuttigheid. Dit breidt de paarwijze knowledge gradient (Wu en Gardner, 2026) uit tot het multi-output geval. De VoI wordt exact berekend als een discrete verwachting over de binaire uitkomst, waardoor Monte Carlo-benadering voor de vergelijkingstap wordt vermeden.
• Optimalisatie: Beide acquisitiefuncties worden geoptimaliseerd samen met kandidaat-inputs met behulp van de one-shot herformulering en de Adam-optimizer.

Belangrijkste Bijdragen

1. Mixed-Likelihood Sparse Variational GP: Een principiële methode voor het updaten van een GP-posterior door een Gaussische waarnemingslikelihood te koppelen aan een probit-vergelijkingslikelihood, wat resulteert in een ontbindbare ELBO met hanteerbare termen.
2. Cost-Aware Aquisitieregel: Afleiding van een gesloten-formule posterior-middensupdate onder probit-vergelijkingen voor multi-output doelen, wat een kosten-genormaliseerde VoI-acquisitiefunctie mogelijk maakt die directe evaluaties en paarwijze queries in evenwicht brengt zonder handmatige planning.
3. Unificerend Raamwerk: Een enkel algoritme (EA-BO) dat zowel single- als multi-objective optimalisatie uniform afhandelt door paarwijze rangschikkingen te behandelen als bewijs over de waarneembare waarden van de objectieve functie.

Experimentele Resultaten

De methode, genaamd Elicitation-Augmented Bayesian Optimization (EA-BO), werd geëvalueerd op standaard single- en multi-objective benchmarks (Branin, Hartmann6, BraninCurrin, VLMOP2) met lineaire en Chebyshev-nuttigheidsfuncties.

• Prestatie versus Single-Source: EA-BO nadert de convexe omhullende van de trajecten van individuele informatiebronnen.
  • Wanneer paarwijze vergelijkingen goedkoop zijn (bijvoorbeeld 5x goedkoper dan evaluaties), wijst EA-BO het grootste deel van het vroege budget toe aan vergelijkingen, waardoor snelle initiële convergentie wordt bereikt die vergelijkbaar is met methoden die alleen vergelijkingen gebruiken (KG-Comp).
  • Naarmate de posterior scherper wordt of vergelijkingen ruisend worden, verschuift EA-BO naar directe evaluaties, waardoor de asymptotische nauwkeurigheid van evaluatie-only BO (KG-Eval) wordt hersteld.
• Prestatie versus HITL-baselines: EA-BO presteert aanzienlijk beter dan CoExBO (Adachi et al., 2024), de dichtstbijzijnde bestaande HITL-methode die paarwijze vergelijkingen gebruikt. In tegenstelling tot CoExBO, dat vergelijkingen gebruikt om kandidaatselectie te sturen via een auxiliair model, integreert EA-BO deze direct als likelihood-bewijs.
• Sensitiviteit:
  • Kostenratio: EA-BO geeft automatisch vergelijkingen op wanneer deze duurder zijn dan evaluaties en verhoogt de toewijzing naarmate de kostenratio groeit.
  • Ruis: De methode legt de nadruk op vergelijkingen wanneer deze informatief zijn. Naarmate de vergelijkingenruis toeneemt, schuift het algoritme geleidelijk over naar directe evaluaties. Interessant is dat bij matige ruisniveaus een niet-monotoon dip in prestaties optreedt, omdat de myopische VoI nog steeds een positieve waarde toekent aan ruisende vergelijkingen voordat deze bij hoge ruisniveaus volledig worden opgegeven.

Betekenis en Claims

Het artikel claimt dat EA-BO een robuust, adaptief raamwerk biedt voor het benutten van taciete menselijke expertise in BO. De primaire betekenis ligt in het vermogen om automatisch in evenwicht te brengen tussen goedkope, ruisende kwalitatieve data (rangschikkingen) en dure, hoogwaardige kwantitatieve data (evaluaties).

De auteurs stellen dat de methode:

• De steekproef-efficiëntie aanzienlijk verbetert wanneer paarwijze queries goedkoper zijn dan evaluaties.
• De prestaties van standaard BO herstelt wanneer paarwijze queries te duur of te ruisend zijn om nuttig te zijn.
• De noodzaak voor handmatige planning of heuristische schakeling tussen informatiebronnen vermijdt.
• Een principiële uitbreiding biedt van paarwijze knowledge gradients naar multi-objective settings met bekende nuttigheidsfuncties.

Het artikel erkent beperkingen, specifiek de aanname dat expertoordelen worden gedicteerd door de ware nuttigheidsfunctie $U \circ f$ (waarbij mogelijke afwijkingen in het mentale model van de expert worden genegeerd) en de vereiste dat de nuttigheidsfunctie $U$ bekend is vóór de optimalisatie. Er wordt voorgesteld om toekomstig werk te richten op leerbare nuttigheidsfuncties en leerbare correlaties tussen mentale modellen van experts en het ware doel.