🤖 machine learning

Constrained Bayesian Optimisation with Multiple Information Sources

Dit artikel stelt een algemeen multi-source raamwerk voor voor beperkte Bayesiaanse optimalisatie voor dat Max-value Entropy Search uitbreidt om efficiënt haalbare en optimale oplossingen te identificeren door gebruik te maken van hulpbronnen, zelfs wanneer deze slechts zwak gecorreleerd zijn met de werkelijke doelfunctie.

Oorspronkelijke auteurs: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar de allerbeste plek om een limonadekraam op te zetten in een enorme, mistige stad. Je hebt twee doelen:

Maximaliseer de verkoop: Je wilt de plek met de meeste voetgangersstromen.
Blijf veilig: Je moet plekken vermijden die illegaal zijn (zoals een snelweg) of gevaarlijk (zoals een bouwplaats).

Het probleem is dat het controleren van een plek duur is.

De "Echte" Check: Een persoon naar een plek sturen om daar een uur lang mensen te tellen en te controleren op de politie is erg kostbaar en traag.
De "Nepte" Check: Een wazige, laag-resolutie kaart bekijken of een lokale bewoner vragen die er misschien een beetje naast zit, is goedkoop en snel, maar niet 100% nauwkeurig.

Dit is de kern van het probleem dat het artikel aanpakt: Hoe vind je de beste, veilige plek met zo min mogelijk dure controles, terwijl je de goedkope, imperfecte kaarten gebruikt om te raden waar je moet kijken?

De Oude Manier vs. De Nieuwe Manier

De Oude Manier (Traditionele Bayesiaanse Optimalisatie):
De meeste eerdere methoden gedroegen zich als een voorzichtige ontdekkingsreiziger die alleen vertrouwde op de dure, echte controles. Als de "veilige zone" (waar je legaal limonade mag verkopen) minuscuul of verborgen was, verspilde de ontdekkingsreiziger veel geld aan het controleren van willekeurige plekken, vaak vastgelopen in de mist. Ze negeerden de goedkope kaarten omdat die niet perfect waren.

De Nieuwe Manier (MS-CMES):
De auteurs stellen een nieuwe strategie voor genaamd MS-CMES. Zie dit als een slim team van ontdekkingsreizigers.

Het Team: Ze hebben een "High-Fidelity" expert (duur, accuraat) en verschillende "Low-Fidelity" assistenten (goedkoop, snel, maar soms fout).
De Strategie: In plaats van de assistenten te negeren, gebruikt het team hen om de hele stad snel te scannen. De assistenten wijzen "veelbelovende buurten" aan.
Het Veiligheidsnet: Het team weet dat de assistenten het mis kunnen hebben over de regels (bijv. ze kunnen denken dat een snelweg veilig is). Daarom gebruikt het team een speciale wiskundige truc (genaamd Variance Correction) om te zeggen: "Oké, de kaart zegt dat deze plek veilig is, maar omdat de kaart wazig is, laten we een beetje sceptischer zijn en het zorgvuldig controleren voordat we ons vastleggen."

Hoe het werkt (De Metaforen)

1. De "Trust Region" (De Zaklamp)
Stel je voor dat je in een donkere kamer bent. In plaats van te proberen de hele kamer in één keer in kaart te brengen, schijn je een zaklamp op een klein gebied. Je verkent dit kleine gebied grondig. Als je iets goeds vindt, beweeg je de zaklamp dichter bij dat punt. Als je niets vindt, verklein je de lichtbundel om van dichterbij te kijken, of verplaats je de zaklamp naar een nieuw veelbelovend punt.

In het artikel: Dit wordt een Trust Region genoemd. Het voorkomt dat het algoritme geld verspilt aan het controleren van willekeurige, nutteloze delen van de stad. Het richt de dure controles op de meest waarschijnlijke "winnaarsgebieden".

2. De "Blind Spot" Correctie
Soms zijn de goedkope kaarten zo slecht dat ze bijna nutteloos zijn. Als je ze blindelings zou volgen, zou je van een klif kunnen lopen.

In het artikel: De methode berekent een "correlatiescore". Als de goedkope kaart slechts zwak gerelateerd is aan de realiteit, voegt het systeem automatisch een "veiligheidsbuffer" toe (het opblazen van de onzekerheid). Het zegt in feite: "Deze goedkope data is wankel, dus ik vertrouw het niet volledig, maar ik zal het nog steeds gebruiken om een ruwe indicatie te krijgen van waar ik moet zoeken."

3. De "Information Gain" (De Schatzoektocht)
Het algoritme zoekt niet alleen naar de beste plek; het zoekt naar de plek die het meest leert.

In het artikel: Het vraagt zich af: "Als ik deze plek controleer met de goedkope kaart, zal dat mij dan meer leren over waar de beste plek is dan wanneer ik die andere plek zou controleren?" Het balanceert de kosten van de controle tegen de waarde van de nieuwe informatie.

Wat hebben ze gevonden?

De auteurs hebben dit getest op verschillende "steden" (wiskundige problemen), variërend van kleine dorpjes tot enorme metropolen met duizenden straten (hoge dimensies).

Het Resultaat: Hun nieuwe methode (MS-CMES) was veel beter in het vinden van de "veilige" zones dan de oude methoden.
De Verrassing: Zelfs toen de goedkope kaarten zeer wazig waren en slechts zwak gerelateerd aan de realiteit, gebruikte de nieuwe methode ze nog steeds om de oplossing sneller te vinden. De oude methoden gaven vaak op of kwamen vast te zitten omdat ze geen enkele veilige plek konden vinden om mee te starten.
De Efficiëntie: Door de goedkope kaarten te gebruiken om de zoektocht te sturen en alleen de dure controles te gebruiken om de beste plekken te bevestigen, vonden ze de optimale oplossing met veel minder totale controles.

Samenvatting

Het artikel introduceert een slimmere manier om moeilijke optimalisatieproblemen op te lossen. In plaats van uitsluitend te vertrouwen op dure, perfecte data, mengt het op een slimme manier goedkope, imperfecte data erdoorheen om de ruimte sneller te verkennen. Het gebruikt een "zaklamp-aanpak" om zich op veelbelovende gebieden te concentreren en een "veiligheidsbuffer" om te voorkomen dat de goedkope data je de verkeerde kant op stuurt. Het resultaat is een systeem dat de beste, veilige oplossingen veel sneller vindt, zelfs wanneer de regels complex zijn en de data schaars is.

Technische Samenvatting: Beperkte Bayesiaanse Optimalisatie met Meerdere Informatiebronnen

Probleemstelling

Bayesiaanse Optimalisatie (BO) is een standaard raamwerk voor het optimaliseren van dure black-box functies, maar het staat voor aanzienlijke uitdagingen wanneer het te maken krijgt met onbekende beperkingen en kleine haalbare regio's. In hoogdimensionale ruimtes, waar data schaars is (bijv. crashworthiness-ontwerp), is het ontdekken van zelfs één enkel haalbaar punt moeilijk. Bestaande methoden vertrouwen doorgaans op één enkele informatiebron (de "ground truth"), die computationeel vaak te duur is om frequent te evalueren.

Veel technische en wetenschappelijke toepassingen bezitten auxiliaire informatiebronnen (bijv. grove simulaties, vereenvoudigde fysica-modellen of analytische benaderingen) die goedkoper te evalueren zijn, maar potentieel vertekend of ruisgevoelig kunnen zijn. De integratie hiervan in beperkte BO blijft echter onderbelicht. De meeste bestaande multi-source (of multi-fidelity) methoden adresseren ofwel beperkingen, ofwel meerdere bronnen in isolatie. Er is een gebrek aan schaalbare raamwerken die in staat zijn om goedkope, zwak gecorreleerde auxiliaire bronnen te benutten om vroege exploratie in beperkte settings te sturen zonder de nauwkeurigheid van de uiteindelijke oplossing in gevaar te brengen.

Methodologie: MS-CMES

De auteurs stellen Multi-Source Constrained Max-value Entropy Search (MS-CMES) voor, een verenigd raamwerk dat Max-value Entropy Search (MES) uitbreidt naar settings met meerdere informatiebronnen en black-box beperkingen.

1. Multi-Source Gaussian Process Modellering

Het raamwerk modelleert de doelfunctie $f$ en beperkingen $c_i$ over een verzameling bronnen $S = \{0, \dots, L\}$ , waarbij $L$ de doelbron is (duur, accuraat) en $0$ de goedkoopste auxiliaire bron is.

MISO Framework: In plaats van een strikt hiërarchische fidelity aan te nemen (zoals in Kennedy-O'Hagan modellen) of een gedeelde latente structuur (zoals in Multi-Task GPs), hanteren de auteurs de Multi-Information Source Optimisation (MISO) benadering.
Additieve Structuur: Elke bron-specifieke functie wordt gemodelleerd als $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$ , waarbij $u^{(L)}$ een latente doelfunctie is en $\Delta^{(\ell)}$ een bron-specifieke discrepantie is die als een onafhankelijke Gaussian Process (GP) wordt gemodelleerd.
Gezamenlijke Inferentie: Deze additieve structuur maakt gezamenlijke inferentie mogelijk over de latente functie en de discrepanties, waardoor inter-bron correlaties worden gevangen terwijl de flexibiliteit voor bronnen met zwakke of onbekende correlaties behouden blijft.

2. Acquisitiefunctie: Entropy Search met Variantiecorrectie

De kern van de methode is een acquisitiefunctie $\alpha_n(x, \ell)$ die de informatiewinst over het beperkte optimum $f^*$ afweegt tegen de evaluatiekosten $\lambda(x, \ell)$ .

Doel: Het maximaliseren van de verwachte informatiewinst over het beperkte optimum $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$ .
Variational Lower Bound: Omdat de wederzijdse informatie $I(u^{(\ell)}; f^*)$ onhandelbaar is, gebruikt de methode een variatieve ondergrens aangepast van Takeno et al. (2022). Dit houdt het samplen van het beperkte optimum $f^*$ via discrete Thompson sampling in en het schatten van de waarschijnlijkheid dat een nieuwe observatie binnen de haalbare set valt die door $f^*$ wordt gedefinieerd.
Variantiecorrectie: Een cruciale nieuwheid is de variatiecorrectie-mechanisme. Omdat de haalbare set wordt gedefinieerd bij de doelbron $L$ , maar observaties afkomstig kunnen zijn van bron $\ell$ , bestaat er een risico op spookmatige haalbaarheid. De auteurs introduceren een correctiefactor gebaseerd op de correlatiecoëfficiënt $\rho(x, \ell)$ tussen de auxiliaire en de doelbron. Dit blaast de variantie van voorspellingen van zwak gecorreleerde bronnen op, wat voorkomt dat het algoritme overmoedig punten selecteert die haalbaar lijken op goedkope bronnen, maar onhaalbaar zijn op de doelbron.

3. Schaalbaarheid via Trust Regions

Om hoogdimensionale inputruimtes ( $d \ge 40$ ) aan te kunnen, wordt de acquisitie-optimalisatie beperkt tot een dynamisch bijgewerkte Trust Region (TR) gecentreerd rond het beste geobserveerde haalbare punt (of het punt met de minimale beperkingsschending indien geen enkel punt haalbaar is). Dit voorkomt dat de zoektocht afdwaalt naar onbelovende regio's en verbetert de computationele efficiëntie.

Belangrijkste Bijdragen

Verenigd Raamwerk: Het eerste principiële, informatie-theoretische raamwerk voor beperkte BO dat meerdere informatiebronnen integreert. Het combineert goedkope auxiliaire samples met een trust-region heuristiek om naar hoogdimensionale ruimtes te schalen.
Variantiecorrectie: Een systematische aanpak voor het afhandelen van discrepanties tussen bronnen door voorspellende varianties te corrigeren op basis van inter-bron correlatie, wat robuustheid garandeert, zelfs wanneer auxiliaire data zwak gecorreleerd is.
Systematische Vergelijking: Een rigoureuze evaluatie van het schalen van multi-source GP-modellen (MISO versus KOH versus MTGP), waarbij wordt aangetoond dat de additieve MISO-structuur robuuster is tegen variërende correlatiesterktes dan hiërarchische of strikte multi-task benaderingen.
Empirische Validatie: Uitgebreide experimenten op synthetische en natuurkundige benchmarks (tot $d=100$ ) die consequent superieure prestaties laten zien ten opzichte van state-of-the-art constrained BO-methoden.

Experimentele Resultaten

De auteurs hebben MS-CMES geëvalueerd op vijf benchmarkproblemen (Pressure Vessel, Rosenbrock, Rastrigin, Rotated Rastrigin, Different Powers) met dimensies variërend van 4 tot 100.

Ontdekking van Haalbaarheid: In hoogdimensionale, schaarse haalbare regio's (bijv. Rastrigin-varianten) faalden de meeste baseline-methoden (inclusclusief CMFBO, VBO en random search) om een enkel haalbaar punt te vinden. MS-CMES identificeerde haalbare regio's direct na de initiële Design of Experiments.
Optimalisatieprestaties: MS-CMES behaalde consequent lagere uiteindelijke objectievevenwaarden vergeleken met baselines zoals SCBO, FuRBO en CMES-IBO+.
Robuustheid tegen Correlatie: Het MISO-model behield een hoge nauwkeurigheid, zelfs wanneer de auxiliaire bronnen ongecorreleerd of zwak gecorreleerd waren, terwijl hiërarchische modellen (KOH) in deze scenario's significant verslechterden.
Ablatiestudies: De trust-region heuristiek bleek cruciaal voor de efficiëntie in hoge dimensies, en de methode bleek robuust voor het aantal Monte Carlo-samples ( $K$ ) dat werd gebruikt voor de entropie-schatting.

Betekenis en Claims

Het artikel claimt dat MS-CMES een kritiek gat in de literatuur opvult door een schaalbare oplossing te bieden voor beperkte optimalisatie in de aanwezigheid van meerdere informatiebronnen.

Vroege Exploratie: De methode is bijzonder effectief in de vroege stadia van optimalisatie waar haalbare regio's onbekend zijn. Door gebruik te maken van goedkope, potentieel vertekende data, kan het het ontwerpgebied populeren en de zoektocht naar haalbaarheid efficiënter sturen dan single-source methoden.
Algemene Toepasbaarheid: Het raamwerk gaat geen strikte fidelity-hiërarchie aan, wat het geschikt maakt voor diverse real-world scenario's waarbij de vorm van de hulpdata (bijv. vereenvoudigde simulaties, archiefgegevens) structureel kan afwijken van de doelbron.
Praktische Impact: De auteurs benadrukken het potentieel van deze aanpak in domeinen variërend van technisch ontwerp (bijv. crashworthiness, aerodynamica) tot drug discovery, waar het balanceren van de kosten van high-fidelity experimenten met low-fidelity simulaties van groot belang is.

De auteurs merken bescheiden de beperkingen op, specifiek de aanname dat doelfuncties en beperkingen gezamenlijk bij een bron worden geëvalueerd en de afhankelijkheid van door de gebruiker gespecificeerde kostenfuncties. Ze stellen echter dat het voorgestelde raamwerk een belangrijke stap voorwaarts is om constrained Bayesian optimisation praktisch te maken voor complexe, hoogdimensionale en data-arme engineering problemen.