🤖 machine learning

Constrained Bayesian Optimisation with Multiple Information Sources

Dieses Paper schlägt ein allgemeines Multi-Source-Framework für die eingeschränkte Bayessche Optimierung vor, das die Max-Value Entropy Search erweitert, um durch die Nutzung zusätzlicher Datenquellen effizient zulässige und optimale Lösungen zu identifizieren, selbst wenn diese nur schwach mit dem wahren Zielwert korreliert sind.

Ursprüngliche Autoren: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hauke Maathuis, Roeland De Breuker, Saullo Castro, Maike Osborne

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den einen besten Platz für einen Limonadenstand in einer riesigen, nebligen Stadt zu finden. Sie haben zwei Ziele:

Umsatz maximieren: Sie wollen den Platz mit dem meisten Fußgängerverkehr.
Sicherheit gewährleisten: Sie müssen Orte vermeiden, die illegal sind (wie eine Autobahn) oder gefährlich (wie eine Baustelle).

Das Problem ist, dass das Überprüfen eines Standorts teuer ist.

Der „echte“ Check: Einen Menschen dorthin zu schicken, damit er eine Stunde lang dort steht, um Leute zu zählen und nach der Polizei zu sehen, ist sehr kostspielig und langsam.
Der „falsche“ Check: Eine verschwommene, niedrig auflösende Karte anzusehen oder einen Einheimischen zu fragen, der vielleicht etwas daneben liegt, ist günstig und schnell, aber nicht zu 100 % genau.

Dies ist der Kern des Problems, das die Arbeit behandelt: Wie findet man den besten, sicheren Ort mit so wenig teuren Checks wie möglich, während man die günstigen, unvollkommenen Karten nutzt, um zu erraten, wo man suchen muss?

Der alte Weg vs. der neue Weg

Der alte Weg (Traditionelle Bayessche Optimierung):
Die meisten bisherigen Methoden verhielten sich wie ein vorsichtiger Entdecker, der nur den teuren, echten Checks vertraute. Wenn die „sichere Zone“ (wo man legal Limonade verkaufen darf) winzig oder versteckt war, verschwendete der Entdecker viel Geld damit, zufällige Orte zu prüfen, und blieb oft im Nebel stecken. Er ignorierte die günstigen Karten, weil sie nicht perfekt waren.

Der neue Weg (MS-CMES):
Die Autoren schlagen eine neue Strategie namens MS-CMES vor. Stellen Sie sich dies als ein kluges Team von Entdeckern vor.

Das Team: Sie haben einen „High-Fidelity“-Experten (teuer, genau) und mehrere „Low-Fidelity“-Assistenten (günstig, schnell, aber manchmal falsch).
Die Strategie: Anstatt die Assistenten zu ignorieren, nutzt das Team sie, um die ganze Stadt schnell zu scannen. Die Assistenten zeigen auf „vielversprechende Viertel“.
Das Sicherheitsnetz: Das Team weiß, dass die Assistenten sich über die Regeln irren könnten (z. B. könnten sie denken, eine Autobahn sei sicher). Deshalb nutzt das Team einen speziellen mathematischen Trick (genannt Varianzkorrektur), um zu sagen: „Okay, die Karte sagt, dieser Ort ist sicher, aber da die Karte verschwommen ist, sollten wir etwas skeptischer sein und ihn sorgfältig prüfen, bevor wir uns festlegen.“

Wie es funktioniert (Die Metaphern)

1. Die „Vertrauensregion“ (Die Taschenlampe)
Stellen Sie sich vor, Sie sind in einem dunklen Raum. Anstatt zu versuchen, den ganzen Raum auf einmal zu erfassen, leuchten Sie mit einer Taschenlampe auf einen kleinen Bereich. Sie erkunden diesen kleinen Bereich gründlich. Wenn Sie etwas Gutes finden, bewegen Sie die Taschenlampe näher heran. Wenn Sie nichts finden, verkleinern Sie den Lichtkegel, um genauer hinzusehen, oder bewegen die Taschenlampe zu einem neuen vielversprechenden Ort.

In der Arbeit: Dies wird als Vertrauensregion (Trust Region) bezeichnet. Es verhindert, dass der Algorithmus Geld damit verschwendet, zufällige, nutzlose Teile der Stadt zu prüfen. Er konzentriert die teuren Checks auf die wahrscheinlichsten „Gewinnerbereiche“.

2. Die „Blinden Fleck“-Korrektur
Manchmal sind die günstigen Karten so schlecht, dass sie fast nutzlos sind. Wenn Sie ihnen blind folgen würden, könnten Sie in einen Abgrund laufen.

In der Arbeit: Die Methode berechnet einen „Korrelationswert“. Wenn die günstige Karte nur schwach mit der Realität zusammenhängt, fügt das System automatisch einen „Sicherheitsbuffer“ hinzu (erhöht die Unsicherheit). Es sagt im Grunde: „Diese günstigen Daten sind wackelig, also werde ich ihnen nicht voll vertrauen, aber ich werde sie trotzdem nutzen, um eine grobe Vorstellung davon zu bekommen, wo ich suchen muss.“

3. Der „Informationsgewinn“ (Die Schatzsuche)
Der Algorithmus sucht nicht nur nach dem besten Ort; er sucht nach dem Ort, der ihm am meisten lehrt.

In der Arbeit: Er fragt: „Wenn ich diesen Ort mit der günstigen Karte prüfe, wird er mir mehr darüber verraten, wo der beste Ort ist, als wenn ich jenen anderen Ort prüfen würde?“ Er wägt die Kosten des Checks gegen den Wert der neuen Information ab.

Was haben sie herausgefunden?

Die Autoren haben dies auf mehreren „Städten“ (mathematischen Problemen) getestet, die von Kleinstädten bis hin zu massiven Metropolen mit Tausenden von Straßen (hohe Dimensionen) reichen.

Das Ergebnis: Ihre neue Methode (MS-CMES) war viel besser darin, die „sicheren“ Zonen zu finden als die alten Methoden.
Die Überraschung: Selbst als die günstigen Karten sehr verschwommen und nur schwach mit der Realität verwandt waren, nutzte die neue Methode sie immer noch, um die Lösung schneller zu finden. Die alten Methoden gaben oft auf oder blieben stecken, weil sie keinen einzigen sicheren Ort zum Starten finden konnten.
Die Effizienz: Indem sie die günstigen Karten zur Führung der Suche nutzten und nur die teuren Checks zur Bestätigung der besten Orte einsetzten, fanden sie die optimale Lösung mit weit weniger Gesamtzahl an Checks.

Zusammenfassung

Die Arbeit führt einen klügeren Weg zur Lösung schwieriger Optimierungsprobleme ein. Anstatt sich ausschließlich auf teure, perfekte Daten zu verlassen, mischt sie geschickt günstige, unvollkommene Daten unter, um den Raum schneller zu explorieren. Sie nutzt einen „Taschenlampen-Ansatz“, um sich auf vielversprechende Bereiche zu konzentrieren, und einen „Sicherheitsbuffer“, um sicherzustellen, dass die günstigen Daten einen nicht in die Irre führen. Das Ergebnis ist ein System, das die besten, sicheren Lösungen viel schneller findet, selbst wenn die Regeln komplex sind und die Daten spärlich vorhanden sind.

Technisches Resümee: Beschränkte Bayessche Optimierung mit multiplen Informationsquellen

Problemstellung

Die Bayessche Optimierung (BO) ist ein Standardrahmen zur Optimierung teurer Black-Box-Funktionen, steht jedoch vor erheblichen Herausforderungen im Umgang mit unbekannten Nebenbedingungen und kleinen zulässigen Regionen. In hochdimensionalen Räumen, in denen die Datenlage dünn ist (z. B. Crashworthiness-Design), ist es schwierig, auch nur einen einzigen zulässigen Punkt zu entdecken. Bestehende Methoden verlassen sich typischerweise auf eine einzige Informationsquelle (die „Ground Truth“), deren häufige Evaluierung jedoch rechentechnisch prohibitiv sein kann.

Während viele ingenieurwissenschaftliche und wissenschaftliche Anwendungen über zusätzliche Informationsquellen verfügen (z. B. grobe Simulationen, vereinfachte physikalische Modelle oder analytische Approximationen), die zwar günstiger zu evaluieren, aber potenziell verzerrt oder verrauscht sind, bleibt deren Integration in die beschränkte BO unteruntersucht. Die meisten bestehenden Multi-Source- (oder Multi-Fidelity-) Methoden adressieren entweder Nebenbedingungen oder multiple Quellen isoliert. Es mangelt an skalierbaren Frameworks, die in der Lage sind, billige, schwach korrelierte Hilfsquellen für eine frühe Exploration in beschränkten Settings zu nutzen, ohne die Genauigkeit der endgültigen Lösung zu gefährden.

Methodik: MS-CMES

Die Autoren schlagen Multi-Source Constrained Max-value Entropy Search (MS-CMES) vor, ein einheitliches Framework, das Max-value Entropy Search (MES) auf Settings mit multiplen Informationsquellen und Black-Box-Nebenbedingungen erweitert.

1. Multi-Source Gaussian Process Modellierung

Das Framework modelliert die Zielfunktion $f$ und die Nebenbedingungen $c_i$ über einen Satz von Quellen $S = \{0, \dots, L\}$ , wobei $L$ die Zielquelle (teuer, genau) und $0$ die günstigste Hilfsquelle ist.

MISO-Framework: Anstatt eine strikte hierarchische Fidelität anzunehmen (wie bei Kennedy-O'Hagan-Modellen) oder eine gemeinsame latente Struktur (wie bei Multi-Task GPs), verwenden die Autoren den Multi-Information Source Optimisation (MISO)-Ansatz.
Additive Struktur: Jede quellspezifische Funktion wird als $u^{(\ell)}(x) = u^{(L)}(x) + \Delta^{(\ell)}(x)$ modelliert, wobei $u^{(L)}$ eine latente Zielfunktion ist und $\Delta^{(\ell)}$ eine quellspezifische Diskrepanz darstellt, die als unabhängiger Gauß-Prozess (GP) modelliert wird.
Gemeinsame Inferenz: Diese additive Struktur ermöglicht die gemeinsame Inferenz über die latente Funktion und die Diskrepanzen, wodurch Korrelationen zwischen den Quellen erfasst werden, während gleichzeitig die Flexibilität für Quellen mit schwacher oder unbekannter Korrelation gewahrt bleibt.

2. Akquisitionsfunktion: Entropy Search mit Varianzkorrektur

Der Kern der Methode ist eine Akquisitionsfunktion $\alpha_n(x, \ell)$ , die den Informationsgewinn über das beschränkte Optimum $f^*$ gegen die Evaluationskosten $\lambda(x, \ell)$ abwägt.

Ziel: Maximierung des erwarteten Informationsgewinns über das beschränkte Optimum $f^* = \max_{x \in \mathcal{X}_f^{(L)}} f^{(L)}(x)$ .
Variationaler unterer Grenzwert: Da die gegenseitige Information $I(u^{(\ell)}; f^*)$ unhandlich ist, verwendet die Methode eine aus Takeno et al. (2022) adaptierte variationale untere Schranke. Dies beinhaltet das Sampling des beschränkten Optimums $f^*$ via diskretem Thompson-Sampling und die Schätzung der Wahrscheinlichkeit, dass eine neue Beobachtung innerhalb der durch $f^*$ definierten zulässigen Menge liegt.
Varianzkorrektur: Eine entscheidende Neuerung ist der Varianzkorrekturmechanismus. Da die zulässige Menge an der Zielquelle $L$ definiert ist, die Beobachtungen jedoch von Quelle $\ell$ stammen können, besteht das Risiko einer Schein-Zulässigkeit. Die Autoren führen einen Korrekturfaktor basierend auf dem Korrelationskoeffizienten $\rho(x, \ell)$ zwischen der Hilfs- und der Zielquelle ein. Dieser erhöht die Varianz der Vorhersagen aus schwach korrelierten Quellen, um zu verhindern, dass der Algorithmus übermäßig selbstbewusst Punkte auswählt, die auf billigen Quellen zulässig erscheinen, auf der Zielquelle jedoch unzulässig sind.

3. Skalierbarkeit via Trust Regions

Um hochdimensionale Eingangsräume ( $d \ge 40$ ) zu handhaben, wird die Optimierung der Akquisition auf eine dynamisch aktualisierte Trust Region (TR) beschränkt, die um den besten beobachteten zulässigen Punkt (oder den Punkt mit minimaler Verletzung der Nebenbedingungen, falls keiner existiert) zentriert ist. Dies verhindert, dass die Suche in unpromessende Regionen abdriftet, und verbessert die Recheneffizienz.

Zentrale Beiträge

Einheitliches Framework: Das erste prinzipienbasierte, informationstheoretische Framework für beschränkte BO, das multiple Informationsquellen integriert. Es kombiniert billige Hilfsproben mit einer Trust-Region-Heuristik, um in hochdimensionalen Räumen zu skalieren.
Varianzkorrektur: Ein systematischer Ansatz zum Umgang mit Diskrepanzen zwischen Quellen durch Korrektur der Vorhersagevarianzen basierend auf der Inter-Source-Korrelation, was Robustheit auch bei schwach korrelierten Hilfsdaten gewährleistet.
Systematischer Vergleich: Eine rigorose Evaluierung der Skalierung von Multi-Source-GP-Modellen (MISO vs. KOH vs. MTGP), die zeigt, dass die additive MISO-Struktur robuster gegenüber variierenden Korrelationsstärken ist als hierarchische oder strikte Multi-Task-Ansätze.
Empirische Validierung: Umfangreiche Experimente auf synthetischen und physikbasierten Benchmarks (bis zu $d=100$ ), die eine konsistente Überlegenheit gegenüber State-of-the-Art-Methoden der beschränkten BO zeigen.

Experimentelle Ergebnisse

Die Autoren evaluierten MS-CMES auf fünf Benchmark-Problemen (Pressure Vessel, Rosenbrock, Rastrigin, Rotated Rastrigin, Different Powers) mit Dimensionen von 4 bis 100.

Entdeckung der Zulässigkeit: In hochdimensionalen, spärlichen zulässigen Regionen (z. B. Rastrigin-Varianten) versagten die meisten Baseline-Methoden (einschließlich CMFBO, VBO und Random Search) darin, auch nur einen einzigen zulässigen Punkt zu finden. MS-CMES identifizierte zulässige Regionen unmittelbar nach dem initialen Design of Experiments.
Optimierungsleistung: MS-CMES erreichte konsistent niedrigere finale Objektivwerte im Vergleich zu Baselines wie SCBO, FuRBO und CMES-IBO+.
Robustheit gegenüber Korrelation: Das MISO-Modell behielt eine hohe Genauigkeit bei, selbst wenn die Hilfsquellen unkorreliert oder schwach korreliert waren, während hierarchische Modelle (KOH) in diesen Szenarien signifikant an Qualität verloren.
Ablationsstudien: Die Trust-Region-Heuristik erwies sich als entscheidend für die Effizienz in hohen Dimensionen, und die Methode zeigte sich robust gegenüber der Anzahl der Monte-Carlo-Samples ( $K$ ), die für die Entropie-Schätzung verwendet wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass MS-CMES eine kritische Lücke in der Literatur schließt, indem es eine skalierbare Lösung für die beschränkte Optimierung in Gegenwart von multiplen Informationsquellen bietet.

Frühe Exploration: Die Methode ist besonders effektiv in den frühen Phasen der Optimierung, in denen die zulässigen Regionen noch unbekannt sind. Durch die Nutzung billiger, potenziell verzerrter Daten kann sie den Designraum besetzen und die Suche effizienter in Richtung Zulässigkeit leiten als Single-Source-Methoden.
Allgemeine Anwendbarkeit: Das Framework setzt keine strikte Hierarchie der Fidelität voraus, was es für diverse reale Szenarien geeignet macht, in denen Hilfsdaten (z. B. vereinfachte Simulationen, Archivdaten) strukturell divergent vom Ziel sein können.
Praktische Auswirkungen: Die Autoren betonen das Potenzial dieses Ansatzes in Bereichen, die von der Konstruktionsentwicklung (z. B. Crashworthiness, Aerodynamik) bis hin zur Wirkstoffforschung reichen, wo die Abwägung zwischen den Kosten hochfrequenter Experimente und niederfrequenter Simulationen von zentraler Bedeutung ist.

Die Autoren merken bescheiden an, dass Einschränkungen bestehen, insbesondere die Annahme, dass Zielfunktionen und Nebenbedingungen gemeinsam an einer Quelle evaluiert werden, sowie die Abhängigkeit von benutzerdefinierten Kostenfunktionen. Sie argumentieren jedoch, dass das vorgeschlagene Framework einen bedeutenden Schritt darstellt, um die beschränkte Bayessche Optimierung für komplexe, hochdimensionale und datenarme Ingenieursprobleme praktikabel zu machen.