📊 statistics

Surrogate modeling for Bayesian optimization beyond a single Gaussian process

Dieser Artikel stellt EGP-TS vor, ein skalierbares Framework für die Bayessche Optimierung, das einen Ensembleansatz von Gauß-Prozessen mit Random-Feature-Approximationen und Thompson-Sampling nutzt, um komplexe Funktionen ohne vorausgewählte Kernel adaptiv zu modellieren, und dabei theoretische Konvergenzgarantien sowohl für sequenzielle als auch für parallele Settings bietet.

Ursprüngliche Autoren: Qin Lu, Konstantinos D. Polyzos, Bingcong Li, Georgios B. Giannakis

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qin Lu, Konstantinos D. Polyzos, Bingcong Li, Georgios B. Giannakis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den höchsten Gipfel in einem weitläufigen, nebligen Gebirge zu finden. Sie können die gesamte Karte nicht überblicken, und jedes Mal, wenn Sie einen Hügel erklimmen, um seine Höhe zu überprüfen, kostet Sie dies ein Vermögen an Zeit und Energie. Dies ist das reale Problem der Bayesschen Optimierung (BO): die Suche nach der besten Lösung (dem höchsten Gipfel) für eine „Black-Box"-Funktion, bei der das Testen teuer ist.

In der Vergangenheit nutzten Entdecker (Algorithmen) eine einzige, vorab erstellte Karte (ein Gaußscher Prozess oder GP), um zu erraten, wo der nächste Hügel liegen könnte. Doch hier liegt der Haken: Der Entdecker musste vor Beginn eine Art von Karte auswählen. Wenn er eine Karte für sanfte Hügel wählte, das Gelände jedoch tatsächlich zerklüftet und felsig war, verirrte er sich oder brauchte ewig, um den Gipfel zu finden.

Diese Arbeit stellt einen neuen, intelligenteren Entdecker namens EGP-TS vor. So funktioniert er, unter Verwendung einfacher Analogien:

1. Der „Schwarm von Karten" (Ensemble von GPs)

Anstatt sich auf nur eine vorab gewählte Karte zu verlassen, bringt die neue Methode ein Team von Entdeckern mit, von denen jeder eine andere Art von Karte hält.

Der alte Weg: Sie wählen eine Karte (z. B. „Sanfte Hügel") aus und bleiben dabei. Wenn das Gelände tatsächlich „Felsklippen" ist, scheitern Sie.
Der neue Weg (EGP): Sie haben ein Team von 10 Entdeckern. Einer hat eine „Sanfte"-Karte, ein anderer eine „Felsige"-Karte, ein weiterer eine „Sandige"-Karte usw.
Die Magie: Während Sie klettern und Daten sammeln, wählt der Teamleiter nicht einfach eine Karte aus. Stattdessen gewichtet er das Team ständig neu. Wenn das Gelände felsig aussieht, erhält der Entdecker mit der „Felsigen Karte" mehr Gewicht bei der Entscheidung, wohin es als Nächstes geht. Wenn es glatt aussieht, übernimmt der Entdecker mit der „Sanften Karte" die Führung. Das System passt sich in Echtzeit an und lernt, welche Karte zum aktuellen Gelände am besten passt, ohne dass ein Mensch ihm sagen muss, welche zu verwenden ist.

2. Der „Glücksspieler-Wurf" (Thompson Sampling)

Sobald das Team entschieden hat, welche Karte derzeit am meisten vertraut wird, wie wählen sie den nächsten Punkt zum Klettern aus?

Der alte Weg: Sie könnten eine komplexe Formel mit vielen Reglern und Drehknöpfen (Designparametern) verwenden, die ein menschlicher Experte perfekt justieren muss.
Der neue Weg (Thompson Sampling): Stellen Sie sich vor, der Teamleiter schließt die Augen, wählt ein zufälliges „Was-wäre-wenn"-Szenario aus der derzeit besten Karte aus und sagt: „Okay, tun wir so, als wäre dieser Punkt der höchste Gipfel, und gehen wir dorthin."
Dies ist wie ein intelligenter Wetteinsatz. Er balanciert natürlich zwei Bedürfnisse aus:
- Ausbeutung (Exploitation): Zu einem Ort gehen, der wie der Gipfel aussieht.
- Erkundung (Exploration): Zu einem Ort zu gehen, den Sie noch nicht überprüft haben, nur für den Fall, dass das „Was-wäre-wenn"-Szenario richtig ist.
Das Beste daran? Diese Methode benötigt keine zusätzlichen Regler oder Drehknöpfe. Sie funktioniert einfach automatisch.

3. Der „Geschwindigkeits-Trick" (Random Features)

Normalerweise ist das Aktualisieren eines Teams von Karten mit neuen Daten rechenintensiv, wie der Versuch, jeden Schritt einen ganzen Atlas neu zu zeichnen.

Die Lösung: Die Arbeit verwendet einen Trick namens Random Feature Approximation. Stellen Sie sich dies vor wie die Übersetzung komplexer, hochauflösender Karten in eine vereinfachte, niedrigauflösende Skizze, die viel schneller zu aktualisieren ist.
Dies ermöglicht dem System den parallelen Betrieb. Stellen Sie sich vor, Sie haben 5 Arbeiter, die gleichzeitig verschiedene Hügel erklimmen. Da die Karten „Skizzen" sind, kann der Teamleiter den Plan für alle 5 Arbeiter gleichzeitig sofort aktualisieren, ohne sich in Berechnungen zu verzetteln.

4. Der Beweis (Regret-Analyse)

Die Autoren sagten nicht einfach nur: „Es sieht so aus, als würde es funktionieren." Sie führten die Mathematik durch, um es zu beweisen.

Sie maßen den „Regret" (Bedauern), was im Wesentlichen die Differenz zwischen dem gefundenen Gipfel und dem tatsächlichen höchsten Gipfel der Welt ist.
Sie bewiesen, dass Ihr „Regret" schrumpft, je weiter Sie klettern (mehr Iterationen). Schließlich ist garantiert, dass Sie das globale Optimum (den wahren höchsten Gipfel) finden, egal ob Sie allein klettern oder mit einem ganzen Team von Arbeitern.

Reale Tests

Die Autoren testeten diesen „Schwarm von Karten"-Ansatz an:

Synthetischen Bergen: Standard-mathematischen Rätseln, von denen bekannt ist, dass sie schwierig sind.
Roboter-Schieben: Einem Roboter beibringen, wie man ein Objekt zu einem Ziel schiebt.
Hyperparameter-Tuning: Den „Einstellknöpfen" für maschinelle Lernmodelle (wie das Justieren der Drehzahl eines Automotors).

Das Ergebnis: In fast jedem Test fand die EGP-TS-Methode bessere Lösungen schneller als die alten Methoden mit einer einzigen Karte und andere komplexe teambasierte Methoden. Sie erforderte weniger menschliche Einrichtung (keine Notwendigkeit, vorab die perfekte Karte auszuwählen) und war robust genug, um verschiedene Arten von „Gelände" zu bewältigen.

Zusammenfassend: Diese Arbeit liefert uns ein selbstjustierendes, teambasiertes Navigationssystem, das automatisch den besten Weg findet, ein schwieriges Problem zu kartieren, schnell genug arbeitet, um viele Computer gleichzeitig zu nutzen, und mathematisch garantiert, dass es die bestmögliche Antwort findet.

Technische Zusammenfassung: Surrogatmodelle für die Bayessche Optimierung jenseits eines einzelnen Gauß-Prozesses

Problemstellung
Die Bayessche Optimierung (BO) ist ein fundierter Rahmen zur Optimierung „teuer auszuwertender" Black-Box-Funktionen, wie sie beispielsweise bei der Hyperparameter-Optimierung, der Wirkstoffentwicklung und in der Robotik vorkommen. Die Standard-BO stützt sich auf ein statistisches Surrogatmodell, um sequenziell Abfragepunkte auszuwählen und dabei Exploration und Exploitation auszubalancieren. Herkömmliche Ansätze verlassen sich jedoch typischerweise auf einen einzelnen Gauß-Prozess (GP) mit einer vorab ausgewählten Kernel-Funktion. Dieses Design erfordert erhebliche Domänenexpertise, um den geeigneten Kernel-Typ und die Hyperparameter zu wählen. Darüber hinaus fehlen oft strenge Konvergenzgarantien für BO-Algorithmen, und die Parallelisierung von Auswertungen zur Verkürzung der Konvergenzzeit erfordert häufig zusätzliche Hyperparameter oder komplexe Auswahlregeln, um eine Vielfalt der Abfragen sicherzustellen. Der vorliegende Beitrag adressiert die Notwendigkeit einer BO-Methode, die den Tuning-Aufwand minimiert, parallele Operationen unterstützt und theoretische Konvergenzgarantien bietet.

Methodik: EGP-TS
Die vorgeschlagene Methode, EGP-TS (Ensemble-Gauß-Prozess mit Thompson Sampling), führt ein neuartiges Framework ein, das über einen einzelnen GP-Surrogat hinausgeht.

Ensemble von GPs (EGP): Anstelle eines einzelnen Kernels nutzt die Methode ein Ensemble von $M$ GPs, wobei jeder GP $m$ eine Kernel-Funktion $\kappa_m$ verwendet, die aus einem vordefinierten Wörterbuch $\mathcal{K}$ ausgewählt wird. Die Prior-Verteilung über die Zielfunktion $f(x)$ wird als gewichtete Mischung dieser GPs modelliert:
$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$
Die Gewichte $w_m^t$ werden adaptiv in Echtzeit basierend auf den beobachteten Daten $D_t$ unter Verwendung der Bayes-Regel aktualisiert, wodurch effektiv das am besten geeignete Surrogatmodell für die aktuelle Phase der Optimierung ausgewählt wird.
Thompson Sampling (TS) Acquisition: Um den nächsten Abfragepunkt auszuwählen, setzt die Methode Thompson Sampling ein. Anstatt eine komplexe Acquisition-Funktion zu optimieren, wird eine Funktionsrealisierung $\tilde{f}_t(x)$ aus der posteriori-Mischverteilung gezogen und der Maximierer dieser gezogenen Funktion ausgewählt. Dieser Ansatz erfordert keine zusätzlichen Designparameter.
Skalierbarkeit durch Zufallsmerkmale (RF): Um die Skalierbarkeit zu gewährleisten, insbesondere für den für TS erforderlichen Sampling-Schritt, verwendet die Methode eine Kernel-Approximation auf Basis von Zufallsmerkmalen für jeden GP im Ensemble. Dies wandelt das nicht-parametrische GP-Lernen in ein parametrisches um und ermöglicht ein effizientes Funktions-Sampling sowie rekursive Bayessche Updates der Modellparameter (Gewichte und Posterior-Mittelwerte/Kovarianzen).
Parallelisierung: Das EGP-TS-Framework unterstützt auf natürliche Weise sowohl synchrone als auch asynchrone parallele Funktionsauswertungen. In einem parallelen Setting mit $K$ Arbeitsprozessen werden mehrere Abfragepunkte durch Sampling aus der aktuellen Posterior-Mischung generiert, ohne dass zusätzliche Hyperparameter erforderlich sind, um eine Vielfalt zu erzwingen – eine häufige Anforderung bei paralleler BO unter Verwendung von Upper Confidence Bound (UCB) oder Expected Improvement (EI).

Hauptbeiträge
Der Beitrag umreißt vier primäre Beiträge:

Adaptive Modellauswahl: Er ersetzt den einzelnen GP mit einem vorab ausgewählten Kernel durch ein Ensemble von GPs, das die Gewichte der einzelnen GPs adaptiv in Echtzeit anpasst, wodurch die Notwendigkeit einer manuellen Kernel-Auswahl entfällt.
Parameterfreie Parallelisierung: Der resultierende EGP-TS-Ansatz unterstützt sowohl synchrone als auch asynchrone parallele Auswertungen, ohne dass zusätzliche Designparameter erforderlich sind.
Konvergenzgarantien: Die Autoren leiten die Konvergenz von EGP-TS zum globalen Optimum her, indem sie sublineare Bayessche Regret-Schranken für sowohl sequenzielle als auch parallele Settings ableiten. Die Analyse passt Techniken aus linearen Banditen mit Misch-Priors auf den BO-Kontext an und adressiert die Herausforderungen, die durch den EGP-Prior eingeführt werden.
Empirische Validierung: Umfassende Tests an synthetischen Funktionen, Roboteraufgaben (Roboter-Pushen) und realen Hyperparameter-Optimierungsaufgaben (für FNNs, SVMs und Gradient Boosting) belegen die Überlegenheit der Methode gegenüber TS mit einzelnen GPs, vollständig Bayesschem GP-TS und alternativen Ensemble-Ansätzen.

Ergebnisse
Numerische Experimente wurden an Standard-Synthese-Benchmarks (Ackley-5d, Zakharov, DropWave, Eggholder) und realen Anwendungen durchgeführt.

Synthetische Funktionen: EGP-TS erzielte konsistent ein niedrigeres einfaches Regret im Vergleich zu GP-TS mit vorab ausgewählten Kernels (RBF, Matérn) und anderen Ensemble-Methoden wie BanditBO und EXP3BO. Es übertraf zudem vollständig Bayessches GP-TS.
Robotik: Bei 3D- und 4D-Roboter-Push-Aufgaben zeigte EGP-TS eine überlegene Leistung bei der Minimierung des Abstands zum Zielort im Vergleich zu allen Baselines und lief zudem deutlich schneller als vollständig Bayessches GP-TS.
Hyperparameter-Optimierung: Bei der Optimierung von FNN-, SVM- und Gradient-Boosting-Modellen auf Datensätzen wie Breast Cancer, Iris und Wine erreichte EGP-TS eine höhere Validierungsgenauigkeit mit weniger Funktionsauswertungen im Vergleich zu Konkurrenten.
Ablation: Vorläufige Ergebnisse, die den EGP-Surrogat mit Expected Improvement koppeln (EGP-EI), zeigten ebenfalls eine verbesserte Leistung gegenüber dem Standard GP-EI, was darauf hindeutet, dass die Vorteile des Ensemble-Modells über Thompson Sampling hinausgehen.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass EGP-TS eine robuste Lösung für den Engpass des „Designaufwands" in der Bayesschen Optimierung bietet. Durch die Automatisierung der Kernel-Auswahl mittels eines Ensemble-Ansatzes und die Nutzung von Thompson Sampling reduziert die Methode die Abhängigkeit von expertenbasiertem Domänenwissen. Der theoretische Beitrag besteht in der Etablierung strenger Bayesscher Regret-Schranken für einen auf Ensembles basierenden BO-Algorithmus und beweist, dass die Methode mit abnehmendem durchschnittlichem Regret zum globalen Optimum konvergiert. Die Autoren betonen, dass zwar das Ensemble-Konzept im überwachten Lernen verwendet wurde, seine Anpassung an die BO zur Kernel-Auswahl, kombiniert mit paralleler Skalierbarkeit und Konvergenzanalyse, einen neuartigen Beitrag darstellt. Die Arbeit positioniert EGP-TS als eine Methode, die die Ausdruckskraft des Ensemble-Lernens mit der Effizienz und den theoretischen Garantien in Einklang bringt, die für praktische, hochkostspielige Optimierungsaufgaben erforderlich sind.

1. Der „Schwarm von Karten" (Ensemble von GPs)

2. Der „Glücksspieler-Wurf" (Thompson Sampling)

3. Der „Geschwindigkeits-Trick" (Random Features)

4. Der Beweis (Regret-Analyse)

Reale Tests

Mehr davon