📊 statistics

Generative Bayesian Optimization: Generative Models as Acquisition Functions

Dieser Beitrag stellt ein neuartiges Framework für das Bayes'sche Optimieren vor, das auf generativen Modellen basiert, die direkt auf Nutzenwerten trainiert werden, um als Akquisitionsfunktionen zu dienen und damit eine effiziente Optimierung mit großen Batches in hochdimensionalen und kombinatorischen Räumen ohne Rückgriff auf traditionelle Surrogatmodelle ermöglicht.

Ursprüngliche Autoren: Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das absolut beste Rezept für einen Kuchen zu finden, aber Sie unterliegen einer sehr strengen Regel: Sie dürfen den Kuchen nur eine begrenzte Anzahl von Malen probieren, und jedes Mal, wenn Sie ihn probieren, könnte der Geschmack aufgrund von zufälligem Rauschen (wie einer zitternden Hand oder einer leicht unterschiedlichen Ofentemperatur) minimal variieren. Dies ist das Kernproblem der Bayesschen Optimierung (BO): das „Beste" in einer riesigen, chaotischen Welt mit sehr wenigen Versuchen zu finden.

Traditionell verwenden Wissenschaftler zur Lösung dieses Problems einen zweistufigen „Vermittler"-Ansatz. Zuerst erstellen sie eine Karte (ein statistisches Modell) der Kuchenwelt basierend auf dem, was sie bisher probiert haben. Dann nutzen sie diese Karte, um zu erraten, wo der nächste beste Probierpunkt liegen könnte. Schließlich müssen sie ein schwieriges mathematisches Rätsel lösen, um den genauen Gipfel auf dieser Karte zu finden.

Das Problem mit dem alten Weg:
Wenn der „Kuchen" tatsächlich ein komplexes Protein-Design oder eine lange Textsequenz ist, wird die Karte so riesig und kompliziert, dass der „Vermittler"-Schritt langsam, teuer und fehleranfällig wird. Es ist wie der Versuch, eine detaillierte Karte eines ganzen Kontinents zu zeichnen, nur um den besten Ort für ein einziges Picknick zu finden.

Die neue Lösung: GenBO (Generative Bayessche Optimierung)
Diese Arbeit stellt eine neue Strategie namens GenBO vor. Anstatt eine Karte zu erstellen und diese dann zu durchsuchen, lehrt GenBO einen „kreativen Generator" (eine Art KI, die neue Dinge erzeugt), die besten Kandidaten direkt zu lernen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Probier"-Lehrer

Stellen Sie sich eine Klasse von Schülern (das KI-Modell) vor, die versuchen zu lernen, wie man den perfekten Kuchen backt.

Der alte Weg: Sie geben den Schülern ein Lehrbuch (die Karte), das die Kuchen beschreibt. Sie lesen das Buch, versuchen, die Theorie zu verstehen, und raten dann, was sie backen sollen.
Der GenBO-Weg: Sie überspringen das Lehrbuch vollständig. Sie geben den Schülern einfach eine Liste der gebackenen Kuchen und eine einfache Bewertung: „Gut", „Okay" oder „Schlecht". Sie sagen ihnen: „Backt mehr Kuchen, die wie die ‚Guten' schmecken."

2. Lernen aus „Präferenzen" (Die DPO-Verbindung)

Die Arbeit entlehnt einen cleveren Trick aus der Art und Weise, wie wir Large Language Models (wie das, mit dem Sie gerade sprechen) trainieren. Normalerweise zeigen wir einer KI, um sie hilfreich zu machen, zwei Antworten: eine, die ein Mensch mochte, und eine, die er nicht mochte. Die KI lernt, die „beliebte" vorzuziehen.

GenBO macht Ähnliches für die Optimierung:

Es nimmt zwei Kandidatenlösungen (z. B. zwei verschiedene Proteinsequenzen).
Es prüft, welche besser abgeschnitten hat (einen höheren „Nutzen"-Score hatte).
Es sagt der KI: „Sie sollten mehr Dinge generieren, die dem Gewinner ähneln, und weniger Dinge, die dem Verlierer ähneln."
Die KI lernt diese Präferenz direkt, ohne dass eine komplexe Karte dazwischen benötigt wird.

3. Der „Dichte"-Trick

Stellen Sie sich die KI als eine Maschine vor, die Kandidaten ausspuckt.

Bei der alten Methode versucht die Maschine, den einzigen höchsten Gipfel auf einem Berg zu finden.
Bei GenBO lernt die Maschine, ihre Samen (Kandidaten) dichter in den Tälern zu verteilen, in denen die „guten" Kuchen zu finden sind. Sie muss nicht den exakten Gipfel finden; sie muss nur wissen, wo sich der „gute" Bereich befindet, damit sie dort sofort eine ganze Charge Samen abwerfen kann.

Warum ist das eine große Sache?

Die Arbeit behauptet drei Hauptvorteile:

Geschwindigkeit und Skalierbarkeit: Da der Schritt des „Karten-Erstellens" übersprungen wird, kann sie massive Chargen bewältigen. Stellen Sie sich vor, Sie müssten 1.000 Kucherezepte gleichzeitig testen. Der alte Weg hat damit Schwierigkeiten; GenBO generiert einfach 1.000 Variationen, die wahrscheinlich gut sind, und schickt sie los.
Einfachheit: Es verwendet ein einziges Modell, um den gesamten Job zu erledigen. Der alte Weg verwendete zwei Modelle (eines zum Karten, eines zum Generieren), was bedeutete, dass Fehler im ersten Modell das zweite durcheinanderbringen würden. GenBO entfernt diesen Vermittler.
Umgang mit Komplexität: Es funktioniert hervorragend bei „kombinatorischen" Problemen – Dingen, bei denen Sie Teile mischen und zusammenfügen (wie Buchstaben in einem Wort oder Aminosäuren in einem Protein), anstatt nur einen einfachen Regler zu justieren.

Die Ergebnisse

Die Autoren testeten dies an zwei Arten von Rätseln:

Text-Optimierung: Der Versuch, ein 5-Buchstaben-Wort zu finden, das „ALOHA" am nächsten kommt.
Protein-Design: Der Versuch, die beste Sequenz von Aminosäuren zu finden, um ein Protein stabil zu machen oder seine Oberfläche zu vergrößern.

In diesen Tests schnitt GenBO genauso gut ab (und manchmal besser) als die komplexen, mehrstufigen Methoden, aber es erledigte dies dreimal schneller, weil es keine Zeit mit dem Aufbau der Zwischens-Karte verschwendete.

Das Fazit

Die Arbeit argumentiert, dass Sie keine komplexe „Surrogat"-Karte benötigen, um die beste Lösung zu finden. Stattdessen können Sie eine generative KI trainieren, direkt zu „fühlen", wie eine gute Lösung aussieht, indem sie einfach betrachtet, welche früheren Versuche am besten funktioniert haben. Es ist ein Wechsel von „das Territorium kartieren" zu „die Stimmung der besten Stellen lernen", was eine schnellere und großskaligere Entdeckung in komplexen Bereichen wie Biologie und Ingenieurwesen ermöglicht.

Technische Zusammenfassung: Generative Bayessche Optimierung

Problemstellung

Die Bayessche Optimierung (BO) ist ein Standardansatz zur Lösung komplexer Black-Box-Optimierungsprobleme, indem probabilistische Surrogatmodelle, wie Gaußsche Prozesse (GPs), genutzt werden, um ein erwartetes Nutzenkriterium, bekannt als Akquisitionsfunktion, zu maximieren. Obwohl effektiv, steht die traditionelle BO in Batch-Szenarien vor erheblichen Skalierbarkeitsproblemen, insbesondere beim Umgang mit hochdimensionalen und kombinatorischen Designräumen (z. B. Protein-Design).

Bestehende Batch-BO-Methoden verlassen sich häufig auf das schrittweise Aufbauen von Kandidatensets durch das Abtasten von „Fantasy"-Beobachtungen, ein Prozess, der mit wachsender Batch-Größe rechnerisch unlösbar wird. Alternativ verwenden Ansätze, die generative Modelle als Vorschlagsverteilungen trainieren, typischerweise einen zweistufigen Prozess: Zuerst wird ein Surrogat (Regressions- oder Klassifikations-)Modell angepasst, um die Zielfunktion oder Akquisitionsfunktion zu approximieren, und daraufhin wird ein generatives Modell darauf trainiert. Diese zweistufige Pipeline verstärkt Approximationsfehler und erhöht die Rechenkosten. Darüber hinaus sind viele bestehende generative Ansätze spezifisch für bestimmte Akquisitionsfunktionen (z. B. Wahrscheinlichkeit der Verbesserung) oder erfordern explizite Belohnungsmodelle, die zusätzliche Fehlerquellen einführen.

Methodik

Die Arbeit schlägt Generative Bayessche Optimierung (GenBO) vor, ein einheitliches Framework, das generative Modelle direkt in Stichprobenverfahren für Kandidatenlösungen im Batch-BO umwandelt, ohne intermediate Surrogatmodelle. Die Kernidee besteht darin, das generative Modell so zu trainieren, dass es eine Zielverteilung approximiert, deren Dichte proportional zur BO-Akquisitionsfunktion (erwarteter Nutzen) ist, wodurch effektiv eine direkte Inferenz über den optimalen Ort $x^*$ anstelle der Zielfunktion $f$ durchgeführt wird.

Das Framework bietet zwei primäre Strategien zum Training des generativen Modells $q$ unter Verwendung verrauschter Nutzenwerte, die aus Beobachtungen abgeleitet werden:

Präferenzbasiertes Lernen (DPO-inspiriert):
Inspiriert von der Direct Preference Optimization (DPO) für Large Language Models, formuliert dieser Ansatz einen paarweisen kontrastiven Verlust. Anstatt ein intermediäres Belohnungsmodell zu trainieren, wird das generative Modell direkt auf Paare von Eingaben $(x_{i,1}, x_{i,2})$ und ihren entsprechenden Nutzenwerten $(u_{i,1}, u_{i,2})$ trainiert.
- Robuster Präferenzverlust (rPL): Um das in Black-Box-Evaluierungen inhärente Rauschen zu bewältigen (bei dem das Vorzeichen von Nutzenunterschieden umgekehrt sein kann), verwenden die Autoren eine robuste Version des DPO-Verlusts. Dieser Verlust eliminiert die Notwendigkeit eines expliziten Belohnungsmodells und einer Partitionierungsfunktion und optimiert das generative Modell direkt, um die Zielverteilung $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$ zu approximieren.
Divergenzbasiertes Lernen:
Dieser Ansatz trainiert das generative Modell, um die Zielverteilung direkt durch Minimierung der Divergenz zu erreichen.
- Forward KL: Das Modell minimiert die Kullback-Leibler (KL)-Divergenz zwischen der Vorschlags- und der Zielverteilung. Die Autoren leiten ein erwartungstreues Trainingsziel unter Verwendung von Importance-Sampling-Gewichten ab.
- Ausgeglichener Forward KL: Um das Problem zu adressieren, bei dem der Standard-Forward KL Regionen mit null Nutzen (z. B. unterhalb eines Verbesserungsschwellenwerts) nicht bestraft, wird eine ausgeglichene Variante eingeführt. Diese fügt einen weichen Strafterm hinzu, der von Bregman-Divergenzen abgeleitet ist, und stellt sicher, dass das Modell keine hohe Wahrscheinlichkeitsdichte in Regionen mit geringem Nutzen beibehält.

Das Framework ist auf jede Akquisitionsfunktion verallgemeinerbar, die als erwarteter Nutzen ausgedrückt werden kann (z. B. Wahrscheinlichkeit der Verbesserung, Erwartete Verbesserung, Weiche Erwartete Verbesserung), und unterstützt verschiedene Nutzenfunktionen, einschließlich Mittelwert- und Softplus-Varianten.

Hauptbeiträge

Ein-Modell-Framework: GenBO eliminiert die Notwendigkeit von intermediären Regressions- oder Klassifikations-Surrogaten, reduziert Approximationsfehler und Rechenoverhead durch das Training eines einzigen generativen Modells direkt aus verrauschten Beobachtungen.
Allgemeine Nutzenkodierung: Die Methode kodiert allgemeine Nutzenfunktionen direkt in die Trainingsziele generativer Modelle und geht damit über präferenzbasiertes Feedback hinaus zu allgemeinen Belohnungssignalen und Verlustfunktionen.
Theoretische Konvergenz: Die Arbeit liefert eine theoretische Analyse, die zeigt, dass unter milden Regularitätsannahmen (z. B. Modelle, die in einem Reproduzierenden Kernel-Hilbertraum liegen) die Sequenz generativer Modelle Verteilungen folgt, die asymptotisch die optimale Zielverteilung approximieren. Die Analyse zeigt, dass sich der Approximationsfehler ähnlich wie bei Kernel-Methoden konzentriert.
Skalierbarkeit: Der Ansatz ist darauf ausgelegt, mit großen Batches und hochdimensionalen kombinatorischen Räumen zu skalieren, bei denen traditionelle BO und zweistufige generative Methoden an ihre Grenzen stoßen.

Experimentelle Ergebnisse

Die Autoren evaluierten GenBO an herausfordernden Sequenzoptimierungsaufgaben, einschließlich Textoptimierung (Minimierung der Editierdistanz zu „ALOHA") und Protein-Design (Optimierung von Stabilität und solventzugänglicher Oberfläche sowie synthetischer Ehrlich-Funktionen).

Leistung: GenBO-Varianten, insbesondere diejenigen, die den Robusten Präferenzverlust (rPL) und den Ausgeglichenen Forward KL (bfKL) verwenden, erzielten eine wettbewerbsfähige oder überlegene Leistung im Vergleich zu starken Baselines, darunter CbAS, VSD (Variational Search Distributions) und LaMBO-2.
Effizienz: GenBO zeigte signifikante Laufzeitverbesserungen und war bei Textoptimierungsaufgaben aufgrund der Eliminierung des intermediären Surrogat-Anpassungsschritts etwa 3-mal schneller als VSD.
Robustheit: In Protein-Design-Aufgaben zeigten GenBO-Varianten eine schnelle Konvergenz bei der SASA-Aufgabe und bewältigten die anspruchsvollere Stabilitätsaufgabe vergleichbar mit anderen Methoden. Die Experimente unterstrichen, dass GenBO im Vergleich zu klassifikatorgesteuerten Baselines relativ weniger empfindlich gegenüber Schwellenwert-Annealing-Schemata ist.
Batch-Skalierung: Die Methode bewältigte erfolgreich große Batch-Größen ( $B=128$ ) in hochdimensionalen Proteinsequenzräumen ( $M=64$ ) und zeigte monotone Verbesserungen mit zunehmender Batch-Größe.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GenBO eine einfachere und skalierbarere Alternative zu mehrstufigen geführten Generationsmethoden für Black-Box-Optimierung bietet. Durch das Entfernen des intermediären Surrogatmodells reduziert GenBO die Pipeline auf das Lernen eines einzigen generativen Modells, wodurch Rechenressourcen eingespart und eine Quelle von Approximationsfehlern eliminiert werden.

Die Autoren positionieren GenBO als „allgemeines Rezept", das likelihood-freie BO mit modernen Techniken der generativen Modellierung vereint. Sie betonen, dass das Framework sich zwar derzeit auf Akquisitionsfunktionen konzentriert, die als erwartete Nutzen ausgedrückt werden können, die theoretischen Grundlagen jedoch Erweiterungen auf andere Bewertungskriterien und Modelltypen (z. B. Diffusionsmodelle, Flow Matching) zulassen. Die Arbeit legt nahe, dass eine direkte Inferenz über den optimalen Ort, angetrieben durch nutzungsbasierte Pseudo-Wahrscheinlichkeitsfaktoren, ein praktikabler und effizienter Weg zur Optimierung komplexer, hochdimensionaler Designräume ist.