📊 statistics

Sample-Efficient Optimisation over the Outputs of Generative Models

Dieser Beitrag stellt O3 vor, eine modellunabhängige Methode, die eine stichproben-effiziente Black-Box-Optimierung über kontinuierlich-variable generative Modelle ermöglicht, indem sie niedrigdimensionale, trainingsfreie surrogate latente Räume nutzt, um überlegene aufgaben spezifische Stichproben zu finden, ohne das zugrundeliegende Modell neu zu trainieren.

Ursprüngliche Autoren: Samuel Willis, Paul Duckworth, Jack Simons, Aleksandra Kalisz, Krisztina Sinkovics, Noam Ghenassia, Shikha Surana, Henry T. Oldroyd, Alexandru I. Stere, Dragos D Margineantu, Carl Henrik Ek, Henry Mos

Veröffentlicht 2026-05-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Samuel Willis, Paul Duckworth, Jack Simons, Aleksandra Kalisz, Krisztina Sinkovics, Noam Ghenassia, Shikha Surana, Henry T. Oldroyd, Alexandru I. Stere, Dragos D Margineantu, Carl Henrik Ek, Henry Moss, Erik Bodin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Eine Nadel im Heuhaufen finden

Stellen Sie sich eine magische, unendliche Bibliothek (ein generatives KI-Modell) vor, die jedes Bild, jeden Song oder jede Proteinstruktur erstellen kann, die Sie sich vorstellen können. Sie bitten sie, „eine Katze zu zeichnen", und sie tut es. Sie bitten um „eine Katze mit einem Hut", und sie macht das auch.

Aber was, wenn Sie nicht nur irgendeine Katze wollen? Was, wenn Sie eine Katze benötigen, die spezifisch orange ist, auf einem roten Teppich schläft und zum Mond schaut?

Wenn Sie die Bibliothek einfach weiter bitten, „eine Katze zu zeichnen", und hoffen, dass eine dieser Millionen zufälligen Katzen Ihrer spezifischen Beschreibung entspricht, könnten Sie ewig warten. Dies nennt man Sampling (Stichprobenziehung). Es ist, als würde man einen Pfeil auf ein riesiges Brett werfen und hoffen, die winzige Mitte zu treffen. Es ist langsam, teuer und ineffizient.

Der alte Weg: Versuch, die Bibliothek zu navigieren

Früher versuchten Wissenschaftler, dies zu lösen, indem sie eine Karte des „Hinterzimmers" der Bibliothek (des latenten Raums) erstellten. Sie dachten: „Wenn wir die richtigen Koordinaten im Hinterzimmer finden, können wir direkt zur orangefarbenen Katze laufen."

Allerdings sind moderne KI-Bibliotheken (wie Diffusionsmodelle) so riesig und komplex, dass ihre „Hinterzimmer" verwirrende Labyrinthe sind. Wenn Sie versuchen, sie blind zu durchqueren, landen Sie oft an einer Wand oder in einem Raum, der Müll produziert (wie einen schwarzen Bildschirm oder einen verzerrten Klumpen).

Die neue Lösung: O3 (die „Ersatzkarte")

Die Autoren dieses Papiers haben eine neue Methode namens O3 erfunden. Denken Sie an O3 als den Bau einer kleinen, überschaubaren 2D-Karte (eines „Ersatz-latenten Raums"), die auf der riesigen, verwirrenden Bibliothek aufliegt.

So funktioniert es, Schritt für Schritt:

1. Die „Samen"-Zutaten

Anstatt zu versuchen, die ganze Bibliothek zu verstehen, beginnt O3 mit nur wenigen spezifischen Beispielen. Nehmen wir an, Sie wollen diese orange Katze auf dem roten Teppich.

Sie finden drei Bilder, die nahe an dem liegen, was Sie wollen (vielleicht hat eines eine orange Katze, eines einen roten Teppich und eines den Mond).
Dies sind Ihre „Seed Latents" (Samen-Latenzen). Sie sind wie drei spezifische Zutaten, die Sie in Ihrer Küche haben.

2. Der „Blender" (der Ersatzraum)

O3 erstellt ein kleines, einfaches Bedienfeld (ein niedrigdimensionales Gitter), auf dem Sie diese drei Samen mischen können.

Stellen Sie sich einen Mixer vor, bei dem Sie die Regler so justieren können, dass Sie 50 % der orangefarbenen Katze, 30 % des roten Teppichs und 20 % des Mondes mischen.
Dieser „Mixer" ist der Ersatzraum. Er ist winzig und leicht zu navigieren, im Gegensatz zur riesigen Bibliothek.

3. Der „magische Übersetzer"

Das Geheimnis des Papiers ist ein spezieller mathematischer Trick (eine Ersatzkarte), der Ihr einfaches Drehen der Regler im Mixer in eine gültige Anfrage für die riesige Bibliothek übersetzt.

Wenn Sie die Regler drehen, vermischt O3 die Bilder nicht einfach zufällig. Es verwendet eine präzise Formel, um sicherzustellen, dass die Bibliothek die Anfrage versteht und ein realistisches Bild produziert.
Kritisch: Sie müssen die Bibliothek nicht neu trainieren oder ihr etwas Neues beibringen. Es funktioniert einfach mit der Bibliothek, die Sie bereits haben.

Warum dies ein Game-Changer ist

Das Papier behauptet drei Hauptvorteile, einfach erklärt:

1. Es ist ein „Trainings-freier" Shortcut
Die meisten anderen Methoden erfordern, dass Sie der KI eine neue Fähigkeit beibringen (Feinabstimmung), um Ihre spezifische Katze zu finden. Das kostet viel Zeit und Geld. O3 ist wie eine Universalfernbedienung. Sie müssen den Fernseher nicht neu bauen; Sie brauchen nur die richtige Fernbedienung, um den gewünschten Kanal sofort zu finden.

2. Es findet bessere Ergebnisse schneller
Die Autoren haben dies an Bildern und Protein-Designs (den Bausteinen des Lebens) getestet.

Der Test: Sie baten die KI, Bilder zu finden, die sehr spezifischen, versteckten Beschreibungen entsprachen.
Das Ergebnis: Mit O3 fanden sie „perfekte" Treffer in nur wenigen Versuchen. Mit der alten „Pfeile werfen"-Methode hätten sie Tausende von Versuchen benötigt, um dasselbe zu finden.
Die Analogie: Wenn das Finden des perfekten Bildes wie das Finden eines bestimmten Buches in einer Bibliothek ist, dann besteht der alte Weg darin, jedes Buch im Regal zu lesen. O3 ist wie ein Bibliothekar, der genau weiß, welche drei Bücher man mischen muss, um Ihr neues Buch sofort zu schreiben.

3. Es funktioniert bei allem
Die Methode ist nicht wählerisch. Sie zeigten, dass es funktioniert bei:

Bildern (Zeichnen von Katzen und Autos).
Audio (Musik machen).
Video (Erstellen kurzer Clips).
Proteinen (Design von Molekülen für die Wissenschaft).
Es ist wie ein universeller Schlüssel, der zu vielen verschiedenen Schlössern passt.

Die „magische" Mathematik (vereinfacht)

Das Papier erwähnt komplexe Mathematik über „Kugeln" und „Kosinus-Ähnlichkeit". Hier ist die einfache Version:

Stellen Sie sich das „Hinterzimmer" der Bibliothek als eine riesige Kugel vor.
Wenn Sie sich auf der Oberfläche dieser Kugel ein winziges Stück bewegen, ändert sich das Bild nur ein winziges Stück.
O3 flacht diese gekrümmte Kugel in ein flaches, quadratisches Stück Papier ab (den Ersatzraum), damit Sie Standardwerkzeuge verwenden können, um den besten Punkt zu suchen. Es ist wie das Abflachen eines Globus zu einer Karte, damit Sie eine gerade Linie zu Ihrem Ziel ziehen können.

Zusammenfassung

O3 ist ein Werkzeug, das es Ihnen ermöglicht, einige „gute Beispiele" zu nehmen und daraus eine kleine, leicht durchsuchbare Karte zu erstellen. Diese Karte leitet eine leistungsstarke KI an, genau das zu erstellen, was Sie wollen, ohne dass die KI neu trainiert werden muss oder auf zufällige Vermutungen warten muss. Es verwandelt ein Problem des „Suchens nach einer Nadel im Heuhaufen" in das „Mischen von drei Zutaten, um einen perfekten Kuchen zu backen".

Was das Papier nicht behauptet:

Es behauptet nicht, neue Arten von KI zu schaffen.
Es behauptet nicht, Sicherheitsprobleme zu beheben (wenn die KI schlechte Dinge herstellen kann, kann O3 auch helfen, diese schlechten Dinge schneller zu finden).
Es behauptet nicht, bei jedem möglichen Problem zu funktionieren, aber es funktioniert bei den spezifischen Arten von „Black-Box"-Problemen, bei denen Sie die Mathematik innerhalb der KI nicht sehen können, sondern nur die Ergebnisse.

Technische Zusammenfassung: Stichproben-effiziente Optimierung über die Ausgaben generativer Modelle (O3)

Problemstellung

Moderne generative KI-Modelle, insbesondere Diffusions- und Flow-Matching-Modelle, sind hervorragend darin, aus komplexen Datenverteilungen zu sampeln. Viele wissenschaftliche und ingenieurtechnische Anwendungen erfordern jedoch mehr als zufälliges Sampling; sie verlangen eine Suche innerhalb der Verteilung des Modells, um Stichproben zu finden, die spezifische, oft teure Black-Box-Zielfunktionen optimieren (z. B. Protein-Stabilität, Prompt-Ausrichtung).

Traditionelle Ansätze für diese „Optimierung im latenten Raum" (Latent Space Optimisation, LSO) stoßen bei der Anwendung auf moderne stochastische Interpolanten-Modelle auf erhebliche Hürden:

Dimensionalität: Im Gegensatz zu Variational Autoencodern (VAEs) operieren Diffusions- und Flow-Matching-Modelle oft in latenten Räumen mit Dimensionen, die mit den Daten selbst vergleichbar sind, was eine direkte Optimierung unlösbar macht.
Statistische Inkongruenz: Naive lineare Kombinationen latenter Vektoren verletzen häufig die statistischen Eigenschaften, die vom generativen Modell gefordert werden, was zu schlechten oder unplausiblen Ausgaben führt.
Kosten für Neu-Training: Bestehende Methoden zur Optimierung dieser Modelle erfordern oft ein Fine-Tuning des generativen Modells selbst oder das Training auxiliary Modelle, was rechenintensiv ist und die Generalisierbarkeit einschränkt.

Methodik: O3 (Optimierung über die Ausgaben generativer Modelle)

Die Arbeit schlägt O3 vor, ein Framework für stichproben-effiziente Black-Box-Optimierung, das direkt auf den Ausgaben vortrainierter kontinuierlicher Variablen-generativer Modelle operiert, ohne Neu-Training oder Fine-Tuning. Die Kerninnovation ist die Konstruktion surrogater latenter Räume.

1. Surrogat-Late-Räume

O3 konstruiert einen niedrigdimensionalen, beschränkten euklidischen Suchraum $U$ , der auf gültige, hochwertige Generationen abbildet. Der Prozess umfasst drei Schlüsselschritte:

Seed-Latente: Die Methode beginnt mit der Auswahl von $K$ „Seed"-latenten Vektoren ( $z_1, \dots, z_K$ ) aus der latenten Verteilung des Modells. Diese Seeds können zufällig ausgewählt, basierend auf hohen Scores gefiltert oder durch Inversion bekannter Datenpunkte gewonnen werden.
Lineare Kombination mit statistischer Erhaltung: Um sicherzustellen, dass generierte Stichproben innerhalb des zuverlässigen Betriebsbereichs des Modells bleiben, setzt O3 Latent Optimal Linear combinations (LOL) ein. Anstatt willkürlicher linearer Kombinationen konstruiert es neue Latente $z^*$ als Einheitsnorm-lineare Kombinationen der Seeds:
$z^* = \sum_{i=1}^K w_i z_i \quad \text{wobei} \quad \sum w_i^2 = 1$
Diese Einschränkung stellt sicher, dass der resultierende Latent $z^*$ die vom generativen Modell erwartete statistische Verteilung (z. B. $N(0, I)$ ) beibehält und so die „Inkongruenz" verhindert, die Methoden wie REMBO plagt.
Surrogat-Karte ( $\phi_w$ ): Um die Redundanz zu vermeiden, denselben Latenten mit verschiedenen skalaren Vielfachen von Gewichten darzustellen, und um eine Standard-Optimierung zu erleichtern, werden die Einheitsnorm-Gewichte aus einem beschränkten euklidischen Raum $U = [0, 1]^{K-1}$ $U = [0, 1]^{K - 1}$ auf den positiven Orthanten der Einheitshypersphäre $S^{K-1}_+$ $S_{+}^{K - 1}$ abgebildet.
- Die Arbeit nutzt eine Variante der Knothe–Rosenblatt (KR)-Karte. Diese Bijektion flacht die Hypersphäre ab und ermöglicht es Standard-Black-Box-Optimierern (wie Bayesscher Optimierung oder CMA-ES), in einem einfachen euklidischen Raum zu operieren, während die geometrische Struktur (Kosinus-Ähnlichkeit) des latenten Raums erhalten bleibt.

2. Arbeitsablauf

Initialisierung: Auswahl von $K$ Seed-Latenten.
Optimierung: Ausführung eines Standard-Optimierers (z. B. BO, CMA-ES) im Surrogatraum $U$ .
Generierung: Für jeden Kandidaten $u \in U$ werden die Gewichte $w = \phi_w(u)$ berechnet, der Latent $z^* = \sum w_i z_i$ ermittelt und $x = g(z^*)$ decodiert.
Auswertung: Bewertung von $x$ mittels der Black-Box-Zielfunktion.

Hauptbeiträge

Modellagnostisches Framework: O3 ist auf jedes kontinuierliche Variablen-generative Modell mit einer für Interpolation geeigneten latenten Verteilung anwendbar (z. B. Diffusion, Flow-Matching) und erfordert keine Modifikation des vortrainierten Modells.
Statistische Validität: Durch die Erzwingung von Einheitsnorm-Beschränkungen bei Seed-Kombinationen garantiert O3, dass Suchvorschläge den latenten Statistiken des generativen Modells entsprechen, eine Anforderung, die von Bodin et al. [5] für zuverlässige Generation identifiziert wurde.
Surrogat-Geometrie: Die Einführung der KR-Karte bietet einen beschränkten, unbeschränkten euklidischen Suchraum, der die Ähnlichkeitsstruktur des latenten Mannigfaltigkeit erhält und die Verwendung Standard-Optimierer ermöglicht.
Keine Neu-Trainingskosten: Im Gegensatz zu Methoden, die Fine-Tuning (z. B. DPO, Adjoint Matching) oder auxiliary Modelle erfordern, verursacht O3 vernachlässigbare Rechenkosten über die Standardgenerierung hinaus.

Experimentelle Ergebnisse

Die Autoren validieren O3 in Aufgaben zur Bild-, Audio-, Video- und Proteindesign:

Bildgenerierung (Flux & Stable Diffusion):
- O3 übertrifft das Standard-„Best-of-N"-Sampling und Methoden, die latente Statistiken nicht erhalten (wie REMBO), deutlich.
- In hochdimensionalen Surrogaträumen (z. B. 89D) findet O3 mit Bayesscher Optimierung wesentlich höher bewertete Bilder als niedrigdimensionale Alternativen oder zufällige Suche.
- O3 erreicht eine Leistung, die mit feinabgestimmten Modellen (z. B. Importance Fine-tuning, DPOK) vergleichbar ist, ohne die damit verbundenen Trainingskosten.
Proteindesign (BOLTZ-2 & RFDIFFUSION):
- Konformations-Biasing: Beim Biasing von BOLTZ-2 auf eine spezifische Calmodulin-Konformation (1CLL) übertrifft O3 FK-Steering und DPO bei niedrigen Oracle-Budgets ( $N \le 100$ ) und bleibt bei höheren Budgets konkurrenzfähig, alles ohne Fine-Tuning.
- De-novo-Design: Für die Generierung von 600-Residuen-Proteinen mit RFDIFFUSION liefert Standard-Sampling fast nie Designs, die die Wiederherstellungskriterien erfüllen (RMSE < 2,0 Å). O3 findet mit CMA-ES im Surrogatraum zuverlässig erfolgreiche Designs (medianer RMSE ~1,08 Å), selbst bei zufälligen Seed-Latenten.
Generalisierung: Die Methode konstruiert erfolgreich glatte, niedrigdimensionale Mannigfaltigkeiten für Audio (StableAudio2.0) und Video (HunyuanVideo) und demonstriert so eine modalsübergreifende Anwendbarkeit.

Bedeutung und Behauptungen

Die Arbeit positioniert O3 als allgemeine „Plug-and-Play"-Schicht zur Optimierung vortrainierter generativer Modelle. Ihre primäre Bedeutung liegt in der Entkopplung des Suchprozesses vom Modell-Training.

Effizienz: Sie ermöglicht eine hochstichproben-effiziente Optimierung für teure, nicht-differenzierbare Zielfunktionen (häufig in Wissenschaft und Ingenieurwesen), ohne die massiven Rechenkosten des Neu-Trainings oder Fine-Tunings großer Modelle.
Zugänglichkeit: Durch die Beseitigung der Notwendigkeit einer aufgaben spezifischen Modellanpassung senkt O3 die Hürde für Benutzer, generative Modelle auf spezifische wissenschaftliche oder ingenieurtechnische Ziele hin zu steuern.
Robustheit: Die Methode stützt sich auf die geometrischen Eigenschaften des latenten Raums anstatt auf das Erlernen neuer Parameter, wodurch sichergestellt wird, dass die Optimierung im „sicheren" Bereich des vortrainierten Modells bleibt.

Die Autoren schließen, dass surrogat-late Räume einen löslichen, strukturierten Mannigfaltigkeit für die Optimierung über diverse Modalitäten hinweg bieten und eine praktische Alternative zum Fine-Tuning für Black-Box-Optimierungsaufgaben darstellen. Als zukünftige Arbeiten werden adaptive Seed-Auswahl und Multi-Objective-Optimierung vorgeschlagen.