🤖 machine learning

Gradient-Free Noise Optimization for Reward Alignment in Generative Models

Dieser Beitrag stellt ZeNO vor, ein gradientenfreies Framework, das Rauschen in generativen Modellen optimiert, indem es als Pfadintegral-Steuerungsproblem formuliert wird, und damit eine effektive Belohnungsausrichtung sowohl für stochastische als auch für deterministische Generatoren ohne Rückwärtspropagierung ermöglicht.

Ursprüngliche Autoren: Jeongsol Kim, Hongeun Kim, Jian Wang, Jong Chul Ye

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jeongsol Kim, Hongeun Kim, Jian Wang, Jong Chul Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine magische Kunstmaschine (eine generative KI), die aus einem einzigen, zufälligen Burst aus statischem Rauschen sofort ein Bild erzeugen kann. Diese Maschine ist schnell und von hoher Qualität, doch manchmal hört sie Ihre spezifischen Anweisungen nicht genau genug, oder das Ergebnis ist nicht so schön, wie Sie es möchten.

Normalerweise versuchen Wissenschaftler, dieses Problem zu beheben, indem sie die Maschine „lehren", indem sie ihre inneren Zahnräder (die Modellgewichte) mithilfe komplexer Mathematik anpassen. Doch dies ist langsam, teuer und manchmal unmöglich, wenn die Maschine eine „Black Box" ist (Sie können nicht hineinsehen) oder wenn das Kriterium, nach dem Sie das Bild bewerten (wie eine menschliche Meinung oder eine Regel für das Falten von Proteinen), nicht in mathematische Gleichungen zerlegt werden kann.

Hier kommt ZeNO (Zeroth-order Noise Optimization) ins Spiel.

Stellen Sie sich ZeNO nicht als Lehrer vor, der versucht, die Maschine zu reparieren, sondern als intelligenten Navigator, der den perfekten Startpunkt für die Reise sucht.

Die Kernidee: Die richtige Startlinie finden

Bei diesen KI-Modellen wird das endgültige Bild ausschließlich durch das allererste Stück „Rauschen" (Statik) bestimmt, das Sie ihr zuführen.

Der alte Weg (Gradientenbasiert): Stellen Sie sich vor, Sie versuchen, im Dunkeln den Gipfel eines Berges zu finden, indem Sie die Steigung unter Ihren Füßen ertasten. Sie machen einen Schritt, fühlen, wo es bergauf geht, und fahren fort. Doch wenn der Berg neblig ist (nicht differenzierbar) oder der Boden rutschig ist (komplexe Mathematik), könnten Sie in einem kleinen Hügel stecken bleiben oder von einer Klippe stürzen. Außerdem müssen Sie den Boden perfekt ertasten können, was nicht immer möglich ist.
Der ZeNO-Weg (Zeroth-Order): Stellen Sie sich vor, Sie stehen am Fuße des Berges, können aber die Steigung nicht ertasten. Stattdessen werfen Sie eine Menge Pfeile (zufällige Rauschvariationen) um Ihren aktuellen Standort herum. Sie bitten einen Richter (die Belohnungsfunktion), die Aussicht von jedem Landepunkt eines Pfeils zu bewerten.
- Wenn ein Pfeil an einer Stelle mit besserer Aussicht landet, machen Sie einen Schritt in diese Richtung.
- Wenn ein Pfeil an einer schlechteren Stelle landet, ignorieren Sie ihn.
- Sie wiederholen dies und passen Ihre Position ständig basierend darauf an, welche zufälligen Würfe die besten Bewertungen erhielten.

Das Geheimnis: Der „OU-Prozess" (Der Kompass)

Die Arbeit stellt einen cleveren Trick vor, den Ornstein-Uhlenbeck (OU)-Prozess.

Stellen Sie sich vor, Sie versuchen, zu einem Schatz zu laufen, aber ein starker Wind bläst Sie zurück zu Ihrem Startpunkt.
Wenn Sie einfach nur ziellos herumwandern, könnten Sie sich verirren. Wenn Sie dem Wind zu sehr widerstehen, könnten Sie sich die Beine brechen.
Der OU-Prozess ist wie eine intelligente Leine. Er lässt Sie genug herumwandern, um den Schatz zu finden (neue Rauschmuster zu erkunden), zieht Sie aber sanft zurück, damit Sie nicht so weit abschweifen, dass die Maschine aufhört, Sinn zu ergeben (die „vorab trainierte" Qualität bewahren). Dies stellt sicher, dass die KI immer noch gute Bilder macht, nur eben bessere.

Warum ist das eine große Sache?

Es funktioniert mit „Black Boxes": Sie müssen nicht wissen, wie die Maschine im Inneren funktioniert. Sie müssen nur in der Lage sein, ihr ein Bild zu zeigen und eine Bewertung zu erhalten. Das ist enorm wichtig für Dinge wie Proteindesign, bei denen die „Bewertung" komplexe biologische Simulationen beinhaltet, die mit Standardmathematik nicht rückgängig gemacht werden können.
Es ist ein „Ein-Schritt"-Wunder: Viele moderne KI-Generatoren sind „Ein-Schritt"-Systeme (sie erstellen ein Bild sofort). Alte Methoden verlangten von der Maschine, viele langsame Schritte zu unternehmen, um zu lernen. ZeNO funktioniert sofort, indem es das Startrauschen anpasst.
Es skaliert mit dem Aufwand: Wenn Sie mehr Rechenleistung haben, müssen Sie das KI-Modell nicht ändern. Sie werfen einfach mehr Pfeile (mehr zufällige Stichproben) und machen mehr Schritte. Die Arbeit zeigt, dass das bloße Investieren mehrerer Zeit in die Berechnung des besten Startrauschens zu besseren Ergebnissen führt.

Reale Tests in der Arbeit

Die Autoren testeten dies an:

Bildgeneratoren: Sie erstellten Bilder, die besser zu Textaufforderungen passten und ästhetischer aussahen, selbst bei Verwendung von „Ein-Schritt"-Generatoren, die normalerweise mit Feinabstimmungen zu kämpfen haben.
Proteinstrukturen: Dies ist der „schwere Modus". Sie nutzten ZeNO, um Proteine zu entwerfen, die sich korrekt falten. Da die „Belohnung" (faltet sich das Protein?) eine komplexe biologische Simulation ist, kann man sie nicht mit Standardmathematik reparieren. ZeNO behandelte die Simulation wie eine Black Box, warf zufällige Rauschvariationen und fand Startpunkte, die zu stabilen, faltbaren Proteinen führten.

Das Fazit

ZeNO ist eine Methode, um den Startpunkt eines KI-Generators anzupassen, um bessere Ergebnisse zu erzielen, ohne die KI neu trainieren oder ihre innere Mathematik verstehen zu müssen. Es ist wie der perfekte Winkel, um einen Pfeil zu werfen, damit er die Mitte trifft, selbst wenn Sie das Brett nicht sehen oder die Form des Pfeils nicht ändern können. Es funktioniert, indem es viele zufällige Variationen testet, sieht, welche die besten Bewertungen erhalten, und den Prozess sanft zu diesen Gewinnern lenkt.

Technisches Fazit: ZeNO (Zeroth-order Noise Optimization)

Problemstellung
Bestehende Methoden zur Reward-Ausrichtung für generative Modelle (z. B. Diffusions- und Flow-Modelle) verlassen sich typischerweise auf die Optimierung mehrstufiger stochastischer Trajektorien. Obwohl diese Ansätze für solche Settings effektiv sind, ist ihre Erweiterung auf deterministische oder einstufige Generatoren (z. B. Konsistenzmodelle, destillierte Diffusionsmodelle) schwierig, da diese die gleiche Trajektorienstruktur nicht natürlich offenlegen. Eine natürliche Alternative besteht darin, das Eingangsrauschen direkt zu optimieren. Standardbasierte, gradientenbasierte Rauschoptimierung erfordert jedoch eine Rückwärtspropagation sowohl durch den Generator als auch durch die Reward-Funktion. Dies schränkt die Anwendbarkeit auf differenzierbare Pipelines ein und kann unzuverlässig sein, wenn Gradienten zufällige lokale Sensitivitäten widerspiegeln statt sinnvoller semantischer Verbesserungen. Darüber hinaus sind viele praktische Reward-Funktionen (z. B. Protein-Designfähigkeit, kompositionelle Text-Bild-Ausrichtung) nicht differenzierbar oder Black-Box, was gradientenbasierte Methoden undurchführbar macht.

Methodik: ZeNO
Die Autoren schlagen ZeNO (Zeroth-order Noise Optimization) vor, ein gradientenfreies Framework, das die Rauschoptimierung als Problem der Pfadintegralsteuerung (PIC) formuliert. Die Kernidee besteht darin, die Evolution des Eingangsrauschens als steuerbaren stochastischen Prozess zu behandeln und ihn ausschließlich unter Verwendung von nullter Ordnung Reward-Bewertungen zu optimieren.

Formulierung der Pfadintegralsteuerung:
Die Methode modelliert die Rauschoptimierung als gesteuerte stochastische Differentialgleichung (SDE). Das Ziel ist es, die Rauschtrajektorie in Bereiche zu lenken, die hohe Reward-Terminalzustände liefern, während der Steuerungsaufwand regularisiert wird. Die optimale Steuerung $u^*(z, t)$ wird in einer Pfadintegralform abgeleitet:
$u^*(z, t) = \frac{\mathbb{E}_{z:t \to T} [\exp(r(G_\theta(z_T))/\lambda) d w_t]}{\mathbb{E}_{z:t \to T} [\exp(r(G_\theta(z_T))/\lambda)]}$
Entscheidend ist, dass dieser Schätzer nur von Terminalkostenbewertungen (Rewards) abhängt und keine Differentiation durch den Generator $G_\theta$ oder die Reward-Funktion $r$ erfordert.
Referenzdynamik (Ornstein–Uhlenbeck):
Um sicherzustellen, dass das aktualisierte Rauschen mit vortrainierten Generatoren kompatibel bleibt, übernimmt ZeNO den Ornstein–Uhlenbeck (OU)-Prozess als Referenzdynamik. Im Gegensatz zu SDEs mit explodierender Varianz erhält der OU-Prozess die gaußsche stationäre Verteilung $N(0, I)$ , was der Priorität der meisten vortrainierten Generatoren entspricht. Diese Wahl verbindet das Rausch-Update implizit mit Langevin-Dynamik, die auf eine reward-geneigte Verteilung $p^*(z) \propto p(z) \exp(r(G_\theta(z))/\lambda)$ abzielt.
Linearisierter Schätzer und Varianzreduktion:
Der Standard-Pfadintegralschätzer leidet aufgrund exponentieller Gewichtung unter hoher Varianz. Die Autoren führen eine linearisierte Approximation (Proposition 1) ein, indem sie den mittleren Reward $\bar{r}$ als Basislinie subtrahieren und den Exponentialterm unter der Annahme einer kleinen Reward-Varianz linearisieren:
$u^*(z_t, t) \approx \mathbb{E}[(r(G_\theta(z_T)) - \bar{r}) d w_t] / \lambda$
Dieser Schätzer stimmt mit dem Score-Funktions-Schätzer überein, der in Natural Evolution Strategies verwendet wird, und übertrifft empirisch exponentielle Varianten.
Einschrittige Vorhersage mit rollendem Horizont:
Um die Rechenkosten langer Rollouts zu vermeiden, verwendet ZeNO eine einschrittige Vorhersage mit rollendem Horizont ( $H=1$ ). In jeder Iteration werden $N$ gestörte Rauschkandidaten aus der Referenzdynamik gesampelt, vom Reward-Modell bewertet, und der linearisierte Steuerungs-Schätzer wird verwendet, um den aktuellen Rauschzustand zu aktualisieren. Dies ermöglicht ein Scaling zur Inferenzzeit durch Erhöhung der Anzahl der Partikel ( $N$ ) oder Iterationen ( $M$ ), ohne den Generator zu modifizieren.

Hauptbeiträge

Gradientenfreie Ausrichtung: ZeNO ermöglicht die Reward-Ausrichtung für deterministische und einstufige Generatoren, ohne eine Rückwärtspropagation durch den Generator oder das Reward-Modell zu erfordern.
Black-Box-Kompatibilität: Die Methode ist auf nicht differenzierbare und Black-Box-Reward-Funktionen anwendbar, ein Setting, in dem bestehende gradientenbasierte Rauschoptimierungsmethoden (z. B. ORIGEN, ReNO) versagen.
Theoretische Verbindung: Das Framework stellt eine theoretische Verbindung zwischen nullter Ordnung Rauschoptimierung und Langevin-Sampling her, das auf eine reward-geneigte Verteilung abzielt, und liefert eine fundierte Begründung für die Update-Regel.
Scaling zur Inferenzzeit: ZeNO führt einen flexiblen Mechanismus ein, um Rechenbudget (via $N$ und $M$ ) gegen verbesserte Reward-Leistung zu tauschen.

Experimentelle Ergebnisse
Die Autoren evaluieren ZeNO über diverse Generatoren (SDXL-Turbo, DMD2, LCM, DFGAN) und Reward-Funktionen (Ästhetik-Score, PickScore, GenEval und Protein-Designfähigkeit).

Bildgenerierung: ZeNO verbessert die Reward-Scores über alle getesteten Generatoren und Reward-Typen hinweg konsistent. Es erreicht eine konkurrenzfähige oder überlegene Leistung im Vergleich zu gradientenbasierten Baselines (ORIGEN, $\Psi$ -Sampler) und Best-of-N-Sampling. Bemerkenswerterweise verschlechterten sich gradientenbasierte Methoden beim LCM-Generator unter die unkontrollierte Baseline, während ZeNO eine Verbesserung beibehielt, was die Robustheit nullter Ordnung Methoden gegenüber lokalen Gradientensensitivitäten unterstreicht.
Nicht differenzierbare Rewards: Im GenEval-Aufgabe (Objektzählung und -positionierung), bei der Rewards nicht differenzierbar sind, übertraf ZeNO Best-of-N bei Zählungsaufgaben und zeigte, dass iterative Rauschoptimierung mehr Wert aus demselben Rechenbudget extrahiert als unabhängiges Sampling.
Proteinstruktur-Generierung: Angewendet auf einen einstufigen Riemannischen MeanFlow (RMF) Protein-Rückgrat-Generator verbesserte ZeNO die Designfähigkeit (gemessen durch selbstkonsistente RMSD) signifikant. Es erreichte Designfähigkeitsniveaus, die mit einer 5-stufigen RMF-Baseline vergleichbar waren, unter Verwendung nur einer einzigen Flow-Bewertung, was seine Fähigkeit demonstriert, reduzierte Sampling-Schritte durch Rauschoptimierung zu kompensieren.
Vielfalt: Analysen mit dem Vendi-Score zeigen, dass ZeNO den Reward verbessert und gleichzeitig die Probenvielfalt erhält, wodurch der Kollaps auf einen einzigen Modus vermieden wird, der häufig bei gradientenbasierten Ansätzen zu beobachten ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ZeNO eine praktische und theoretisch fundierte Lösung für die Ausrichtung der wachsenden Klasse effizienter, deterministischer und einstufiger generativer Modelle mit Reward-Funktionen bietet. Seine primäre Bedeutung liegt in seiner Fähigkeit, in Settings zu operieren, in denen Gradienten nicht verfügbar oder unzuverlässig sind, wie z. B. bei Black-Box-Reward-Modellen oder komplexen biologischen Designaufgaben. Durch die Formulierung der Rauschoptimierung als Problem der Pfadintegralsteuerung bietet ZeNO ein skalierbares, generator-agnostisches Framework für die Ausrichtung zur Inferenzzeit, das kein Nachtrainieren oder Modifizieren des zugrunde liegenden generativen Modells erfordert. Die Autoren weisen auf eine Einschränkung hin: Die Methode erfordert mehrere Reward-Bewertungen pro Aktualisierungsschritt, was rechenintensiv sein kann, wenn das Reward-Modell selbst teuer ist.