🤖 machine learning

Gradient-Free Noise Optimization for Reward Alignment in Generative Models

Dit artikel introduceert ZeNO, een gradiëntvrij raamwerk dat ruis in generatieve modellen optimaliseert door dit te formuleren als een besturingsprobleem met padintegralen, waardoor effectieve beloningsuitlijning mogelijk wordt voor zowel stochastische als deterministische generatoren zonder backpropagation.

Oorspronkelijke auteurs: Jeongsol Kim, Hongeun Kim, Jian Wang, Jong Chul Ye

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jeongsol Kim, Hongeun Kim, Jian Wang, Jong Chul Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische kunstmachine (een generatieve AI) hebt die direct een afbeelding kan maken uit een enkele, willekeurige uitbarsting van statische ruis. Deze machine is snel en van hoge kwaliteit, maar soms luistert hij niet helemaal naar je specifieke instructies, of is het resultaat niet zo mooi als je zou willen.

Meestal proberen wetenschappers dit op te lossen door de machine te "leren" door zijn interne tandwielen (de modelgewichten) aan te passen met complexe wiskunde. Maar dit is traag, duur en soms onmogelijk als de machine een "black box" is (je kunt er niet in kijken) of als het criterium waarmee je de afbeelding wilt beoordelen (zoals een menselijke mening of een vouwingsregel voor eiwitten) niet in wiskundige vergelijkingen kan worden omgezet.

Maak kennis met ZeNO (Zeroth-order Noise Optimization).

Zie ZeNO niet als een leraar die probeert de machine te repareren, maar als een slimme navigator die probeert het perfecte startpunt voor de reis te vinden.

Het Kernidee: De Juiste Startlijn Vinden

In deze AI-modellen wordt de uiteindelijke afbeelding volledig bepaald door het allereerste stukje "ruis" (statische ruis) dat je erin voert.

De Oude Manier (Op Gradiënten Gebaseerd): Stel je voor dat je probeert de top van een berg in het donker te vinden door de helling onder je voeten te voelen. Je zet een stap, voelt welke kant omhoog is, en gaat door. Maar als de berg mistig is (niet-differentieerbaar) of de grond glad is (complexe wiskunde), kun je vastlopen in een kleine heuvel of van een klif vallen. Bovendien moet je de grond perfect kunnen voelen, wat niet altijd mogelijk is.
De ZeNO-Manier (Zeroth-Order): Stel je voor dat je aan de voet van de berg staat, maar je kunt de helling niet voelen. In plaats daarvan gooi je een hoop pijlen (willekeurige variaties in ruis) rond je huidige positie. Je vraagt een jury (de beloningsfunctie) om het uitzicht te beoordelen vanaf de landingsplek van elk pijl.
- Als een pijl landt op een plek met een beter uitzicht, zet je een stap in die richting.
- Als een pijl landt op een slechtere plek, negeer je hem.
- Je herhaalt dit, en past je positie voortdurend aan op basis van welke willekeurige worpen de beste scores opleverden.

Het Geheime Ingrediënt: Het "OU-proces" (Het Kompas)

Het artikel introduceert een slimme truc genaamd het Ornstein-Uhlenbeck (OU)-proces.

Stel je voor dat je probeert naar een schat te lopen, maar er waait een sterke wind die je terugduwt naar je startpunt.
Als je gewoon willekeurig rondloopt, kun je verdwalen. Als je te hard tegen de wind vecht, kun je je benen breken.
Het OU-proces is als een slim leiband. Het laat je genoeg dwalen om de schat te vinden (nieuwe ruispatronen verkennen), maar trekt je zachtjes terug zodat je niet zo ver afdwaalt dat de machine geen zinvolle dingen meer maakt (het behoud van de "voorgetrainde" kwaliteit). Dit zorgt ervoor dat de AI nog steeds goede afbeeldingen maakt, alleen maar betere.

Waarom is dit een grote zaak?

Het Werkt op "Black Boxes": Je hoeft niet te weten hoe de machine van binnen werkt. Je moet alleen in staat zijn om hem een afbeelding te tonen en een score te krijgen. Dit is enorm belangrijk voor dingen zoals eiwitontwerp, waarbij de "score" complexe biologische simulaties omvat die onmogelijk te achterhalen zijn met standaardwiskunde.
Het is een "Eén-staps" Wonder: Veel moderne AI-generatoren zijn "één-staps" (ze maken direct een afbeelding). Oude methoden vereisten dat de machine veel trage stappen nam om te leren. ZeNO werkt direct door de startruis aan te passen.
Het Schaalbaar is met Inspanning: Als je meer rekenkracht hebt, hoef je het AI-model niet te veranderen. Je gooit gewoon meer pijlen (meer willekeurige steekproeven) en zet meer stappen. Het artikel toont aan dat simpelweg meer tijd besteden aan het berekenen van de beste startruis betere resultaten oplevert.

Realistische Tests in het Artikel

De auteurs testten dit op:

Afbeeldingsgeneratoren: Ze maakten afbeeldingen die beter overeenkwamen met tekstprompten en er esthetischer uitzagen, zelfs met "één-staps" generatoren die normaal gesproken moeite hebben met fijnafstemming.
Eiwitstructuren: Dit is de "harde modus". Ze gebruikten ZeNO om eiwitten te ontwerpen die correct vouwen. Omdat de "beloning" (vouwt het eiwit wel?) een complexe biologische simulatie is, kun je geen standaardwiskunde gebruiken om het op te lossen. ZeNO behandelde de simulatie als een black box, gooide willekeurige variaties in ruis, en vond startpunten die resulteerden in stabiele, vouwbare eiwitten.

De Conclusie

ZeNO is een methode om het startpunt van een AI-generator aan te passen om betere resultaten te krijgen, zonder dat je de AI opnieuw hoeft te trainen of zijn interne wiskunde hoeft te begrijpen. Het is als het vinden van de perfecte hoek om een pijl te gooien zodat hij de kern raakt, zelfs als je het bord niet kunt zien of de vorm van de pijl niet kunt veranderen. Het werkt door veel willekeurige variaties te testen, te kijken welke de beste scores opleveren, en het proces zachtjes naar die winnaars te sturen.

Technische Samenvatting: ZeNO (Zeroth-order Noise Optimization)

Probleemstelling
Bestaande methoden voor reward-afstemming van generatieve modellen (bijv. diffusie- en flow-modellen) vertrouwen doorgaans op het optimaliseren van meervoudige stochastische trajecten. Hoewel deze effectief zijn voor dergelijke scenario's, zijn dergelijke benaderingen moeilijk uit te breiden tot deterministische of één-staps-generatoren (bijv. consistentiemodellen, gedistilleerde diffusiemodellen), die niet van nature dezelfde trajectstructuur blootleggen. Een natuurlijk alternatief is het direct optimaliseren van de invoerruis. Standaard op gradiënten gebaseerde ruisoptimalisatie vereist echter backpropagatie door zowel de generator als de rewardfunctie. Dit beperkt de toepasbaarheid tot differentieerbare pipelines en kan onbetrouwbaar zijn wanneer gradiënten spurious lokale sensitiviteiten weerspiegelen in plaats van betekenisvolle semantische verbeteringen. Bovendien zijn veel praktische rewardfuncties (bijv. ontwerpbaarheid van eiwitten, compositie van tekst-afbeelding-afstemming) niet-differentieerbaar of black-box, waardoor op gradiënten gebaseerde methoden onuitvoerbaar worden.

Methodologie: ZeNO
De auteurs stellen ZeNO (Zeroth-order Noise Optimization) voor, een gradiëntvrij kader dat ruisoptimalisatie formuleert als een path-integraal besturingsprobleem (PIC). De kernidee is om de evolutie van de invoerruis te behandelen als een controleerbaar stochastisch proces, en deze te optimaliseren met uitsluitend zeroth-order reward-evaluaties.

Path-Integraal Besturingsformulering:
De methode modelleert ruisoptimalisatie als een gecontroleerde Stochastische Differentiaalvergelijking (SDE). Het doel is om het ruis-traject te sturen naar gebieden die hoge-reward eindtoestanden opleveren, terwijl de besturingsinspanning wordt geregulariseerd. De optimale besturing $u^*(z, t)$ wordt afgeleid in een path-integraalvorm:
$u^*(z, t) = \frac{\mathbb{E}_{z:t \to T} [\exp(r(G_\theta(z_T))/\lambda) d w_t]}{\mathbb{E}_{z:t \to T} [\exp(r(G_\theta(z_T))/\lambda)]}$
Cruciaal is dat deze schatter alleen afhankelijk is van evaluaties van eindkosten (rewards) en geen differentiatie vereist door de generator $G_\theta$ of de rewardfunctie $r$ .
Referentiedynamiek (Ornstein–Uhlenbeck):
Om ervoor te zorgen dat de bijgewerkte ruis compatibel blijft met vooringestelde generators, adopteert ZeNO het Ornstein–Uhlenbeck (OU)-proces als referentiedynamiek. In tegenstelling tot SDE's met een exploderende variantie, behoudt het OU-proces de Gaussische stationaire verdeling $N(0, I)$ , wat overeenkomt met de prior van de meeste vooringestelde generators. Deze keuze verbindt de ruisupdate impliciet met Langevin-dynamiek die een reward-getilde verdeling $p^*(z) \propto p(z) \exp(r(G_\theta(z))/\lambda)$ target.
Gelineariseerde Schatter en Variatiereductie:
De standaard path-integraalschatter lijdt onder hoge variantie door exponentiële weging. De auteurs introduceren een gelineariseerde benadering (Propositie 1) door de gemiddelde reward $\bar{r}$ als baseline af te trekken en de exponentiële term te lineariseren onder de aanname van een kleine rewardvariantie:
$u^*(z_t, t) \approx \mathbb{E}[(r(G_\theta(z_T)) - \bar{r}) d w_t] / \lambda$
Deze schatter komt overeen met de scorefunctieschatter die wordt gebruikt in Natural Evolution Strategies en presteert empirisch beter dan exponentiële varianten.
Eén-staps Receding-Horizon:
Om de rekentijd van lange-horizon rollouts te vermijden, hanteert ZeNO een één-staps receding-horizon-benadering ( $H=1$ ). Bij elke iteratie worden $N$ verstoord ruis-candidaten gesampled uit de referentiedynamiek, geëvalueerd door het rewardmodel, en wordt de gelineariseerde besturingsschatting gebruikt om de huidige ruisstaat bij te werken. Dit maakt schaling tijdens inferentie mogelijk door het aantal deeltjes ( $N$ ) of iteraties ( $M$ ) te verhogen zonder de generator aan te passen.

Belangrijkste Bijdragen

Gradiëntvrije Afstemming: ZeNO maakt reward-afstemming mogelijk voor deterministische en één-staps-generatoren zonder backpropagatie door de generator of het rewardmodel te vereisen.
Black-Box Compatibiliteit: De methode is toepasbaar op niet-differentieerbare en black-box rewardfuncties, een scenario waarin bestaande op gradiënten gebaseerde ruisoptimalisatiemethoden (bijv. ORIGEN, ReNO) falen.
Theoretische Connectie: Het kader vestigt een theoretisch verband tussen zeroth-order ruisoptimalisatie en Langevin-sampling die een reward-getilde verdeling target, en biedt een principiële rechtvaardiging voor de update-regel.
Schaling tijdens Inferentie: ZeNO introduceert een flexibel mechanisme om de rekentijd (via $N$ en $M$ ) af te wisselen tegen verbeterde reward-prestaties.

Experimentele Resultaten
De auteurs evalueren ZeNO over diverse generators (SDXL-Turbo, DMD2, LCM, DFGAN) en rewardfuncties (Aesthetic score, PickScore, GenEval, en ontwerpbaarheid van eiwitten).

Afbeeldingsgeneratie: ZeNO verbetert consistent de rewardscores over alle geteste generators en rewardtypes. Het bereikt concurrerende of superieure prestaties ten opzichte van op gradiënten gebaseerde baselines (ORIGEN, $\Psi$ -Sampler) en Best-of-N-sampling. Opmerkelijk is dat bij de LCM-generator op gradiënten gebaseerde methoden degradeerden onder de ongecontroleerde baseline, terwijl ZeNO verbetering behield, wat de robuustheid van zeroth-order methoden tegenover lokale gradiënt-sensitiviteiten benadrukt.
Niet-differentieerbare Rewards: Bij de GenEval-taak (objecttelling en positionering), waar rewards niet-differentieerbaar zijn, presteerde ZeNO beter dan Best-of-N bij telopdrachten, wat aantoont dat iteratieve ruisoptimalisatie meer waarde haalt uit hetzelfde rekentijd-budget dan onafhankelijke sampling.
Generatie van Eiwitstructuren: Toegepast op een één-staps Riemannian MeanFlow (RMF) eiwit-ruggengraat-generator, verbeterde ZeNO de ontwerpbaarheid aanzienlijk (gemeten door self-consistency RMSD). Het bereikte ontwerpbaarheidsniveaus die vergelijkbaar waren met een 5-staps RMF-baseline, maar met slechts één flow-evaluatie, wat zijn vermogen demonstreert om verminderde sampling-stappen te compenseren via ruisoptimalisatie.
Diversiteit: Analyse met de Vendi Score geeft aan dat ZeNO de reward verbetert terwijl de steekproefdiversiteit behouden blijft, en zo het instorten naar een enkele modus voorkomt, zoals vaak wordt gezien bij op gradiënten gebaseerde benaderingen.

Betekenis en Beweringen
Het artikel beweert dat ZeNO een praktische en theoretisch onderbouwde oplossing biedt voor het afstemmen van de groeiende klasse van efficiënte, deterministische en één-staps generatieve modellen op rewardfuncties. De primaire betekenis ligt in het vermogen om te opereren in scenario's waar gradiënten niet beschikbaar of onbetrouwbaar zijn, zoals bij black-box rewardmodellen of complexe biologische ontwerptaken. Door ruisoptimalisatie te formuleren als een path-integraal besturingsprobleem, biedt ZeNO een schaalbaar, generator-onafhankelijk kader voor afstemming tijdens inferentie dat geen hertraining of wijziging van het onderliggende generatieve model vereist. De auteurs merken een beperking op: de methode vereist meerdere reward-evaluaties per update-stap, wat rekentijd-intensief kan zijn als het rewardmodel zelf duur is.