🤖 machine learning

Step-level Denoising-time Diffusion Alignment with Multiple Objectives

Dit artikel introduceert MSDDA, een hertrainingsvrij framework dat door middel van een stap-voor-stap RL-formulering en een gesloten vorm-oplossing diffusion-modellen effectief aligneert met meerdere, soms tegenstrijdige doelen zonder benaderingsfouten.

Oorspronkelijke auteurs: Qi Zhang, Dawei Wang, Shaofeng Zou

Gepubliceerd 2026-04-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qi Zhang, Dawei Wang, Shaofeng Zou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar hebt die elke dag prachtige schilderijen maakt, maar die kunstenaar is net een beetje "te algemeen". Hij kan alles, maar hij weet niet precies wat jij mooi vindt. Soms maakt hij een hond die eruitziet als een kat, of een zonsondergang die eruitziet als een bak spaghetti.

Om deze kunstenaar te trainen om precies te doen wat jij wilt, gebruiken wetenschappers een soort "beloningssysteem". Als hij een goed schilderij maakt, krijgt hij een puntje. Als hij een slecht schilderij maakt, krijgt hij geen puntje. Dit noemen ze Reinforcement Learning (versterkend leren).

Het probleem is echter dat mensen niet altijd hetzelfde vinden.

De ene persoon zegt: "Ik wil een mooi schilderij" (aesthetiek).
De andere zegt: "Ik wil dat de hond er echt uitziet" (realisme).
Een derde zegt: "Ik wil dat de hond paars is" (tekst-afbeelding consistentie).

Tot nu toe moesten kunstenaars (of AI-modellen) apart getraind worden voor elk van deze wensen. Als je een nieuwe combinatie wilde (bijvoorbeeld "een paarse, realistische hond die eruitziet als een schilderij"), moest je vaak een heel nieuw model trainen. Dat kost veel tijd, geld en rekenkracht. Of je moest proberen de resultaten van verschillende modellen te "mixen", maar dat gaf vaak wazige, slechte resultaten.

Wat doet dit nieuwe papier?

De auteurs van dit papier (Qi Zhang, Dawei Wang en Shaofeng Zou) hebben een slimme nieuwe manier bedacht om dit op te lossen. Ze noemen hun methode MSDDA.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Wazige Mix"

Stel je voor dat je drie verschillende chefs hebt:

Chef A is de meester in smaak.
Chef B is de meester in presentatie.
Chef C is de meester in gezondheid.

Als je een maaltijd wilt die allemaal goed is, kun je niet zomaar een lepel soep van Chef A, een lepel salade van Chef B en een hapje van Chef C in één kom gooien. Dat wordt een rommeltje. Tot nu toe moesten mensen ofwel drie aparte maaltijden koken (drie modellen trainen) of proberen de recepten van tevoren te mengen, wat vaak leidde tot een smakeloze soep.

2. De oplossing: De "Perfecte Chef" zonder extra training

De auteurs zeggen: "Wacht even, we hoeven niet te koken (trainen) voor elke nieuwe maaltijd."

Ze hebben een wiskundige formule bedacht die werkt als een super-slimme sous-chef. Deze sous-chef kijkt naar de drie chefs (de modellen die al getraind zijn voor smaak, presentatie en gezondheid) en zegt:
"Oké, vandaag wil de klant 50% smaak, 30% presentatie en 20% gezondheid. Ik ga niet koken, ik ga gewoon de instructies van de drie chefs op het allerlaatste moment, vlak voordat het eten op tafel komt, perfect op elkaar afstemmen."

Dit noemen ze "Denoising-time Alignment".

Denoising: In de wereld van AI-schilderijen begint het proces met een kom vol ruis (een wazig beeld) en wordt het beeld steeds scherper ("ontruist") tot het klaar is.
Alignment: Het op elkaar afstemmen van wat de klant wil.

3. Waarom is dit zo speciaal?

De meeste andere methoden proberen dit afstemmen te doen door te gokken of door benaderingen te gebruiken. Dat is alsof je zegt: "Ik denk dat als ik 50% van Chef A en 50% van Chef B mix, het wel goed komt." Soms lukt het, maar vaak niet.

De methode in dit papier is exact.
Ze hebben bewezen dat je de instructies van de chefs op een heel specifieke manier kunt combineren (een wiskundige "gemiddelde" berekening) en dat het resultaat precies hetzelfde is als een nieuwe chef die speciaal voor die klant is getraind.

Geen wazigheid: Er zijn geen gokken of benaderingen.
Geen extra werk: Je hoeft geen nieuwe chef te trainen. Je gebruikt gewoon de chefs die je al hebt.
Elke wens: Je kunt de percentages (de "gewichten") elke dag aanpassen. Wil je morgen 90% smaak en 10% gezondheid? Geen probleem, de sous-chef past het direct aan zonder dat je de keuken hoeft te sluiten.

4. De "Stap-voor-stap" Revolutie

Het geheim van hun succes is dat ze het probleem niet als één groot geheel bekijken, maar als een reeks van kleine stappen.
Stel je voor dat je een lange reis maakt van punt A naar punt B.

De oude manier was: "We moeten de hele route perfect plannen voordat we vertrekken." Dat is heel moeilijk als je niet weet waar je precies naartoe gaat.
De nieuwe manier (Step-level): "We plannen alleen de volgende stap perfect." En dan de volgende, en de volgende.

Door dit stap-voor-stap te doen, kunnen ze een wiskundige formule vinden die altijd werkt, ongeacht hoe complex de wensen zijn. Het is alsof je een GPS hebt die niet de hele route van tevoren berekent, maar bij elke afslag de perfecte richting aangeeft op basis van wat je nu wilt.

Samenvatting

In het kort:
Deze wetenschappers hebben een manier gevonden om AI-kunstmodellen direct op het moment van het maken aan te passen aan verschillende wensen (zoals mooi, realistisch, of veilig), zonder dat je nieuwe modellen hoeft te trainen.

Ze gebruiken een slimme wiskundige formule om de beste resultaten van verschillende gespecialiseerde modellen te "mixen" op het allerlaatste moment, net als een meester-sous-chef die een perfecte maaltijd samenstelt uit de beste ingrediënten van drie verschillende keukens, zonder dat er ook maar één minuut extra gekookt hoeft te worden.

Het resultaat? Snelere, betere en flexibele AI-kunst die precies doet wat jij wilt, op het moment dat jij het wilt.

Titel: Stap-gebaseerde Denoising-time Diffusie-uitlijning met Meerdere Doelen (MSDDA)

1. Het Probleem

Diffusiemodellen zijn krachtig voor tekst-naar-beeld generatie, maar zijn vooraf getraind op brede datasets en niet optimaal afgestemd op specifieke menselijke voorkeuren (zoals esthetische kwaliteit, tekst-beeld consistentie en veiligheid).

Huidige aanpak: Reinforcement Learning (RL) wordt gebruikt om modellen af te stemmen op een enkele beloningsfunctie (reward), vaak met een KL-regularisatie om te voorkomen dat het model te ver afwijkt van de pre-getrainde versie.
De uitdaging: Menselijke voorkeuren zijn inherent pluriform. In de praktijk moeten modellen meerdere doelen tegelijkertijd balanceren. Bestaande methoden voor multi-objective RL vereisen vaak:
1. Kostbare fine-tuning van een enorm aantal modellen (exponentieel in het aantal doelen) om verschillende voorkeursgewichten te dekken.
2. Of ze gebruiken "denoising-time alignment" (fusie tijdens het generatieproces), maar deze methoden vereisen vaak toegang tot reward-gradiënten of leiden tot benaderingsfouten omdat ze de optimale strategie niet exact kunnen berekenen.
De kernvraag: Kan men een methode ontwerpen die zonder hertraining werkt, geen toegang vereist tot individuele reward-functies tijdens de inferentie, en geen benaderingsfouten introduceert?

2. Methodologie

De auteurs introduceren een nieuw raamwerk genaamd MSDDA (Multi-objective Step-level Denoising-time Diffusion Alignment). De aanpak bestaat uit drie hoofdcomponenten:

A. Stap-gebaseerde RL Formulering (Step-level RL)
Traditionele RL voor diffusiemodellen probeert de marginale verdeling $p_\theta(x_0)$ te maximaliseren, wat lastig is om te volgen en te optimaliseren.

De auteurs herformuleren het probleem als een stap-gebaseerde RL-taak (geïnspireerd door Trust Region Policy Optimization - TRPO).
In plaats van te kijken naar het eindresultaat alleen, wordt de beloning ontbonden in stap-voor-stap voordelen (advantages) en wordt de KL-regularisatie toegepast op elke stap van het omgekeerde proces.
Dit leidt tot een stap-gebaseerde DPO-objectief (Direct Preference Optimization) die het model traint op voorkeursparen zonder expliciete toegang tot de reward-functie te vereisen.

B. Gesloten Vorm Oplossing voor Multi-objective Fusie
Op basis van de stap-gebaseerde formulering kunnen de auteurs een exacte, gesloten vorm oplossing afleiden voor het combineren van meerdere doelstellingen.

Stel dat we $M$ modellen hebben die elk geoptimaliseerd zijn voor één doel (met verdelingen $p_i$ ).
Voor een willekeurige voorkeursvector $w$ (een gewogen som van de doelen), is de optimale omgekeerde verdeling $p_w$ evenredig met het gewogen product van de individuele verdelingen:
$p_w(x_{t-1}|x_t) \propto \prod_{i=1}^M p_i(x_{t-1}|x_t)^{w_i}$
Omdat de omgekeerde verdelingen in diffusiemodellen Gaussisch zijn ( $N(\mu, \sigma^2)$ $N (μ, σ^{2})$ ), is het product van deze verdelingen ook Gaussisch. De nieuwe parameters (gemiddelde $\mu_w$ $μ_{w}$ en variantie $\sigma^2_w$ $σ_{w}^{2}$ ) kunnen exact worden berekend als een gewogen harmonische som van de individuele parameters:
- Variantie: $\sigma^2_w = \left( \sum w_i / \sigma^2_i \right)^{-1}$
- Gemiddelde: $\mu_w = \sigma^2_w \sum (w_i \mu_i / \sigma^2_i)$

C. Het MSDDA Algoritme
Het algoritme (Algorithm 1) voert tijdens de inferentie (denoising-time) de volgende stappen uit zonder extra training:

Start met ruis $x_T$ .
Voor elke stap $t$ $t$ van $T$ $T$ naar 1:
- Bereken het nieuwe gemiddelde en de nieuwe variantie door de parameters van de $M$ basis-modellen te fuseren volgens de bovenstaande formules.
- Genereer de volgende stap $x_{t-1}$ uit de gefuseerde Gaussische verdeling.
Retourneer het gegenereerde beeld $x_0$ .

3. Belangrijkste Bijdragen

Oplossing voor Intractabiliteit: De auteurs overwinnen de moeilijkheid om de optimale strategie te volgen in bestaande RL-methoden door een stap-gebaseerde formulering te introduceren. Dit maakt het mogelijk om exacte afleidingen te doen zonder de "cirkelafhankelijkheid" tussen beleid en voordelen.
Exacte Gesloten Vorm: Ze bewijzen theoretisch dat de gefuseerde verdeling tijdens het denoising-proces exact equivalent is aan de optimale oplossing van het stap-gebaseerde RL-probleem. Dit betekent geen benaderingsfouten, in tegenstelling tot eerdere methoden zoals DB-MPA of DERADIFF die termen in de dynamica weglaten.
Retraining-vrij en Reward-vrij: Het systeem vereist geen extra training voor nieuwe voorkeursgewichten en heeft tijdens de inferentie geen toegang nodig tot de reward-functies of hun gradiënten. Het werkt puur met de parameters van de reeds gealigneerde basis-modellen.
Generalisatie: De methode generaliseert bestaande methoden (zoals DB-MPA) en is geldig zelfs wanneer de basis-modellen verschillende varianties hebben, wat een beperking was van eerdere werken.

4. Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd met Stable Diffusion v1.5, waarbij ze twee reward-modellen gebruikten: ImageReward (tekst-beeld consistentie) en VILA (esthetische kwaliteit).

Pareto-optimaliteit: De methode (MSDDA) presteert consequent beter dan bestaande baselines (zoals Reward Soup, CoDe, en Reward Gradient Guidance) op de Pareto-front. Voor de meeste voorkeursgewichten $w$ behaalt MSDDA de hoogste scores op beide reward-meters.
Kwaliteit: Visuele inspectie toont aan dat MSDDA beter in staat is om prompts te volgen (bijv. specifieke kleuren van objecten) vergeleken met de pre-getrainde SD en andere fusiemethoden.
Efficiëntie: MSDDA is aanzienlijk sneller dan methoden die reward-gradiënten vereisen (zoals RGG en CoDe), omdat het geen extra reward-berekeningen tijdens het genereren nodig heeft. Het is ongeveer twee keer zo traag als het runnen van één enkel model (omdat het twee modellen fuseert), maar dit is acceptabel gezien de kwaliteitswinst.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele doorbraak in het veld van multi-objective diffusiemodellen.

Theoretische Zuiverheid: Het lost het probleem op van de "benaderingsfout" dat veel huidige denoising-time methoden parten speelt, door een exacte wiskundige oplossing te bieden.
Praktische Toepasbaarheid: Het maakt het mogelijk om flexibel te schakelen tussen verschillende menselijke voorkeuren (bijv. meer esthetiek vs. meer nauwkeurigheid) zonder nieuwe modellen te hoeven trainen.
Toekomstige Impact: De methode biedt een robuust raamwerk voor het aligneren van generatieve AI met complexe, meervoudige menselijke waarden, wat essentieel is voor de veilige en effectieve inzet van AI in de echte wereld.

Kortom, MSDDA bewijst dat het mogelijk is om de "beste van alle werelden" te bereiken in multi-objective diffusie: geen hertraining, geen reward-toegang tijdens inferentie, en geen theoretische compromissen.