Technische Samenvatting: Diff-Instruct met Gediffuseerde Beloning (Didr)

Probleemstelling

Recente vooruitgang in één-staps tekst-naar-beeld (T2I)-generatoren heeft real-time synthese mogelijk gemaakt door latente ruis direct in één doorloop naar beelden af te beelden. Het afstemmen van deze generatoren op menselijke voorkeuren via Versterkingsleer (RL) vormt echter een fundamentele structurele uitdaging.

Vorige methoden voor één-staps RLHF (bijv. Diff-Instruct*, Diff-Instruct++) combineren optimalisatie van beloningen in beeldruimte met distributiematching in latentieruimte. Deze benaderingen passen voorkeursignalen (beloningen) doorgaans uitsluitend toe op het schone eindpunt van het beeld ($x_0$), terwijl ze Kullback-Leibler (KL)-regularisatie tegen de referentiedistributie opleggen over het volledige ruizige diffusietraject. De auteurs identificeren een kritieke structurele mismatch in dit paradigma: de beloning werkt alleen op de eindtoestand, terwijl de regularisator zich uitstrekt over alle ruisniveaus.

Deze mismatch leidt tot een falingsmodus die terminal reward domination (dominatie van de eindbeloning) wordt genoemd. Omdat voorwaartse ruis beelddetails op natuurlijke wijze maskeert, verzwakt de KL-regularisatiestraf tegen modusdivergentie aanzienlijk bij hoge ruisniveaus. Optimizers exploiteren hierdoor deze kwetsbaarheid in het traject, verlaten de referentiedistributie en klappen in op gebieden met hoge beloning zonder voldoende KL-straffen te incasseren. Dit resulteert in verbeterde beloningsscores, maar vaak ten koste van beeldkwaliteit en distributiestabiliteit.

Methodologie: Diff-Instruct met Gediffuseerde Beloning (Didr)

Om deze misalignering op te lossen, stellen de auteurs Didr voor, een datavrij, trajectniveau-afstemkingskader afgeleid van Integral KL (IKL)-minimalisatie. De kerninzicht is om de RLHF-optimale, belonings-getilde schone-beelddistributie systematisch te propageren over alle ruisniveaus van het diffusietraject.

1. Het Principiële Trajectdoel

De methode begint met het vaststellen van het juiste afstemkingsdoel voor schone beelden onder KL-geregulariseerde RLHF. De optimale schone-beelddistributie $q^*(x_0|c)$ is de belonings-getilde dichtheid:
$$q^*(x_0|c) \propto q_0(x_0|c) \exp(r(x_0, c)/\tau)$$
waarbij $q_0$ de referentiedistributie is, $r$ de beloningsfunctie, en $\tau$ een temperatuurparameter.

In plaats van beloningen alleen toe te passen op $x_0$, "tilt" Didr dit optimale doel naar het volledige traject door $q^*$ te diffunderen via het voorwaartse referentieproces. Dit levert een familie van belonings-getilde marginaaldistributies $\{q^*_t\}_{t \in [0, T]}$ op die op elk ruisniveau gedefinieerd zijn:
$$q^*_t(x_t|c) = \int q_t(x_t|x_0) q^*(x_0|c) dx_0$$
De auteurs bewijzen dat het minimaliseren van de Integral KL-divergentie tussen de marginaaldistributies van de generator en deze belonings-getilde marginaaldistributies dezelfde minimalizer deelt als de standaard KL-geregulariseerde RLHF-doelstelling. Dit zorgt ervoor dat beloning en regularisatie op elk ruisniveau in evenwicht zijn, waardoor terminal reward domination wordt voorkomen.

2. De Gediffuseerde Beloningsscore (DRS)

Door de IKL-doelstelling te differentiëren, leiden de auteurs de doel-scorefunctie af. De optimale score decomposeert in twee componenten:
$$s_{target} = s_{ref} + s_r$$
waarbij $s_{ref}$ de referentie-scorefunctie is, en $s_r$ de Gediffuseerde Beloningsscore (DRS). De DRS fungeert als een door beloning gedreven correctieterm die op elk ruisniveau gedefinieerd is:
$$s_r(x_t, t, c) = \nabla_{x_t} \log \mathbb{E}_{x_0 \sim q(x_0|x_t, c)} \left[ \exp\left(\frac{r(x_0, c)}{\tau}\right) \right]$$
In tegenstelling tot classifier guidance (wat een eerste-orde benadering is), behoudt de DRS de volledige log-exponentiële tilt en propageert voorkeursinformatie alleen waar het schone beeld identificeerbaar is vanuit de ruizige observatie.

3. De Gediffuseerde Beloning Proxy (DRP)

Aangezien de DRS een niet-berekenbare posterior-verwachting $q(x_0|x_t, c)$ vereist, introduceren de auteurs de Gediffuseerde Beloning Proxy (DRP) om de methode praktisch toepasbaar te maken. De DRP benadert de posterior-verwachting met behulp van differentieerbare korte-staps denoising-ketens vanuit het bevroren referentiemodel.

• Mechanisme: Vanuit een ruizige toestand $x_t$ voert de methode $K$ onafhankelijke $S$-staps denoising-ketens uit met het bevroren referentiemodel om benaderende schone samples $\{\hat{x}^{(k)}_0\}$ te genereren.
• Gradienteninschatting: De DRS wordt benaderd als een door softmax gewogen gemiddelde van pad-gebonden beloningsgradienten:
  $$\hat{s}_r(x_t, t, c) = \frac{1}{\tau} \sum_{k=1}^K \omega^{(k)} \nabla_{x_t} r(\hat{x}^{(k)}_0, c)$$
  waarbij de gewichten $\omega^{(k)}$ evenredig zijn met $\exp(r(\hat{x}^{(k)}_0, c)/\tau)$.
• Efficiëntie: Deze benadering zorgt ervoor dat beloningsgradienten stabiel terug kunnen propageren door het traject, zonder dat activaties van het referentiemodel opgeslagen hoeven te worden of dat beeldtrainingsdata nodig is.

4. Trainingskader

Het trainingsproces wisselt af tussen twee fasen:

1. Teaching Assistant (TA) Update: Een TA-scoremodel ($s_\psi$) wordt getraind via Denoising Score Matching (DSM) om de evoluerende marginaaldistributies van de generator te volgen, en fungeert als surrogaat voor de impliciete generator-score.
2. Generator Update: De generator ($g_\theta$) wordt bijgewerkt met de gradient van de IKL-doelstelling, die de TA-score vergelijkt met de som van de CFG-gecorrigeerde referentiescore en de DRP-estimatie.

Belangrijkste Bijdragen

1. Identificatie van Terminal Reward Domination: Het artikel identificeert en analyseert formeel een structurele falingsmodus in eerdere één-staps RLHF-methoden, waarbij optimizers ruisniveaus exploiteren om in te klappen op gebieden met hoge beloning, waardoor de beoogde RLHF-balans wordt geschonden.
2. Principiële Trajectniveau-Afstemming: De auteurs stellen Didr voor, een kader dat een wiskundig onderbouwde trajectniveau-doelstelling afleidt door de RLHF-optimale schone-beelddichtheid voorwaarts te propageren. Dit zorgt ervoor dat beloning en regularisatie op elk ruisniveau in evenwicht zijn.
3. Analytische Afleiding van DRS: Het artikel leidt de Gediffuseerde Beloningsscore analytisch af, en toont aan dat deze het trajectdoel exact decomposeert in een referentiescore plus een door beloning veroorzaakte correctie.
4. Praktische Schatter (DRP): De auteurs introduceren de Gediffuseerde Beloning Proxy, een datavrije schatter die de DRS berekent via differentieerbare korte-staps denoising, waardoor stabiele training mogelijk is zonder beelddata.

Empirische Resultaten

Uitgebreide experimenten tonen aan dat Didr consistent presteert boven bestaande één-staps baselines:

• Pareto-dominantie: Op de SDXL-backbone (1024×1024) domineert de standaard Didr-variant in de PickScore–FID-trade-off alle bestaande één-staps afstemkingsbaselines, en overtreft tegelijkertijd meervoudige-staps modellen zoals FLUX-dev en SDXL-DPO op beide assen.
• Voorkeursmetrieken: De uitgebreide trainingsvariant (Didr_longer) bereikt de hoogste PickScore (23,9) onder geëvalueerde één-staps modellen en verbetert ImageReward met 8,9% ten opzichte van de sterkste eerdere baseline (Diff-Instruct*). Het leidt ook in HPSv2.1 en Aesthetic Score.
• Generalisatie: Didr transferreert succesvol naar de 6B-parameter Z-Image-backbone. In één generatiestap overtreft het zijn 50-staps lerarenmodel op voorkeursmetrieken, wat schaalbaarheid over architecturen aantoont.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen tonen aan dat Didr scherpere fijne details en natuurlijker kleuren produceert in vergelijking met eerdere één-staps methoden, en de oververzadiging en schilderachtige artefacten vermijdt die vaak voorkomen bij door beloning geoptimaliseerde baselines.

Betekenis en Claims

Het artikel claimt dat principiële trajectniveau-beloningspropagatie een effectieve afstemkingsstrategie is die de inherente misalignering van methoden met alleen eindpunt-beloningen oplost. Door de RLHF-optimale distributie rigoureus door het diffusieproces te propageren, bereikt Didr de beste trade-off tussen voorkeursafstemming en beeldkwaliteit onder één-staps generatoren.

De auteurs benadrukken dat hun methode geen beeldtrainingsdata vereist, en uitsluitend vertrouwt op tekstprompts en een bevroren referentiemodel. Ze positioneren Didr als een oplossing die één-staps generatoren in staat stelt om de voorkeursafstemming van meervoudige-staps leraren te evenaren of te overtreffen, terwijl real-time inferentiesnelheden behouden blijven. Het werk suggereert dat de structurele mismatch die in eerdere methoden is geïdentificeerd, een fundamentele beperking is die alleen kan worden opgelost door het volledige traject af te stemmen, en niet alleen de eindtoestand.