💻 computer science

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

Het artikel stelt \textsc{SURE} voor, een verenigd latent-ruimte raamwerk dat de post-training van diffusiemodellen verbetert door beloningsverdelingen te leren met steekproef-adaptieve onzekerheidsschattingen om betrouwbare, dichte feedback te bieden voor optimalisatie zonder dat pixel-ruimte decodering vereist is.

Oorspronkelijke auteurs: Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

Gepubliceerd 2026-08-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotkunstenaar leert schilderen. Je wilt niet wachten tot de robot een heel meesterwerk heeft voltooid om te zeggen: "Nee, die hond lijkt op een aardappel." Je wilt hints fluisteren terwijl de robot nog de kleuren op het canvas aan het mengen is. Dit is de wereld van diffusiemodellen, een type AI dat afbeeldingen en video's creëert door stap voor stap statische ruis te veranderen in heldere plaatjes. Om deze robots te laten schilderen wat mensen echt leuk vinden, hebben we een "beloningssysteem" nodig—een leraar die punten geeft voor goede kunst en minpunten voor slechte kunst.

Traditioneel wacht deze leraar tot de robot de schildering heeft voltooid, kijkt naar het definitieve plaatje en geeft dan een score. Maar dit is traag en duur omdat de robot de hele afbeelding moet afmaken om slechts één hint te krijgen. Nieuwere methoden laten de leraar even in de tussentijd naar de slordige, half afgewerkte schetsen (genaamd "latents") kijken en geven vroegtijdig feedback. Er is echter een addertje onder het gras: deze leraren roepen meestal gewoon een enkel getal, zoals "8 van de 10", zonder te vertellen hoe zeker ze zijn. Als de leraar wild gokt maar toch een hoge score roept, kan de robot in de war raken en vreemde dingen gaan schilderen om die valse score na te jagen. Dit artikel pakt het probleem aan van het leren aan de robot hoe hij de leraar moet vertrouwen, en wanneer hij hem moet negeren.

Het Probleem: De Overmoedige Leraar

Stel je een strenge kunstleraar voor die je schetsen beoordeelt. In het verleden keek deze leraar naar je half afgewerkte tekening en zei simpelweg: "Goed gedaan!" of "Slecht gedaan!" met een enkel getal. Het probleem is dat de leraar soms niet weet waar hij het over heeft. Misschien is de schets zo wazig dat de leraar maar wat gokt, maar roept hij toch een hoge score. Als jij, de student, blindelings dat hoge cijfer volgt, begin je misschien steeds dezelfde fout te maken, denkend dat je het geweldig doet terwijl je eigenlijk volledig van de rails raakt. In de wereld van AI wordt dit "reward hacking" genoemd, waarbij de AI een mazen in de wet vindt om een hoge score te halen zonder daadwerkelijk betere kunst te maken.

De onderzoekers achter dit artikel, die hun systeem SURE noemen (Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training), realiseerden zich dat bestaande leraren een cruciaal stukje informatie misten: zelfvertrouwen. Ze hadden een manier nodig voor de leraar om te zeggen: "Ik ben 90% zeker dat dit een goede tekening is," of "Ik ben slechts 20% zeker, dus luister niet te nauw naar mij."

De Oplossing: Een Leraar die Twijfel Toegeeft

De auteurs bouwden een tweeledig systeem om dit op te lossen.

Deel 1: De Onzekerheidsbewuste Leraar (SURE-LRM)
Eerst creëerden ze een nieuw soort beloningsmodel. In plaats van alleen een score te geven, geeft dit model een score en een maatstaf voor hoe wankel die score is. Denk aan een weersverwachting. Een normale leraar zegt: "Het gaat regenen." De nieuwe SURE-LRM-leraar zegt: "Het gaat regenen, en ik ben 95% zeker," of "Het kan regenen, maar ik ben slechts 40% zeker omdat de wolken vreemd zijn."

Ze trainden deze leraar met een speciale methode waarbij het naar paren afbeeldingen kijkt (één goede, één slechte) en niet alleen leert welke beter is, maar ook hoeveel de "goedheid" varieert. Als de leraar een rommelige, verwarrende schets ziet, leert hij een hoge "onzekerheidsscore" te geven. Als hij een duidelijke, voor de hand liggende meesterwerk ziet, geeft hij een lage onzekerheidsscore. Cruciaal is dat het artikel laat zien dat deze leraar dit vertrouwensniveau kan leren door simpelweg naar standaard "goed vs. slecht" voorbeelden te kijken, zonder dat mensen expliciet hoeven te labelen hoe zelfverzekerd ze waren.

Deel 2: De Slimme Student (SURE-REFL)
Vervolgens bouwden ze een trainingsmethode genaamd SURE-REFL die deze nieuwe leraar gebruikt. Wanneer de AI-kunstenaar leert, vraagt hij de leraar om feedback op veel verschillende stadia van het tekenproces. Normaal gesproken zou de AI elke stukje feedback oppikken en proberen het blindelings op te volgen. Maar met SURE-REFL kijkt de AI eerst naar de "vertrouwensmeter" van de leraar.

Als de leraar zegt: "Score: 8/10, Vertrouwen: Laag," denkt de AI: "Oké, ik luister wel, maar ik zal mijn hele schilderij niet op basis hiervan aanpassen." Als de leraar zegt: "Score: 8/10, Vertrouwen: Hoog," denkt de AI: "Begrepen! Ik ga dit zeker vaker doen." Het systeem weegt de feedback in essentie: hoog vertrouwen krijgt een zwaar gewicht, en laag vertrouwen een licht gewicht. Dit voorkomt dat de AI in de war raakt door de gissingen van de leraar.

Wat Ze Hebben Gevonden

De onderzoekers testten dit systeem op zowel beeldgeneratoren (zoals het maken van plaatjes van katten) als videogeneratoren (zoals het maken van korte filmfragmenten).

Betere Leraren: De nieuwe SURE-LRM-leraar was beter in het voorspellen van menselijke voorkeuren dan eerdere methoden. In een test met 2.000 beeldparen, waarbij ze alleen de voorspellingen behielden waar de leraar het meest zelfverzekerd over was (de laagste 50% van de onzekerheid), steeg de nauwkeurigheid van ongeveer 79,4% naar 90,1%. Dit bewijst dat de "vertrouwensmeter" van de leraar daadwerkelijk de waarheid sprak over welke voorspellingen betrouwbaar waren.
Stabiel Leren: Wanneer ze SURE-REFL gebruikten om de AI te trainen, was het leerproces veel stabieler. Bij tests met oudere methoden steeg de score van de AI terwijl de werkelijke kwaliteit van de kunst daalde (een teken van reward hacking). Met SURE-REFL bleven de scores en de werkelijke kwaliteit veel langer synchroon.
Top Prestaties: In de uiteindelijke resultaten behaalde de SURE-REFL-methode de hoogste scores op standaard benchmarks voor zowel afbeeldingen als video's. Voor videogeneratie bereikte het een totale kwaliteitsscore van 0,8357, waarmee het de op één na beste methode met 0,0109 versloeg.

Waarom Het Er Toe Doet

Dit artikel suggereert dat de sleutel tot het leren van AI om betere kunst te maken niet alleen het hebben van een slimmere leraar is, maar het hebben van een leraar die weet wanneer hij het niet weet. Door de AI toe te staan de wankele gissingen van de leraar te negeren en zich te concentreren op de zelfverzekerde, voorkomt het systeem dat de AI in de val wordt gelokt om vreemde, kapotte kunst te maken om zo een hoge score na te jagen. Het is een stap naar het maken van AI-kunstenaars die niet alleen creatief zijn, maar ook betrouwbaar, die leren van feedback zonder in de war te raken door de ruis.

Technische Samenvatting: Sample-Adaptive Latente Beloningen voor Onzekerheidsgestuurde Diffusie Post-Training

1. Probleemstelling

Het post-trainen van visuele diffusiemodellen om af te stemmen op menselijke voorkeuren berust doorgaans op het evalueren van gedecodeerde RGB-outputs, wat herhaalde en kostbare VAE-decodering binnen de feedbackloop vereist. Hoewel "diffusie-native" latente beloningsmodellen (LRM's) zijn opgekomen om direct ruisige latenten te scoren — wat decoderingskosten vermijdt en supervisie van tussenstaten mogelijk maakt — kampen bestaande benaderingen met twee kritieke beperkingen:

Scalaire Outputs Missen Onzekerheid: Huidige latente beloningsmodellen geven alleen een scalaire score uit. Ze slagen er niet in de onzekerheid van elke voorspelling te schatten. Bijgevolg kan de generator het onderscheid niet maken tussen betrouwbare en onbetrouwbare feedback.
Statische Onzekerheidsveronderstellingen: Voorgaand werk zoals DiNa-LRM wijst onzekerheid toe uitsluitend op basis van het ruisniveau (timestep) van de latent. Het gaat ervan uit dat alle samples bij hetzelfde tijdstip dezelfde betrouwbaarheid delen. De paper beargumenteert echter dat de moeilijkheid van de beloning ook inhoudsafhankelijk is; een "ruisige" sample met een duidelijk onderwerp kan voorspelbaarder zijn dan een "schonere" sample met ambigue inhoud.
Optimalisatierisico's: Zonder onzekerheidsschatting kan de generator optimaliseren op basis van onbetrouwbare lokale feedback, wat leidt tot "reward hacking" (waarbij het model de beloningsfunctie exploiteert in plaats van kwaliteit te verbeteren) en instabiele trainingsdynamiek.

2. Methodologie

De auteurs stellen SURE voor (Sample-Adaptive Latent Reward voor Onzekerheidsgestuurde Diffusie Post-Training), een verenigd framework bestaande uit twee componenten: SURE-LRM (het beloningsmodel) en SURE-REFL (het post-training algoritme).

2.1 SURE-LRM: Sample-Adaptive Latent Reward Model

SURE-LRM is ontworpen om niet alleen een beloningsscore te voorspellen, maar een volledige Gaussische utiliteitsdistributie voor elke ruisige latent, geconditioneerd op de prompt en het tijdstip.

Architectuur: Het hergebruikt de Diffusion Transformer (DiT) backbone van de doelgenerator (voor zowel afbeeldingen als video's) om ruisige latenten, prompts en tijdstippen te verwerken zonder VAE-decodering.
Voorspellingsdoelen: Voor een ruisige latent $z_\sigma$ $z_{σ}$ voorspelt het model:
- Een gemiddelde beloning $\mu_\theta$ .
- Een sample-adaptieve residuele variantieparameter $a_\theta$ .
Variantie-modellering: De totale voorspellende variantie $v_\eta(\sigma)$ is de som van een ruisafhankelijke prior $v_0(\sigma)$ (die het gemiddelde informatieverlies vangt naarmate de ruis toeneemt) en een geleerde, sample-specifieke residuele variantie $v_{\eta, res} = \text{softplus}(a_\theta) + \epsilon_v$ .
Trainingsdoelstelling: Het model wordt getraind op standaard paarwijze voorkeuren ( $z^+ \succ z^-$ $z^{+} ≻ z^{-}$ ) met behulp van een heteroscedastische voorkeursdoelstelling:
- Likelihood Loss ( $L_{pref}$ ): Gebaseerd op het Thurstone random-utility model, optimaliseert het de waarschijnlijkheid dat de geprefereerde sample een hogere utiliteit heeft. De gradiënten stimuleren het model er van nature toe om de variantie (onzekerheid) te vergroten wanneer de rangschikking onjuist of ambigu is, en de variantie te verkleinen wanneer de rangschikking confident en correct is.
- Regularisatie:
  - Variantie-regularisatie ( $L_{var}$ ): Voorkomt dat het model alle rangschikkingsfouten verklaart door simpelweg de onzekerheid op te blazen (variantie-inflatie).
  - Margin Regularisatie ( $L_{margin}$ ): Zorgt voor een minimale scheiding tussen geprefereerde en afgewezen scores.
  - Anchor Loss ( $L_{anchor}$ ): Stabiliseert de algehele scoreschaal.

2.2 SURE-REFL: Uncertainty-Guided Dense Reward Feedback Learning

Zodra SURE-LRM is getraind, worden de parameters bevroren. SURE-REFL gebruikt dit model om de post-training van de generator in de latente ruimte te sturen.

Lokaal Feedbackmechanisme: In plaats van terug te propageren door de volledige denoising graph, bevraagt SURE-REFL het bevroren beloningsmodel bij geselecteerde transities ( $j$ ) langs het denoising traject.
Onzekerheidsgestuurde Weging:
1. Het model voorspelt de gemiddelde beloning $\mu$ en de residuele variantie voor de staat bij transitie $j$ .
2. De totale variantie wordt omgezet in een betrouwbaarheidsgewicht $\rho = V^{-1/2}$ (inverse standaarddeviatie).
3. Dit gewicht is detached (stop-gradient) van het beloningsmodel, wat betekent dat de generator leert van het gewicht maar het onzekerheidsschatting van het beloningsmodel tijdens deze stap niet bijwerkt.
4. Gewichten worden genormaliseerd over samples die geëvalueerd worden bij de zelfde transitie om een eerlijke vergelijking te garanderen.
Optimalisatie: De generator wordt bijgewerkt met behulp van een gewogen beloningsdoelstelling waarbij samples met een lagere voorspelde variantie (hogere betrouwbaarheid) sterker bijdragen aan de gradiënt. Deze dense feedback wordt lokaal toegepast op elke transitie, waardoor de noodzaak voor volledige graph-retentie of pixel-ruimte decodering wordt vermeden.

3. Belangrijkste Bijdragen

Formulering van Sample-Adaptive Onzekerheid: De paper formuleert beloningsonzekerheid in de latente ruimte als een leerbare distributie afgeleid van standaard paarwijze voorkeuren, zonder dat hiervoor extra menselijke confidentie-annotaties nodig zijn.
SURE-LRM: Een latent beloningsmodel dat sample-afhankelijke onzekerheid leert, waarmee wordt aangetoond dat samples op hetzelfde tijdstip verschillende betrouwbaarheidsschattingen kunnen hebben op basis van hun inhoud.
SURE-REFL: Een verenigde post-training methode voor zowel beeld- als videogeneratie die de detached onzekerheid gebruikt om dense lokale feedback te wegen, waardoor de noodzaak voor VAE-decodering en volledige denoising graph-retentie vervalt.
Theoretisch Inzicht: De auteurs leiden variantie-gradiënten af om aan te tonen hoe de voorkeursverlies een intrinsiek signaal biedt voor het leren van onzekerheid.

4. Experimentele Resultaten

4.1 Nauwkeurigheid van het Beloningsmodel (SURE-LRM)

Beeld Benchmarks: SURE-LRM bereikte state-of-the-art (SOTA) paarwijze voorkeurnauwkeurigheid over vier benchmarks (ImageReward, HPD v2, HPD v3, GenAI-Bench) op drie verschillende backbones (SD3.5, Z-Image-Turbo, FLUX.1-dev), waarbij het sterke baselines overtrof, inclusief DiNa-LRM en VLM-gebaseerde pixel beloningen.
Video Benchmarks: Op VisionRewardDB en T2V Ranking behaalde SURE-LRM de hoogste nauwkeurigheid, waarmee het gedecodeerde-video evaluatoren en video-specifieke beloningsmodellen overtrof.
Onzekerheidsdiagnostiek: Experimenten bevestigden dat de geleerde residuele variantie correleert met voorspellingsfouten. Samples met onjuiste rangschikkingen hadden significant hogere residuele variantie (gemiddeld 24,26% hoger). Het filteren van samples op basis van lage voorspelde variantie verbeterde de paarwijze nauwkeurigheid van 79,40% naar 90,10%.

4.2 Prestaties van Post-Training (SURE-REFL)

Beeldgeneratie: SURE-REFL behaalde de beste prestaties over HPSv2.1, ImageReward, en PickScore metrieken op SD3.5, Z-Image-Turbo, en FLUX.1-dev, waarbij het baselines zoals Flow-GRPO, ViPO, en DiNa-LRM overtrof.
Videogeneratie: Op VBench behaalde SURE-REFL de hoogste scores voor Quality, Semantic, en Total metrieken voor de Wan2.1-14B videogenerator, waarmee het DanceGRPO, ViPO, Video-DPO, en HY-PRFL overtrof.
Stabiliteit en Reward Hacking: De optimalisatiedynamiek toonde aan dat terwijl baselines (bijv. DiNa-LRM-REFL) reward hacking vertoonden (beloningsscores stegen terwijl onafhankelijke kwaliteit metrieken zoals HPSv3 daalden), SURE-REFL de alignment tussen de geoptimaliseerde beloning en onafhankelijke kwaliteit metrieken langer behield, en hogere eindscores bereikte.

4.3 Ablatie-studies

Ablatie van de verliescomponenten van het beloningsmodel bevestigde dat alle termen noodzakelijk zijn. Het verwijderen van de variantie-regularisatie ( $L_{var}$ ) veroorzaakte de grootste daling in nauwkeurigheid, wat de noodzaak valideert om variantie-inflatie te controleren.

5. Betekenis en Claims

De paper claimt dat SURE een efficiënt, verenigd framework biedt voor het afstemmen van visuele diffusiemodellen door het "betrouwbaarheidsgat" in latente beloningsmodellering aan te pakken. De significantie ligt in:

Efficiëntie: Door volledig in de latente ruimte te opereren zonder VAE-decodering, vermindert het de computationele overhead tijdens de feedbackloop.
Robuustheid: Door expliciet sample-adaptieve onzekerheid te modelleren en te gebruiken, voorkomt het dat de generator overfit op ruisige of ambigue feedback, wat reward hacking vermindert en de trainingsstabiliteit verbetert.
Generaliteit: Het framework is modaliteit-agnostisch en past dezelfde onzekerheids-wegingslogica succesvol toe op zowel beeld- als videogeneratietaken.

De auteurs concluderen dat het leren van sample-afhankelijke onzekerheid uit standaard paarwijze voorkeuren een levensvatbare en effectieve strategie is voor het verbeteren van de betrouwbaarheid van dense beloningsfeedback in diffusie post-training.