Technische Samenvatting: DiNa-LRM – Diffusie-Native Latente Beloningsmodellering

1. Probleemstelling

De uitlijning van diffusie- en flow-matching-modellen met menselijke voorkeuren is sterk afhankelijk van beloningsfuncties. De huidige state-of-the-art benaderingen maken voornamelijk gebruik van Vision-Language Models (VLM's) als ruggengraat voor beloningen. Hoewel VLM's robuuste discriminatieve capaciteiten bieden, vertonen ze twee kritieke beperkingen voor de uitlijning van diffusiemodellen:

1. Rekenkundige en geheugenoverhead: Op VLM's gebaseerde beloningen zijn duur om herhaaldelijk op te vragen tijdens optimalisatie, wat een knelpunt creëert voor trainings-efficiëntie.
2. Domeinmismatch: VLM's opereren doorgaans in pixelruimte, terwijl latente diffusiegeneratoren worden getraind en geoptimaliseerd in latente ruimte. Deze pixel-naar-latent mismatch bemoeilijkt uitlijning, met name voor beloningsgradiënt-methoden, en introduceert onnodige systeemoverhead.

Aan de andere kant, hoewel diffusiemodellen veelbelovend zijn gebleken als discriminatieve ruggengraten, waren eerdere pogingen om ze als beloningen te gebruiken vaak gekoppeld aan specifieke optimalisatie-algoritmen op stap-niveau of gericht op ruige tussenliggende toestanden, zonder een algemeen doelstellend raamwerk te vestigen dat vergelijkbaar is met VLM's voor het scoren van schone steekproeven.

2. Methodologie: DiNa-LRM

De auteurs stellen DiNa-LRM (Diffusion-Native Latent Reward Model) voor, een raamwerk dat voorkeurslering direct formuleert op ruige diffusietoestanden binnen de latente ruimte. De methode bestaat uit drie kernelementen:

A. Diffusie-Native Voorkeursformulering

In plaats van schone steekproeven ($x_0$) direct te evalueren, breidt DiNa-LRM het Thurstone-model uit naar ruige diffusietoestanden ($x_t$).

• Ruisme-gekalibreerde onzekerheid: De auteurs erkennen dat voorkeursoordelen over ruige toestanden inherent minder zeker zijn naarmate het ruiseniveau toeneemt. Ze introduceren een ruisme-gekalibreerde vergelijkingsonzekerheid $\sigma_u^2(t)$ die schaalt met het diffusieruisme $\sigma^2(t)$:
  $$\sigma_u^2(t) = k\sigma^2(t) + \sigma_u^2$$
  Deze formulering zorgt ervoor dat het beloningsdoel consistent blijft met het ruige manifold dat wordt aangetroffen tijdens diffusie-pretraining. Het fungeert als een onzekerheidsbewuste regularisator, waardoor hoge-variatie gradiënten worden voorkomen die het trainen in hoog-ruisregimes zouden destabiliseren.
• Trainingsdoel: Het model wordt geoptimaliseerd met behulp van een trouwheidsverlies over voorkeursparen $(x_t^+, x_t^-)$, waarbij de vergelijkingskans wordt gemoduleerd door de tijdstap-afhankelijke onzekerheid.

B. Latente Beloningsarchitectuur

DiNa-LRM wordt geïmplementeerd bovenop een voorgereputeerde latente diffusieruggengraat (bijv. SD3.5-Medium) met een lichtgewicht, query-gebaseerde scorekop.

• Meerlaagse kenmerkextractie: Visuele en tekstuele kenmerken worden geëxtraheerd uit meerdere lagen van de ruggengraat.
• Tijdstap-geconditioneerde adaptatie: Kenmerken worden gemoduleerd door tijdstap-embeddings met behulp van FiLM (Feature-wise Linear Modulation) om de beloningskop expliciet bewust te maken van het ruiseniveau.
• Gated Q-Former scoring: Een gated Q-Former aggregeert deze meerlaagse, tijdstap-geconditioneerde kenmerken om een scalair beloningscijfer te produceren. Deze architectuur opereert volledig in de VAE-laten ruimte, waardoor pixelruimte-decodering wordt vermeden.

C. Schaling tijdens Inferentie via Ruisme-Ensembling

Om robuustheid te verbeteren en de gevoeligheid voor een specifieke evaluatietijdstap te verminderen, ondersteunt DiNa-LRM ruisme-ensembling.

• In plaats van een schone steekproef te scoren op één vast ruisme-niveau, evalueert het model de steekproef op meerdere tijdstappen $\{t_k\}$.
• Kenmerken die op deze verschillende tijdstappen zijn geëxtraheerd, worden samengevoegd en verwerkt door dezelfde Q-Former-kop om een geaggregeerde score te produceren. Dit dient als een "diffusie-native" schalingsmechanisme tijdens de testfase.

3. Belangrijkste Bijdragen

1. Diffusie-Native Voorkeursformulering: Het artikel breidt het Thurstone-voorkeurmodel uit naar ruige diffusietoestanden door een ruisme-gekalibreerde onzekerheid in te voeren die schaalt met het diffusieruisme, waarmee de distributie-gaat tussen pretraining en beloningslering wordt overbrugd.
2. Schaling tijdens Inferentie: De auteurs stellen een ruisme-ensembling-strategie voor die kenmerken van meerdere tijdstappen aggregeert, waardoor een mechanisme voor schaling tijdens de testfase wordt geboden dat gebruikmaakt van de globale diffusietraject in plaats van een enkele puntsschatting.
3. Empirische Validatie: Het werk toont aan dat diffusie-native beloningen concurrerende prestaties kunnen behalen met sterke op VLM's gebaseerde beoordelaars, terwijl ze native in latente ruimte opereren.

4. Experimentele Resultaten

De auteurs hebben DiNa-LRM geëvalueerd over verschillende benchmarks en uitlijningsscenario's:

• Nauwkeurigheid van Beloningsmodellering:

  • DiNa-LRM presteert aanzienlijk beter dan bestaande op diffusie gebaseerde beloningsbaselines (bijv. LRM-SD1.5, LRM-SDXL) op ImageReward, HPDv2, HPDv3 en GenAI Bench.
  • Het bereikt prestaties die concurrerend zijn met state-of-the-art op VLM's gebaseerde beloningen (bijv. HPSv3, UnifiedReward) gemiddeld, met een opmerkelijke verkleining van de kloof op specifieke datasets zoals HPDv2 en HPDv3.
  • Ruisme-Ensembling: Het toepassen van ruisme-ensembling verbetert de gemiddelde nauwkeurigheid verder (bijv. van 71,49% naar 72,48% gemiddeld), wat het voordeel valideert van het aggregeren van bewijs over ruimeniveaus.

• Voorkeursuitlijning (ReFL):

  • In post-training uitlijningsexperimenten met ReFL (Reward Feedback Learning) op SD3.5-M, toonde DiNa-LRM snellere convergentie in proxy-scores en verbeterde "gouden" metrieken (gehouden PickScore) in vergelijking met HPSv3.
  • Efficiëntie: DiNa-LRM vermindert de resourcekosten aanzienlijk in vergelijking met op VLM's gebaseerde beloningen. Het verlaagt het piekgebruik van VRAM met 51,4%, de FLOPs voor beloningsberekening met 71,1% en de FLOPs tijdens de optimalisatiefase met 46,4%.

• Generalisatie:

  • De formulering generaliseert over verschillende diffusieruggengraten (SDXL, FLUX.1-Dev, Z-Image-Turbo), en presteert consequent beter dan eerdere op diffusie gebaseerde baselines.
  • Transferbaarheidsexperimenten tonen aan dat een beloningsmodel dat is getraind op SD3.5-M, SD3.5-L effectief kan uitlijnen binnen dezelfde latente ruimte.

5. Betekenis en Claims

Het artikel claimt dat DiNa-LRM een praktische en efficiënt alternatief biedt voor op pixelruimte gebaseerde VLM-beloningen voor voorkeursuitlijning. De primaire betekenis ligt in:

• Structureel Voordeel: Door native in de latente ruimte te opereren, elimineert het de mismatch tussen latent en pixel en de rekenkundige overhead van decodering, waardoor het zeer compatibel is met uitlijningsmethoden op basis van beloningsgradiënten.
• Optimalisatie-vriendelijk: Het biedt een differentieerbaar, efficiënt signaal dat trainingsdynamiek verbetert en resource-eisen verlaagt zonder uitlijningskwaliteit op te offeren.
• Schaalbaarheid: Het ruisme-ensembling-mechanisme biedt een nieuwe, diffusie-native manier om de prestaties tijdens inferentie te schalen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de beloning is gekoppeld aan specifieke latente ruimtes (wat cross-backbone-overdracht beperkt zonder hertraining) en dat modellering in latente ruimte bepaalde artefacten op pixelniveau mogelijk onderschat, wat potentieel kan leiden tot belonings-hack-gedrag (bijv. spurious menselijke injectie of stilistische drift) tijdens optimalisatie op lange termijn. Zij suggereren dat toekomstig werk zich moet richten op sterkere unified ruggengraten en het opnemen van lichtgewicht regularisatie in pixelruimte.