Technische Samenvatting: Uitlijning en Veiligheid van Diffusiemodellen via Versterkend Leren en Beloningsmodellering

1. Probleemstelling

Diffusiemodellen hebben zich gevestigd als het dominante paradigma voor hoogwaardige beeld- en multimodale generatie. Echter, hun standaardtraining via maximum-likelihood op brede internetdata leidt vaak tot output die niet overeenkomt met menselijke intentie, esthetische voorkeuren of veiligheidsbeperkingen. Specifieke problemen zijn:

• Prompt-misalignement: Het niet correct volgen van complexe instructies (bijvoorbeeld aantal objecten, kleuren).
• Ongewenste inhoud: Generatie van beledigende, gewelddadige of bevooroordeelde afbeeldingen als gevolg van bias in de trainingsdata.
• Kwaliteitsdegradatie: Productie van wazige of met artefacten bezaaide afbeeldingen wanneer specifieke kwaliteitsmetrieken niet expliciet worden geoptimaliseerd.

De kernuitdaging bij het uitlijnen van diffusiemodellen ligt in de aard van het generatieproces: het is een iteratieve, hoogdimensionale denoisetransitie waarbij feedback doorgaans schaars is (allemaal beschikbaar bij de uiteindelijke output) en het beloningssignaal (menselijke voorkeur) vaak niet-differentieerbaar is. Het direct integreren van menselijke waarden in de trainingslus vereist het aanpassen van versterkend leren (RL) en beloningsmodelleringstechnieken aan de specifieke inductieve bias van diffusieprocessen.

2. Methodologie en Taxonomie

Het survey organiseert de literatuur rondom vijf primaire assen: de bron van feedback, de vorm van het beloningssignaal, het optimalisatiemechanisme, de behandeling van distributieverandering en de expliciete behandeling van veiligheid. De methodologieën worden als volgt gecategoriseerd:

2.1 Reinforcement Learning from Human Feedback (RLHF)

Deze benaderingen behandelen het diffusie-samplingproces als een Markov-besluitproces (MDP) waarbij het beleid het diffusiemodel is.

• Pijplijn: Menselijke feedback wordt verzameld (bijvoorbeeld paarsgewijze vergelijkingen), gebruikt om een scalair beloningsmodel ($r_\phi$) te trainen, en vervolgens wordt het diffusiemodel fijngetuned om deze beloning te maximaliseren.
• Algoritmen: Vroege werken zoals Lee et al. [2023] gebruikten beloningsgewogen likelihood. DPOK [Fan et al., 2023] introduceerde online RL met KL-geregulariseerde beleidsgradients (vergelijkbaar met PPO) om drift van het basismodel te voorkomen.
• Geavanceerde varianten: Om instabiliteit en sample-inefficiëntie aan te pakken, gebruiken nieuwere methoden zoals GRPO (Group Relative Policy Optimization)-varianten (bijvoorbeeld DanceGRPO, Flow-GRPO) groepen van trajecten om relatieve voordelen te berekenen zonder een apart waarde-critic. TDPO-R [Zhang et al., 2024] adresseert "reward hacking" door inductieve temporele bias in te voeren en overactieve critic-neuronen te resetten.

2.2 Direct Preference Optimization (DPO) en Variant

Deze methoden omzeilen de expliciete training van een beloningsmodel en optimaliseren het beleid direct op voorkeursdata.

• Mechanisme: Door het basismodel als prior te behandelen, leiden deze methoden een verliesfunctie af uit paarsgewijze voorkeuren (bijvoorbeeld $A \succ B$) die het model bijwerkt om de likelihood van voorkeursoutput te verhogen.
• Aanpassingen: Diffusion-DPO [Wallace et al., 2023a] en D3PO [Yang et al., 2024b] passen DPO aan op het multi-stap karakter van diffusie, vaak door het voorkeurssignaal over tijdstappen te decomponeren om geheugen en credit-toewijzing te beheren. Diffusion-KTO [Li et al., 2024a] breidt dit uit tot binaire per-afbeelding feedback (likes/dislikes), waarbij gebruik wordt gemaakt van zwakke signalen van gebruikersgedrag.
• Personalisatie: Methoden zoals PPD [Dang et al., 2025] en C-DPO [Dunlop et al., 2026] leren gebruikersspecifieke embeddings om uitlijning te personaliseren zonder het hele model opnieuw te trainen.

2.3 Differentieerbare Beloning Fijn-tuning

Deze categorie gaat ervan uit dat de beloningsfunctie differentieerbaar is (of wordt benaderd door een surrogaat) en backpropageert gradients door het samplingproces.

• Benadering: In plaats van de generator als een black box te behandelen, behandelen deze methoden de denoisetransitie als een computatiegraaf. AlignProp [Prabhudesai et al., 2024] en DRaFT [Clark et al., 2024] voeren end-to-end backpropagation uit van de beloningsgradient door de diffusiestappen.
• Optimalisaties: Om het geheugen te beheren, omvatten technieken gradient checkpointing, low-rank adapters en het afkappen van backpropagation tot de laatste stappen. LaSRO [Jia et al., 2025a] leert een differentieerbaar surrogaatbeloning in de latente ruimte om niet-differentieerbare beloningen voor sterk gedistilleerde modellen te verwerken.

2.4 Veiligheidsspecifieke en Gebiedsbewuste Technieken

Hoewel generieke uitlijning de kwaliteit verbetert, vereist veiligheid vaak expliciete beperkingen.

• Gerichte uitlijning: AlignGuard [Liu et al., 2025b] traint veiligheidsexperts met DPO-achtige verliezen op veiligheidsgelabelde paren.
• Gebiedsspecifiek: Focus-N-Fix [Xing et al., 2024] identificeert problematische gebieden (bijvoorbeeld NSFW-inhoud) via attentiemasks en finetuned alleen die specifieke ruimtelijke gebieden, waarbij de rest van de fideliteit en stijl van de afbeelding behouden blijft.

3. Belangrijkste Bijdragen

Het artikel biedt een coherent technisch overzicht van het opkomende veld van diffusiemodel-uitlijning. De belangrijkste bijdragen zijn:

1. Gestructureerde Taxonomie: Een classificatie van uitlijningsmethoden op basis van feedbackbronnen, beloningsvormen en optimalisatiemechanismen, wat de relaties tussen RLHF, DPO en differentieerbare benaderingen verduidelijkt.
2. Tutorial-achtige Uitleg: Opname van fundamentele uitleg over diffusiesampling, beloningsmodellering en voorkeursoptimalisatie om het survey toegankelijk te maken voor een breder publiek.
3. Vergelijkende Analyse: Een systematische vergelijking van representatieve methoden (samengevat in Tabel 1) over dimensies zoals feedbackvereisten, rekenkosten, schaalbaarheid, vatbaarheid voor reward hacking en veiligheidsgeschiktheid.
4. Synthese van Open Uitdagingen: Identificatie van vijf kritieke onderzoekslacunes:
   • Multi-objectieve uitlijning: Het balanceren van conflicterende doelen (bijvoorbeeld veiligheid versus prompt-trouw) zonder catastrofaal vergeten.
   • Feedback-efficiëntie: Het verminderen van de afhankelijkheid van dure menselijke data via actief leren en synthetische feedback (RLAIF).
   • Adversariële robuustheid: Het ontwikkelen van veiligheidsmechanismen die robuust zijn tegen adversariële prompts en distributieveranderingen.
   • Voortdurende uitlijning: Het aanpassen van modellen aan evoluerende normen en gebruikersvoorkeuren zonder volledige hertraining.
   • Interpreteerbaarheid: Het bewegen voorbij black-box beloningsmodellen naar decomposeerbare, auditabele voorkeurssignalen.

4. Resultaten en Trends

Het survey synthetiseert bevindingen uit de literatuur om verschillende trends te benadrukken:

• Verschuiving van RL naar Directe Optimalisatie: Hoewel vroege RLHF-methoden (bijvoorbeeld Lee et al., 2023) de haalbaarheid van uitlijning bewezen, tonen nieuwere differentieerbare methoden (AlignProp, DRaFT) en directe voorkeursmethoden (DPO-varianten) vaak superieure sample-efficiëntie en trainingsstabiliteit.
• Omgaan met Reward Hacking: Naïef RL leidt vaak tot reward hacking (het exploiteren van eigenaardigheden van het beloningsmodel). Technieken zoals TDPO-R (temporele biascorrectie) en KL-regularisatie in DPOK hebben aangetoond dit te mitigeren.
• Data- en Modelconvergentie: Het veld convergeert naar standaarddatasets (bijvoorbeeld Pick-a-Pic, HPSv2) en beloningsmodellen (bijvoorbeeld ImageReward, PickScore) voor evaluatie, wat rigoureuzere benchmarking mogelijk maakt.
• Hybride Architecturen: De meest effectieve benaderingen combineren vaak methoden, zoals het gebruik van differentieerbare beloningen voor snelheid terwijl RL-achtige beperkingen worden toegepast om distributieverandering te voorkomen, of het stapelen van gebiedsspecifieke veiligheidsoplossingen bovenop globaal uitgelijnde modellen.

5. Betekenis

Het artikel stelt dat hoewel aanzienlijke vooruitgang is geboekt bij het uitlijnen van diffusiemodellen, betrouwbare implementatie in veiligheidskritieke of evoluerende real-world contexten een open uitdaging blijft. De betekenis van dit survey ligt in:

• Identificeren van Methodologische Lacunes: Het benadrukt dat huidige methoden vaak worstelen met multi-objectieve trade-offs, adversariële robuustheid en de hoge kosten van menselijke feedback.
• Verstrekken van een Routekaart: Door de literatuur te synthetiseren tot een reeks open uitdagingen, leidt het toekomstig onderzoek naar verenigde kaders voor multi-objectieve uitlijning, actief leren voor data-efficiëntie en interpreteerbare beloningsmodellering.
• Contextualiseren van Veiligheid: Het benadrukt dat veiligheid niet slechts als een generieke voorkeur kan worden behandeld, maar vaak expliciete, gebiedsbewuste of op beperkingen gebaseerde uitlijningsstrategieën vereist om schadelijke output te voorkomen zonder de algehele bruikbaarheid te degraderen.

Het survey concludeert dat het uitlijnen van generatieve AI met menselijke waarden een voorwaarde is voor het verplaatsen van deze modellen van laboratoriumomgevingen naar dagelijkse professionele en creatieve workflows. De geïdentificeerde onderzoeksrichtingen hebben tot doel ervoor te zorgen dat toekomstige generatieve modellen niet alleen capabel zijn, maar ook betrouwbaar, robuust en in overeenstemming met menselijke ethische normen.