Technische Samenvatting: DeDPO: Debiased Direct Preference Optimization voor Diffusiemodellen

1. Probleemstelling

Direct Preference Optimization (DPO) is een standaardmethode geworden voor het afstemmen van diffusiemodellen op menselijke voorkeuren, omdat het een efficiënt alternatief biedt voor Reinforcement Learning from Human Feedback (RLHF) door de noodzaak van een apart beloningsmodel te elimineren. Echter, DPO kampt met een kritieke schaalbaarheidsbottleneck: het leunt op grootschalige, hoogwaardige menselijke voorkeursetiketten, die even evenredig duur en tijdrovend zijn om te verwerven.

Recente pogingen om dit aan te pakken door gebruik te maken van synthetische voorkeuren (gegenereerd door AI-modellen) falen vaak omdat deze synthetische labels ruisachtig kunnen zijn, inconsistent met echte menselijke oordelen, of systematische bias kunnen introduceren. Direct trainen op dergelijke imperfecte feedback leidt tot instabiele afstemming en gedegradeerde prestaties. De kernuitdaging is om grote volumes goedkope synthetische data te benutten terwijl de inherente ruis en bias ervan wordt gecorrigeerd, met behulp van slechts een kleine set hoogwaardige menselijke labels.

2. Methodologie: Debiased DPO (DeDPO)

De auteurs stellen DeDPO voor, een semi-gestuurd framework dat een debiased schattings-techniek uit de causale inferentie integreert in de DPO-objectieffunctie. De methode opereert onder een setting waarbij een kleine set data gelabeld is met grondwaarheid menselijke voorkeuren, en een grotere set gelabeld is met synthetische voorkeuren gegenereerd door kosteneffectieve AI-feedback (bijv. Vision-Language Modellen of zelftraining).

2.1. DPO herformuleren als binaire classificatie

De auteurs herinterpreteren de standaard Diffusion-DPO loss eerst als een binair classificatieprobleem. Voor een beeldpaar $(x_0, x_1)$ en prompt $c$, geeft een voorkeursetiket $z$ aan welk beeld de voorkeur geniet. De DPO-loss wordt herschreven als een binaire cross-entropy loss $L(G_\theta(y), z)$, waarbij $G_\theta$ de impliciete marge-voorspeller van het model is.

2.2. De Debiased Loss Functie

De auteurs stellen in plaats van een naïeve semi-gestuurde aanpak, waarbij men ontbrekende menselijke labels simpelweg zou vervangen door synthetische labels $\hat{G}(y)$, wat zou leiden tot een bevooroordeelde Outcome Regression (OR) estimator, een debiased loss voor (Eq. 8) die de gelabelde en ongelabelde data combineert:

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

Waar:

• $n_l$ en $n_u$ het aantal gelabelde en ongelabelde samples zijn.
• $z_l$ het grondwaarheid menselijke label is.
• $\hat{G}(y)$ het synthetische label is.

Mechanisme van Correctie:

• Ongelabelde Data: De loss gebruikt de synthetische pseudo-labels $\hat{G}(y)$ direct als het supervisiesignaal.
• Gelabelde Data: De loss introduceert een correctieterm $(z_l - \hat{G}(y_l))$ die het pseudo-label verschuift naar het ware menselijke label. Deze correctie wordt versterkt door een belangstelling-gewicht (importance weight) $\frac{n_l + n_u}{n_l}$, die de schaarste van gelabelde data reflecteert.
• Theoretische Eigenschappen:
  1. Onbevoordeeldheid (Unbiasedness): De verwachting van de DeDPO-loss is gelijk aan de populatie-niveau DPO-loss, ongeacht of de synthetische labels correct zijn. Als synthetische labels perfect zijn, maakt het alle data gebruik; als ze volledig fout zijn, keert het asymptotisch terug naar het gebruik van alleen de gelabelde data.
  2. Robuustheid tegen convergentie van het synthetische model: De auteurs bewijzen dat het doel-diffusiemodel $\theta$ een optimale convergentiesnelheid kan bereiken, zelfs als het synthetische voorkeursmodel $\hat{G}$ veel langzamer convergeert (specifiek, de foutterm hangt af van de vierde macht van de fout van het synthetische model). Dit maakt het systeem robuust, zelfs wanneer de synthetische annotator imperfect is.

2.3. Bronnen van Synthetische Voorkeuren

Het framework ondersteunt twee primaire bronnen voor synthetische labels:

1. Zelftraining (Self-Training): Het gebruik van de impliciete reward margin van de huidige policy $\theta$ (van eerdere iteraties) om labels te genereren. De auteurs merken op dat om overfitting te voorkomen, het synthetische model bij voorkeur getraind moet worden op data die onafhankelijk is van de DPO-trainingsset.
2. Pre-trained Vision-Language Models (VLMs): Het gebruik van modellen zoals Qwen of CLIP om beeldparen te annoteren. Dit wordt in de paper geprefereerd omdat het de schending van onafhankelijkheid voorkomt die inherent is aan zelftraining op dezelfde gelabelde data.

3. Belangrijkste Bijdragen

• Debiased Estimatie voor Diffusie: De paper introduceert de eerste toepassing van debiased estimatietechnieken uit de causale inferentie op het probleem van voorkeursoptimalisatie in diffusiemodellen.
• Semi-gestuurde Afstemming: Het vestigt een robuust framework voor het afstemmen van diffusiemodellen met behulp van een klein deel van de menselijke labels (bijv. 25%), aangevuld met een grote corpus van synthetische labels, zonder dat daar een apart beloningsmodel voor nodig is.
• Theoretische Garanties: De auteurs leveren theoretische bewijzen die aantonen dat de voorgestelde loss onbevoordeeld is en dat het leerproces robuust is tegen fouten in het synthetische voorkeursmodel, mits het synthetische model op onafhankelijke data is getraind.

4. Experimentele Resultaten

De auteurs evalueerden DeDPO op de FiFA-5K en HPDv2 datasets met behulp van SD1.5 en SDXL backbones.

• Prestaties vs. Volledig Gesuperviseerde DPO: DeDPO, getraind met 25% menselijke en 75% synthetische labels, presteerde consistent gelijk aan of licht boven de prestaties van DPO getraind op 100% menselijke labels.
  • Op FiFA-5K met SD1.5 bereikte DeDPO een PickScore van 21.91 en HPSv2 van 27.80, waarmee het de volledig gesuperviseerde DPO-baseline (21.88 PS, 27.79 HPSv2) overtrof.
  • Op SDXL kwam DeDPO overeen met de volledig gesuperviseerde prestatie (22.83 PS vs. 22.84 PS).
• Robuustheid tegen Ruis: In contrast hiermee presteerde een naïeve aanpak van het mengen van synthetische labels met DPO (zonder debiasing) consequent slechter, wat aantoont dat het simpelweg toevoegen van synthetische data de afstemming kan verslechteren als dit niet wordt gecorrigeerd.
• Schaalbaarheid: Naarmate de omvang van de ongelabelde synthetische dataset toenam (tot 98K paren), behield DeDPO een stabiele prestatie, terwijl de prestaties van vanilla DPO significant verslechterden door de accumulatie van ruisachtige labels.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat DeDPO fijnmazige details en compositorische beperkingen (bijv. specifieke objecten in complexe prompts) beter vastlegt vergeleken met modellen die getraind zijn met minder menselijke labels of naïef synthetisch mengen.
• AI-als-Judge: Menselijk afgestemde AI-judges (Gemini 2.5 Flash) gaven de voorkeur aan DeDPO boven volledig gesuperviseerde DPO in ~57% van de gevallen voor Algemene Voorkeur en Visuele Aantrekkingskracht, en boven semi-gestuurde DPO in ~76% van de gevallen.

5. Betekenis en Claims

De paper claimt dat DeDPO een schaalbare, kosteneffectieve oplossing biedt voor mens-AI afstemming in diffusiemodellen. Door de integratie van debiased estimatie slaagt de methode erin om goedkope, ruisachtige synthetische feedback om te zetten in een betrouwbaar trainingssignaal.

De auteurs stellen dat DeDPO:

1. De data-bottleneck overwint: Het maakt hoogwaardige afstemming mogelijk met een klein deel van de menselijke labels, waardoor grootschalige voorkeursoptimalisatie haalbaar wordt zonder verbijsterende kosten.
2. Robuustheid garandeert: Het is veerkrachtig tegen de variaties en ruis die inherent zijn aan synthetische annotatoren (inclusief zelftraining en VLMs), wat de instabiliteit voorkomt die vaak wordt gezien bij het trainen op AI-gegenereerde voorkeuren.
3. State-of-the-art Efficiëntie bereikt: Het bereikt prestaties die vergelijkbaar zijn met, en soms zelfs hoger zijn dan, modellen die getraind zijn op volledig door mensen gelabelde datasets, waarmee een nieuwe standaard wordt gezet voor efficiënte voorkeursoptimalisatie.

Het werk concludeert dat correct gedebiased synthetische feedback een levensvatbare en betrouwbare surrogaat is voor uitgebreide menselijke labeling, wat een praktisch pad biedt voor het afstemmen van generatieve modellen op menselijke waarden.