HP-Edit: A Human-Preference Post-Training Framework for Image Editing

Probleemstelling

Bestaande methoden voor beeldbewerking (Image-to-Image editing) vertrouwen vaak op Supervised Fine-Tuning (SFT) van diffusiemodellen. Hoewel deze modellen krachtig zijn, lijden ze aan twee fundamentele beperkingen:

1. Misalignement met menselijke voorkeuren: De trainingsdata voor SFT komt vaak uit gemengde bronnen (zoals cartoons of synthetische afbeeldingen), wat niet altijd overeenkomt met wat mensen in de echte wereld als realistisch of esthetisch waardevol beschouwen.
2. Schalingsproblemen: Het construeren van datasets die specifiek zijn afgestemd op menselijke voorkeuren vereist dure, handmatige annotatie, wat het onpraktisch maakt om dit op grote schaal toe te passen.

Hoewel Reinforcement Learning (RL) methoden zoals Diffusion-DPO en Flow-GRPO succesvol zijn gebleken bij het verbeteren van generatieve modellen, is de toepassing van Reinforcement Learning from Human Feedback (RLHF) op beeldbewerking nog onderontwikkeld. Dit komt door het gebrek aan schaalbare datasets met menselijke voorkeuren en frameworks die zijn toegesneden op diverse bewerkingsbehoeften.

Methodologie: HP-Edit Framework

Het paper introduceert HP-Edit, een post-training framework dat bestaande bewerkingsmodellen optimaliseert voor menselijke voorkeuren zonder de bewerkingsnauwkeurigheid te verliezen. Het framework bestaat uit drie kernfasen:

1. Ontwikkeling van de HP-Scorer (Automatische Evaluator)

• In plaats van volledig afhankelijk te zijn van menselijke annotatie, wordt een Visual Large Language Model (VLM) (zoals Qwen2.5-VL) getraind om als "HP-Scorer" te fungeren.
• Er wordt een kleine dataset verzameld van bewerkingsvoorbeelden (input, output, instructie) die door mensen worden gescoord op een schaal van 0 tot 5.
• De VLM wordt geoptimaliseerd met taalspecifieke prompts (bijv. vragen over kleurconsistentie, objectvervanging of achtergrondvervaging) om menselijke oordelen zo nauwkeurig mogelijk te benaderen. Deze scorer fungeert vervolgens als de beloningsfunctie (reward function).

2. Constructie van de RealPref-50K Dataset

• Er wordt een dataset van 55.795 gevallen samengesteld, genaamd RealPref-50K, die acht veelvoorkomende bewerkings taken dekt: object toevoegen, verwijderen, vervangen, achtergrond vervangen, kleur veranderen, bokeh (achtergrondvervaging), herschikking van licht (relighting) en stijltransfer.
• Filtering voor "Hard Cases": Een cruciale innovatie is het filteren van de dataset. Bestaande modellen presteren vaak al goed op makkelijke gevallen (score 5). HP-Edit verwijdert deze hoge scores en focust zich op de "harde gevallen" (lagen scores) waar het model moeite mee heeft. Dit zorgt voor sterkere leerimpulsen tijdens het RL-proces.
• De dataset is gebalanceerd over veelvoorkomende objectcategorieën (MS-COCO) om realistische scenario's te dekken.

3. Task-Aware RL Post-Training (Flow-GRPO)

• Het framework gebruikt Flow-GRPO (Group Relative Policy Optimization), een efficiënte RL-algoritme voor flow-matching modellen.
• De HP-Scorer fungeert als de beloningsfunctie. Voor elke gegenereerde output wordt een score gegeven, die via een sigmoid-functie wordt genormaliseerd tot een beloning tussen 0 en 1.
• Het model wordt getraind om de verwachte beloning te maximaliseren, waarbij het de kans vergroot op outputs die door de HP-Scorer (en dus menselijke voorkeuren) als hoogwaardig worden beoordeeld.

Belangrijkste Bijdragen

1. HP-Edit Framework: Een unificatie van een VLM-gebaseerde scorer, een efficiënte dataset-construktiepijplijn (gericht op moeilijke gevallen) en taakbewuste RL-post-training.
2. RealPref-50K Dataset: Een grote, real-world dataset met 50K+ gevallen over 8 bewerkingscategorieën, gebalanceerd voor objecten en gericht op menselijke voorkeuren.
3. RealPref-Bench: Een nieuwe benchmark voor het evalueren van beeldbewerking in real-world scenario's, inclusief handmatig geverifieerde instructies.
4. HP-Scorer: Een automatisch, schaalbaar systeem dat menselijke voorkeuren nauwkeurig simuleert, wat de noodzaak voor massale handmatige annotatie tijdens het trainen elimineert.

Resultaten

De auteurs hebben hun methode getest op de RealPref-Bench en de bestaande GEdit-Bench, met als basismodel Qwen-Image-Edit-2509.

• Kwantitatieve Resultaten: HP-Edit behaalde een overall HP-score van 4.667, wat een significante verbetering is ten opzichte van de sterke baseline Qwen-Image-Edit-2509 (4.472) en andere state-of-the-art modellen zoals Step1X-Edit en FLUX.1-Kontext-Dev. De verbetering was het grootst bij taken die fijne afstemming vereisen, zoals kleurverandering, bokeh en herschikking van licht.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat HP-Edit-resultaten realistischer zijn, minder artefacten bevatten en beter voldoen aan de instructies dan bestaande methoden. Het vermijdt vaak de "geschilderde" of onrealistische uitstraling die bij andere modellen voorkomt.
• User Study: Een menselijke evaluatie bevestigde dat de scores van de HP-Scorer sterk correleren met menselijke oordelen (Pearson correlatie van 0.89), wat aantoont dat de automatische scorer een betrouwbare proxy is voor menselijke voorkeuren.
• Ablatie Studies: Experimenten tonen aan dat zowel het filteren van de dataset (RealPref-50K) als het gebruik van de gespecialiseerde HP-Scorer essentieel zijn. Zonder filtering (gebruik van ruwe data) of zonder de gespecialiseerde scorer, daalt de prestatie aanzienlijk.

Betekenis en Impact

HP-Edit vult een cruciale lacune in het veld van generatieve AI voor beeldbewerking. Het bewijst dat Reinforcement Learning succesvol kan worden toegepast om diffusiemodellen te aligneren met menselijke esthetische voorkeuren, zelfs zonder enorme hoeveelheden handmatig gelabelde data.

De belangrijkste implicaties zijn:

• Efficiëntie: Het gebruik van een VLM als scorer maakt het mogelijk om schaalbare, hoogwaardige datasets te construeren zonder de kosten van menselijke annotatie.
• Kwaliteit: Het framework lost het probleem op dat bestaande modellen vaak "technisch correct" zijn maar esthetisch minder bevredigend. HP-Edit zorgt voor resultaten die niet alleen de instructie volgen, maar er ook "mooi" en realistisch uitzien.
• Toekomstige Richting: Het biedt een blauwdruk voor hoe RLHF kan worden toegepast op complexe visuele taken, wat de weg vrijmaakt voor nog geavanceerdere en meer intuïtieve beeldbewerkingsinstrumenten.

Kortom, HP-Edit stelt een nieuwe standaard voor in hoe we beeldbewerkingsmodellen trainen: niet alleen op basis van wat technisch mogelijk is, maar op basis van wat mensen werkelijk prefereren.