EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

Probleemstelling

Hoewel er aanzienlijke vooruitgang is geboekt in instructie-gestuurd beeldbewerken met gesloten bronmodellen (zoals GPT-Image-1 en Seedream), lopen open-source modellen nog steeds achter. De belangrijkste bottleneck is het ontbreken van een betrouwbare reward model (beloningmodel) om hoogwaardige synthetische trainingsdata te schalen.

Bestaande methoden voor het evalueren en belonen van beeldbewerking hebben ernstige tekortkomingen:

1. Perceptuele scores (zoals LPIPS) missen semantische uitlijning met de gebruikersinstructie.
2. Feature scores (zoals CLIP) kunnen de nuance van bewerkingen niet vastleggen.
3. VLM-as-a-judge (Visuele Taalmodellen als rechter) gebruiken algemene modellen die niet zijn geoptimaliseerd voor beeldbewerkingstaken en vaak gebrekkige uitlijning met menselijke voorkeur vertonen.
4. Bestaande reward-modellen vertrouwen vaak op ruisachtige, crowdsourced annotaties of pseudo-labels van gesloten modellen, wat leidt tot inconsistente en bevooroordeelde labels.

Methodologie

De auteurs introduceren EDITREWARD, een reward model dat is getraind op een nieuw, groot dataset met menselijke voorkeuren. De aanpak bestaat uit drie pijlers:

1. EDITREWARD-DATA (Het Dataset)

• Schaal en Herkomst: Een dataset van meer dan 200.000 geprefereerde paren, samengesteld uit 9.557 instructie-beeldparen uit zes bestaande benchmarks (o.a. GEdit-Bench, MagicBrush).
• Generatie: Voor elke instructie werden 12 kandidaat-afbeeldingen gegenereerd door zeven state-of-the-art modellen (zoals Step1X-Edit, Flux-Kontext, OmniGen2).
• Annotatie: In plaats van één holistische score, hebben getrainde experts elk beeld beoordeeld op een 4-punts Likert-schaal langs twee gedissocieerde dimensies:
  • Instruction Following (IF): Semantische nauwkeurigheid, volledigheid en het vermijden van ongevraagde wijzigingen.
  • Visual Quality (VQ): Plausibiliteit, afwezigheid van artefacten en esthetiek.
• Kwaliteit: De dataset gebruikt strikte protocollen en toont hoge inter-annotator overeenstemming (Krippendorff's Alpha), waarbij wordt aangetoond dat VQ subjectiever is dan IF.

2. EDITREWARD (Het Model)

• Architectuur: Het model gebruikt een Vision-Language Model (VLM) als backbone (o.a. Qwen2.5-VL of MiMo-VL) gevolgd door een MLP reward head.
• Multi-Dimensionale Onzekerheid: In plaats van een deterministische score, modelleert het model de beloning als een Gaussische verdeling ($\mu, \sigma^2$) voor elke dimensie (IF en VQ). Dit vangt de onzekerheid in menselijke annotaties op.
• Verliesfuncties:
  • Multi-Dimensional Uncertainty-Aware Ranking Loss: Aggregeert de voorspelde gemiddelde scores van de twee dimensies (via pessimistische minimum, gebalanceerd gemiddelde of som) en berekent de voorkeurswaarschijnlijkheid.
  • Tie-Disentanglement: Een innovatieve data-augmentatiestrategie waarbij "gelijkspel" (ties) in de totale kwaliteit wordt ontbonden in twee nieuwe trainingsvoorbeelden op basis van de specifieke dimensie-voordelen (bijv. beeld A is beter in IF, beeld B in VQ). Dit dwingt het model om nuance in afwegingen te leren.

3. EDITREWARD-BENCH (De Benchmark)

• Een nieuwe benchmark van 500 groepen (ca. 1.500 voorbeelden) die verder gaat dan traditionele paar-voor-paar vergelijkingen.
• Het introduceert multi-way preference ranking (ternair en quaternair), waarbij modellen alle relaties binnen een groep tegelijkertijd correct moeten voorspellen, wat een strengere test is voor consistentie.

Kernresultaten

• State-of-the-Art Prestaties: EDITREWARD behaalt de hoogste scores op bestaande benchmarks (GenAI-Bench, AURORA-Bench, ImagenHub) en de nieuwe EDITREWARD-BENCH.
  • Op GenAI-Bench scoort het 65,72%, wat significant hoger is dan GPT-5 (59,61%) en ADIEE (59,96%).
  • Op AURORA-Bench scoort het 63,62%, tegenover 50,81% voor GPT-4o.
• Aanpassing aan Menselijke Voorkeur: Het model toont een sterke correlatie met menselijke beoordelingen, zelfs op de uitdagende multi-way taak van EDITREWARD-BENCH.
• Data Curation Applicatie: De auteurs gebruikten EDITREWARD om de ruisachtige ShareGPT-4o-Image dataset (46k voorbeelden) te filteren.
  • Door Step1X-Edit te finetunen op de top 20.000 geselecteerde voorbeelden, steeg de prestatie op GEdit-Bench van 6,7/10 (op de volledige dataset) naar 7,1/10.
  • Dit resultaat is vergelijkbaar met gesloten modellen zoals Doubao-Edit, wat aantoont dat kwaliteit boven kwantiteit gaat bij trainingsdata.

Bijdragen

1. EDITREWARD-DATA: Een groot, hoogwaardig dataset met menselijke voorkeuren (200k paren) met gedissocieerde scores voor instructievolging en visuele kwaliteit.
2. EDITREWARD: Een nieuw reward model dat gebruikmaakt van multi-dimensionale onzekerheidsmodellering en tie-disentanglement voor superieure uitlijning met menselijke oordelen.
3. EDITREWARD-BENCH: Een robuuste benchmark met multi-way ranking taken die de beperkingen van bestaande evaluaties overwint.
4. Validatie van Data Curation: Een empirisch bewijs dat reward-modellen effectief kunnen worden gebruikt om hoogwaardige subsets te selecteren, waardoor open-source modellen concurrerend worden met gesloten systemen.

Betekenis

Dit werk adresseert een kritieke knelpunt in de open-source gemeenschap voor beeldbewerking. Door een betrouwbare, mens-uitgelijnde reward model en dataset beschikbaar te stellen, stelt het onderzoekers in staat om hoogwaardige trainingsdata te schalen. Dit versnelt de ontwikkeling van next-generation beeldbewerkingsmodellen en helpt de kloof tussen open-source en gesloten (proprietary) systemen te dichten. De publicatie van de dataset, het model en de benchmark bevordert transparantie en reproduceerbaarheid in het veld.