Technische Samenvatting: ProductConsistency

Probleemstelling

Hoewel recente vooruitgang in instructiegebaseerde beeldbewerking complexe visuele wijzigingen vanuit natuurlijke taal mogelijk heeft gemaakt, worstelen huidige modellen (zowel open als gesloten bron) aanzienlijk in productgerichte scenario's. In domeinen zoals reclame, e-commerce en marketing vereisen bewerkte afbeeldingen strikte visuele correctheid. Bestaande modellen falen vaak in het behouden van fijnmazige objectidentiteit, waarbij ze de geometrie van producten vervormen, merklogo's veranderen of tekst op productoppervlakken hallucineren of verkeerd spellen.

Een primaire drijfveer achter dit falen is het gebrek aan toegewijde datasets en benchmarks die expliciet gericht zijn op merkconsistentie en tekstgetrouwheid tijdens bewerking. Bestaande benchmarks negeren vaak gerenderde tekst of richten zich op document-stijl lay-outs in plaats van gefotografeerde objecten. Bovendien zijn huidige reinforcement learning (RL) beloningsmodellen ontworpen voor algemene esthetische kwaliteit of het opvolgen van instructies, en slagen ze er niet in om de specifieke beperkingen van productidentiteitsbehoud te vatten.

Methodologie

De auteurs stellen een uitgebreid framework voor bestaande uit een nieuwe dataset, een synthetische datageneratie-pipeline en een gespecialiseerde trainingsstrategie bestaande uit Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL).

1. ProductConsistency Dataset en Generatie-pipeline

De kern van het werk is een volledig geautomatiseerde pipeline voor het genereren van hoogwaardige synthetische productafbeeldingen met verifieerbare tekst en unieke merkkennmerken.

• Synthetische Generatie: De pipeline definieert 131 unieke productitems over 8 categorieën (bijv. voedsel, dranken, cosmetica). Een MLLM (GPT-o3-mini) genereert diverse productbeschrijvingen en merksignaturen (naam, kleurenpalet, lettertype-stijl).
• BeeldSynthese & Filtering: Afbeeldingen worden gegenereerd met GPT-Image-1 High. Om tekstgetrouwheid te garanderen, wordt een strikt OCR-gebaseerd filteringsstadium toegepast. Een afbeelding wordt alleen behouden als de door een OCR-model gedetecteerde tekst ($T_{ocr}$) exact overeenkomt met de grondwaarheid-tekst ($T_{gt}$) die in de prompt is gespecificeerd. Dit proces levert een hoogprecisie-set van 2.002 synthetische producten met leesbare tekst op.
• Data Splitting: De gefilterde data wordt opgesplitst in:
  • SFT Dataset: 87.242 samples gebruikt voor supervised fine-tuning.
  • RL Dataset: 869 unieke productafbeeldingen (afgeleid van 1.133 unieke producten) geselecteerd op basis van een hoge variantie in de baseline modelprestaties, representatief voor "foutgevoelige" gevallen waar optimalisatie het meest voordelig is.
  • Benchmark: Een door mensen geverifieerde testset van 174 productafbeeldingen (870 totaal samples met elk 5 prompts) verspreid over 8 categorieën.

2. Trainingsframework

De auteurs finetunen twee open-source modellen: Qwen-Image-Edit-2511 en Flux.1-Kontext-dev.

• Supervised Fine-Tuning (SFT): Modellen worden getraind op de 87k SFT-dataset met behulp van Low-Rank Adaptation (LoRA). Doelafbeeldingen voor SFT worden gegenereerd met Qwen-Image-Lightning (gekozen vanwege snelheid en tekstrendering) en gefilterd via OCR om ervoor te zorgen dat alleen correcte tekstoutputs als grondwaarheid worden gebruikt.
• Reinforcement Learning (RL): De training vervolgt vanaf SFT-checkpoints met behulp van het FlowGRPO-algoritme.
  • Cyclische Consistentie Beloning: Om RL te sturen zonder expliciete product-consistentie beloningsmodellen, stellen de auteurs een proxy-beloning voor. Ze genereren een bijschrift ($c_{gen}$) van de bewerkte afbeelding met behulp van een MLLM (Qwen3-VL) en berekenen de cosinus-gelijkenis tussen de embedding hiervan en de embedding van de oorspronkelijke productbeschrijving ($c_{gt}$). Dit dwingt de semantische preservatie van de productidentiteit af.
  • OCR Beloning: Deze wordt gecombineerd met een op Character Error Rate (CER) gebaseerde beloning om teksthallucinaties en spelfouten expliciet te bestraffen.
  • Aggregatie: Het GDPO-algoritme wordt gebruikt om de cyclische consistentie- en OCR-beloningen met gelijke wegingsfactor te aggregeren.

Belangrijkste Bijdragen

1. ProductConsistency Dataset & Pipeline: Een volledig geautomatiseerde pipeline voor het genereren van synthetische productafbeeldingen met unieke merkkennmerken en verifieerbare gerenderde tekst, wat schaalbare supervisie mogelijk maakt voor productgerichte bewerking.
2. ProductConsistency Benchmark: Een rigoureuze evaluatiesuite bestaande uit 174 productafbeeldingen over 8 categorieën, gekoppeld aan 5 bewerkingsprompts per stuk (870 samples), ontworpen om productidentiteitsbehoud, tekstgetrouwheid en visuele consistentie te evalueren.
3. Product-bewust Training met Cyclische Consistentie Beloningen: Een nieuw RL-framework dat gegenereerde afbeelding-bijschriften afstemt op oorspronkelijke productbeschrijvingen en OCR-gebaseerde beloningen incorporeert. Deze aanpak richt zich expliciet op instructie-opvolging, semantische productidentiteit en tekstgetrouwheid.

Resultaten

De auteurs evalueerden hun gefinetunede modellen tegen sterke baselines (inclusief HiDream-E1-1, OmniGen2, NanoBanana en GPT-Image-1) op de ProductConsistency Benchmark met behulp van OCR-metrieken, segmentatie-gebaseerde perceptuele metrieken (Seg CLIP-I, Seg DINO-I) en MLLM-gebaseerde evaluaties (GPT-5.1).

• Kwantitatieve Verbeteringen: Modellen die gefinetuned zijn met de ProductConsistency-dataset vertoonden consistente verbeteringen over alle metrieken.
  • Qwen-Image-Edit-2511: SFT verminderde de Character Error Rate (CER) van 1,0682 naar 0,7803. De toevoeging van RL met Cyclische Consistentie beloningen verminderde de CER verder naar 0,2080, wat een 5× reductie van de karakterfout-rate betekent vergeleken met het basemodel. Seg CLIP-I verbeterde van 0,8728 naar 0,9245.
  • Flux.1-Kontext-dev: Startend vanaf een sterke baseline, bereikte het model de laagste algehele CER van 0,1204 en de beste DINO-I score van 0,8115 na SFT- en RL-training.
• Kwalitatieve & MLLM Evaluatie: GPT-gebaseerde evaluaties bevestigden dat de verbeteringen in geautomatiseerde metrieken vertaalden naar waarneembare winst in productconsistentie, tekstgetrouwheid (inclusief lettertype en kleur) en algemene esthetiek.
• Ablatieonderzoek: De studie vergeleken de Cyclische Consistentie beloning met EditReward en Segmented Visual Consistency beloningen. Hoewel Segmented Visual Consistency hoge geautomatiseerde scores behaalde, leed het aan "reward hacking", waarbij modellen de invoerafbeelding reproduceerden in plaats van bewerkingen uit te voeren, wat leidde tot slechte esthetiek en gebrekkige instructie-opvolging. De Cyclische Consistentie beloning bood een robuuster trainingssignaal en presteerde beter dan andere configuraties in zowel geautomatiseerde als GPT-gebaseerde evaluaties.

Betekenis

Het artikel claimt dat het werk een kritiek gat in het veld adresseert: het onvermogen van huidige instructiegebaseerde bewerkingsmodellen om fijnmazige productidentiteit en tekstgetrouwheid te behouden. Door een toegewijde dataset, benchmark en een trainingsframework te introduceren dat gecentreerd is rond cyclische consistentie en OCR-beloningen, laten de auteurs zien dat het expliciet modelleren van productconsistentie essentieel is voor real-world toepassingen in reclame en e-commerce. De resultaten geven aan dat het finetunen van sterke open-source editors met dit specifieke framework substantiële winsten oplevert, waardoor ze concurrerend of zelfs superieur zijn aan closed-source modellen in productgerichte bewerkingstaken.