Technische Samenvatting: Schalen van Multi-Referentie Beeldgeneratie met Dynamische Beloningsoptimalisatie

Probleemstelling

Hoewel gepersonaliseerde beeldgeneratie aanzienlijk is gevorderd, blijft Multi-Reference Image Generation (MRIG) een uitdagende taak. MRIG vereist de effectieve integratie van meerdere referentiebeelden van diverse typen (bijv. onderwerp, pose, stijl, belichting, achtergrond) in een enkele coherente output. Bestaand onderzoek wordt gehinderd door twee primaire beperkingen:

1. Onvoldoende Evaluatie: Huidige benchmarks richten zich doorgaans op eenvoudige taken met een beperkt aantal referentiebeelden of enkelvoudige referentietypen. Ze missen de complexiteit om scenario's te evalueren die de integratie van talrijke en diverse referenties vereisen, en ze vertrouwen vaak op grofmazige metrieken die er niet in slagen prestaties over specifieke referentietypen te beoordelen.
2. Prestatievermindering in Open-Source Modellen: Gangbare open-source modellen worstelen met complexe MRIG-scenario's. Hoewel ze adequaat presteren met een paar referenties, verslechtert hun prestatie snel naarmate het aantal gemengde referentietypen toeneemt, wat een aanzienlijke kloof creëert ten opzichte van state-of-the-art (SOTA) closed-source modellen.

Methodologie: DyRef Framework

Om deze uitdagingen aan te pakken, stellen de auteurs DyRef voor, een tweestaps trainingsframework ontworpen om de MRIG-capaciteiten te schalen door middel van dynamische beloningsoptimalisatie.

Fase I: Supervised Fine-Tuning (SFT)

De eerste fase rust het model uit met de basisvaardigheden om complexe MRIG-taken aan te kunnen.

• Baseline: De auteurs gebruiken Qwen-Image-Edit-2511 (een dual-stream MMDiT-backbone) als de trainingsbaseline.
• Data: Ongeveer 14.000 trainingsvoorbeelden zijn geconstrueerd via een pipeline die doelbeelden genereert via Text-to-Image (T2I) modellen en de bijbehorende referentiebeelden (onderwerp, achtergrond, stijl, belichting, pose) afleidt met behulp van segmentatie- en bewerkingsmodellen.
• Training: Het model wordt gefinetuned met LoRA met Flow Matching loss om de fundamentele mapping tussen complexe multi-referentie inputs en doeloutputs te leren.

Fase II: Dynamische Beloningsoptimalisatie

De tweede fase maakt gebruik van Reinforcement Learning (specifiek Flow-GRPO) om het model af te stemmen op menselijke voorkeuren en de prestaties op moeilijke samples te verbeteren. Deze fase introduceert twee nieuwe componenten:

1. Difficulty-aware Advantage Reweighting (DAR):

   • Motivatie: Standaard RL-training heeft de neiging gedomineerd te worden door eenvoudigere samples (minder referenties), terwijl complexe samples (veel gemengde referentietypen) onvoldoende leersignalen ontvangen door lagere initiële beloningsscores.
   • Mechanisme: DAR past de optimalisatie-doelstelling dynamisch aan door groepsgewichten toe te wijzen op basis van de gemiddelde beloningsscore van samples binnen een groep. Het verhoogt het gewicht van onderpresterende groepen (die met talrijke gemengde referentietypen) om het model aan te moedigen zich op deze moeilijke gevallen te concentreren, terwijl overfitting op goed presterende eenvoudige samples wordt voorkomen.

2. Discriminative Reward Scaling (DRS):

   • Motivatie: Beloningssignalen van standaard visuele encoders (bijv. CLIP, SigLIPv2) vertonen vaak een smalle distributie, waarbij hoogwaardige en laagwaardige samples vergelijkbare scores krijgen, wat de gradiëntsignalen voor beleidsupdates verzwakt.
   • Mechanisme: DRS past een transformatiefunctie toe op de ruwe beloningsscores om de intra-groep verschillen in beloning te vergroten. Deze amplificatie zorgt ervoor dat superieure samples aanzienlijk hogere beloningen ontvangen dan inferieure samples, wat een effectievere beleidsoptimalisatie faciliteert.

Beloningssignalen

Het framework maakt gebruik van een hybride beloningssysteem:

• Stijl-afstemming: Gebruikt CSD (een metriek voor stijl-gelijkenis) om stijlgerelateerde taken te sturen.
• Semantische Consistentie: Gebruikt SigLIPv2 (of CLIP) om de semantische consistentie tussen gegenereerde beelden en doelbeelden te meten.

Belangrijkste Bijdragen

1. OmniRef-Bench: De auteurs introduceren een nieuwe benchmark bestaande uit 395 door experts geannoteerde instanties die vijf referentietypen beslaan (onderwerp, achtergrond, stijl, belichting, pose) en tot vier gelijktijdige referentietypen. Het bevat een hybride evaluatiestrategie die objectieve kwantitatieve metrieken combineert met Multimodale Large Language Model (MLLM)-beoordelingen met fijnmazige criteria voor elk referentietype.
2. DyRef Framework: Een tweestaps trainingsaanpak die er succesvol in slaagt de prestatiekloof tussen open-source en closed-source modellen in complexe MRIG-taken te overbruggen door SFT te integreren met DAR en DRS.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat DyRef bestaande open-source modellen op OmniRef-Bench aanzienlijk verbetert en goed generaliseert naar single-image editing benchmarks.

Experimentele Resultaten

• OmniRef-Bench Prestaties: DyRef presteert aanzienlijk beter dan bestaande open-source modellen (bijv. OmniGen2, DreamOmni2, BAGEL) met ten minste 12% in objectieve metrieken en 29% in MLLM-evaluaties. Opvallend genoeg behaalt het resultaten die vergelijkbaar zijn met SOTA closed-source modellen zoals Nano Banana Pro en Seedream 4.5, waarbij het met name uitblinkt in stijl- en pose-gerelateerde metrieken.
• Generalisatie: De methode verbetert de prestaties op single-image editing benchmarks (ImgEdit en DreamBench++), wat aangeeft dat de verbeteringen in multi-referentie capaciteiten de basisvaardigheden voor beeldbewerking niet in gevaar brengen.
• Robuustheid: De aanpak toont effectiviteit aan over verschillende model-schalen (getest op 9B en 20B parameters modellen) en behoudt prestaties op onbekende referentietypen.
• Gebruikersstudie: Een studie met menselijke experts bevestigt dat de MLLM-gebaseerde evaluatie goed aansluit bij menselijke voorkeuren (Pearson-correlatie van 0,9), en dat de door DyRef gegenereerde beelden hoog scoren ten opzichte van closed-source baselines.

Betekenis en Claims

De auteurs stellen dat de primaire bijdrage van dit werk het aanpakken is van de kritieke prestatievermindering die wordt waargenomen in open-source modellen naarmate de referentiecomplexiteit en het aantal referenties toenemen. Door de introductie van OmniRef-Bench bieden de auteurs een noodzakelijk instrument om complexe MRIG-scenario's rigoureus te evalueren, wat de beperkingen van huidige methoden blootlegt. Via DyRef demonstreren zij dat dynamische beloningsoptimalisatie (specifiek DAR en DRS) de prestatievariantie over variërende referentieschalen effectief kan mitigeren.

De auteurs positioneren hun werk als een stap naar het toegankelijk maken van hoogwaardige, complexe multi-referentie beeldgeneratie via open-source modellen, wat cruciaal is voor toepassingen in professioneel visueel ontwerp en reclame waar een coherente integratie van diverse visuele elementen essentieel is. Zij erkennen dat hoewel DyRef de kloof aanzienlijk verkleint, complexe MRIG een openstaand probleem blijft, met name wat betreft instructie-opvolging en feature-ontkoppeling in extreme scenario's.